Разработка на 1С-Битрикс Михаил Базаров

OMLX и MacBook M5 Pro: как я настраивал локальную LLM для разработки

Вопросы и ответы по 1С-Битрикс, разборы реальных задач и обсуждение заметок блога. Задайте вопрос или помогите другим — все сообщения проходят модерацию.


OMLX и MacBook M5 Pro: как я настраивал локальную LLM для разработки

Облачные API тормозят, деньги капают, а если интернет лёг - всё, ты без подсказок. Решил собрать локальную LLM себе на MacBook и гонять её для Битрикс-разработки. Расскажу что получилось, на какой модели остановился и как всё настроил.
LM Studio может больше одной модели держать одновременно, и у него есть консольная версия lms
Огромный плюс oMLX что она может держать KV кеш на диске, достаточно эффективно если квантовать его в Q8.
Не знаимает место в видеопамяти (в разрезе M процессоров, той части что выделяется под видео посистему)

Единственный нюанс - лучше не на системном диске - как в статейке и описал, лучше внешний диск. Что бы системный не ушатывать. KV кеш это очень много маленьких файлов которые очень быстро перезаписываются - угрохать SSD можно за год активного использования.

А в остальном, да - может быть LMStudio и лучше.
Форма ответов
 
Текст сообщения*
Перетащите файлы
Ничего не найдено
Загрузить файлы
 
Реклама

Место для вашей рекламы

10 000 ₽ в месяц

Единый баннер, который показывается сквозным образом — сразу на всём форуме и во всех заметках блога. Одно размещение — вся аудитория.

Посмотреть, где будет выводиться: форум заметки блога

Блог-note

Заметки по 1С-Битрикс