Михаил Базаров Разработка на 1С-Битрикс Михаил Базаров

OMLX и MacBook M5 Pro: как я настраивал локальную LLM для разработки

Внимание! Все сообщения на форуме проходят модерацию. Ваше сообщение появится после проверки.

OMLX и MacBook M5 Pro: как я настраивал локальную LLM для разработки

Облачные API тормозят, деньги капают, а если интернет лёг - всё, ты без подсказок. Решил собрать локальную LLM себе на MacBook и гонять её для Битрикс-разработки. Расскажу что получилось, на какой модели остановился и как всё настроил.
LM Studio может больше одной модели держать одновременно, и у него есть консольная версия lms
Огромный плюс oMLX что она может держать KV кеш на диске, достаточно эффективно если квантовать его в Q8.
Не знаимает место в видеопамяти (в разрезе M процессоров, той части что выделяется под видео посистему)

Единственный нюанс - лучше не на системном диске - как в статейке и описал, лучше внешний диск. Что бы системный не ушатывать. KV кеш это очень много маленьких файлов которые очень быстро перезаписываются - угрохать SSD можно за год активного использования.

А в остальном, да - может быть LMStudio и лучше.
Форма ответов
 
Текст сообщения*
Перетащите файлы
Ничего не найдено
Загрузить файлы
 

Блог-note Заметки по 1С-Битрикс