Разработка на 1С-Битрикс
Большие LLM на маленькой видеокарте - впихнуть не впихуемое
Собирал себе локальную нейросеть для разработки (PHP, 1С-Битрикс, кодинг). Облачные API жрут деньги и тормозят, а свой сервер работает бесплатно и без интернета. Расскажу, почему взял Linux, как собрал llama.cpp с MoE Hot-Cache и как запустить всё это у себя по шагам.
Собирал себе локальную нейросеть для разработки (PHP, 1С-Битрикс, кодинг). Облачные API жрут деньги и тормозят, а свой сервер работает бесплатно и без интернета. Расскажу, почему взял Linux, как собрал llama.cpp с MoE Hot-Cache и как запустить всё это у себя по шагам.