Выложил в открытый репозиторий свой форк llama.cpp, который умеет запускать большие MoE-модели - включая свежую Qwen3.8-Flash-Next на ~125B - на видеокарте в 16 ГБ. Всё за счёт горячего кэша экспертов и небольшой доработки движка. Расскажу, что это такое, зачем это нужно, в чём была проблема с существующим форком и как я её решил.
Форк llama.cpp с MoE Hot-Cache и Qwen3.8-Flash-Next: большие MoE на маленькой видеокарте
Вопросы и ответы по 1С-Битрикс, разборы реальных задач и обсуждение заметок блога. Задайте вопрос или помогите другим — все сообщения проходят модерацию.
|
Михаил Базаров: 15.09.2026 08:00:00
Форк llama.cpp с MoE Hot-Cache и Qwen3.8-Flash-Next: большие MoE на маленькой видеокарте
Выложил в открытый репозиторий свой форк llama.cpp, который умеет запускать большие MoE-модели - включая свежую Qwen3.8-Flash-Next на ~125B - на видеокарте в 16 ГБ. Всё за счёт горячего кэша экспертов и небольшой доработки движка. Расскажу, что это такое, зачем это нужно, в чём была проблема с существующим форком и как я её решил. |
Индивидуальный предприниматель
- mihail@bazarow.ru
- Открыть чат в МАКС
- ВКонтакте
- Перейти в Telegram
- Связаться через сайт
Работаю официально, с заключением договора и предоставлением всех закрывающих документов.
Заметки по 1С-Битрикс
-
Заполнить поля пользователя из свойства заказа, на примере ФИО
При создании заказа покупатель заполняет поле "ФИО". Необходимо скопировать эти данные в профиль пользователя (не путать с профилем покупателя) разбив...
-
Ленивая подгрузка картинок в компоненте, на vue js Битрикс
Если на одну страницу сайта выводится большое количество картинок, которые могут долго подгружаться- либо нужно попасть в зеленую зону Google Page Spe...
-
Бонус за выполненный заказ на внутренний счет пользователя
Задача: после того как заказ, в интернет-магазине, перешел в статус "Выполнен" начислить пользователю 5% от стоимости заказа, на накопительный счет - ...
-
Ссылка и название раздела в списке новостей Битрикс
Если нужно вывести название раздела инфоблока в котором находится конкретный элемент/новость в компоненте "списк новостей" Битрикс, и ссылку на этот р...
-
Ссылка на товары бренда в каталоге с автоматическим применением умного фильтра
Задача: вывести товары на странице бренда, выведенного компонентом "Новости", с ссылками на разделы в каталоге с применением умного фильтра...
-
INPUT type="file" Предпросмотр превью картинки до загрузки
Рассмотрим на примере компонента "Форма добавления-редактирования элементов инфоблока", как сделать ее более удобной для пользователя. Способ самодост...