Разработка на 1С-Битрикс
Локальные LLM: турнир/бенчмарк 9 моделей на сложных PHP-задачах
У меня дома живёт сервер с локальными нейросетями, которые я гоняю для разработки на PHP и 1С-Битрикс. Моделей накопилось около десятка, и до недавнего времени я выбирал рабочую по ощущениям и по чужим бенчмаркам из интернета. В какой-то момент надоело: чужие тесты не отвечают на главный вопрос - а как эта модель напишет именно мой код? Поэтому я устроил своим моделям турнир: пять сложных PHP-задач, автоматическая проверка юнит-тестами и честная таблица результатов. Расскажу, какие задачи давал, сколько баллов кто набрал и почему самая умная модель не всегда самая полезная.
У меня дома живёт сервер с локальными нейросетями, которые я гоняю для разработки на PHP и 1С-Битрикс. Моделей накопилось около десятка, и до недавнего времени я выбирал рабочую по ощущениям и по чужим бенчмаркам из интернета. В какой-то момент надоело: чужие тесты не отвечают на главный вопрос - а как эта модель напишет именно мой код? Поэтому я устроил своим моделям турнир: пять сложных PHP-задач, автоматическая проверка юнит-тестами и честная таблица результатов. Расскажу, какие задачи давал, сколько баллов кто набрал и почему самая умная модель не всегда самая полезная.
Индивидуальный предприниматель