Как собрать свой прогонщик для локальных LLM: меряем модели на своих задачах

Как собрать свой прогонщик для локальных LLM: меряем модели на своих задачах

В прошлой заметке я устроил турнир своим локальным моделям: пять сложных PHP-задач, автоматическая проверка кода тестами и таблица результатов. Там же обещал рассказать, как собрать такой прогонщик самому. Делаю это. Ниже весь рецепт: как придумать задачи, как написать к ним тесты, как автоматизировать прогон по всем моделям и на какие грабли я наступил, пока это работало.