Большая LLM на маленькой видеокарте. KTransformers на RTX 5060 Ti 16 ГБ - впихнуть не впихуемое
Хочется держать свою нейросеть для Битрикс-рутины. Собрал сервер на RTX 5060 Ti 16 ГБ и KTransformers, получил 30 токенов/с на 27B-модели. Расскажу, через какие грабли прошёл, чтобы вы не наступали в них же.