Gemma 3 270M обучили выбирать ответы с вероятностями: что доступно локально

12 октября автор rony выложил обученную версию Gemma 3 270M для задач, где надо не сочинить текст, а выбрать ответ из заранее заданных вариантов и показать вероятность каждого. Например, система может распределить обращение между категориями «доставка», «возврат» и «другое» — это пример задачи, а не проверенный нами результат на русском языке. На Hugging Face опубликованы отдельный файл весов, конфигурация, карточка и авторский код для Python. s1 s2

Что именно вышло

Чекпойнт — сохранённые веса модели. Версия rony/gemma3-270m-typed-decisions дообучена на базе Google Gemma 3 270M it. В истории репозитория первый коммит датирован 12 октября, а текущая закреплённая версия — 358f3a33. Полный список файлов этой версии включает model.safetensors размером 1 072 419 256 байт; это объём файла, не требование к оперативной или видеопамяти. s1 s2 s3

Автор использует три вида вопросов: выбор одного варианта, «да/нет» и оценку по шкале. На выходе — распределение вероятностей между предложенными ответами. Чтобы получить его, пример из карточки запускает модель через Transformers/PyTorch и считывает оценки следующих букв вариантов; обычный режим свободной беседы не является целью этого чекпойнта. Инструкция в карточке требует Python-кода, поэтому это новость для тех, кто собирает собственный локальный классификатор, а не установка одним нажатием. s1

Что говорят авторские испытания

На англоязычном синтетическом наборе Typed Decisions — искусственно составленных заданиях — автор сообщает точность 0,7615 на тесте из 400 случаев и 2000 отдельных решений. Дообучение проводилось на обучающей части того же набора; тестовые случаи заявлены как не использовавшиеся при обучении. Это не независимая проверка Modelium и не основание сравнивать число напрямую с результатами моделей, которые решали те же задачи без дообучения. Эталонные распределения получены из ответов модели-учителя, поэтому тест измеряет близость к этим ответам, а не надёжность решений в реальной работе. s1 s4 s5

Карточка содержит неоднозначную подпись к задержке: рядом написаны cuda и Apple Silicon, тогда как машинный файл результатов указывает cuda. Поэтому мы не приводим время ответа и не делаем выводов о скорости на Mac или о минимальном железе. В таблице также встречаются два числа для ошибки калибровки (ECE) — показателя соответствия уверенности модели реальной доле верных ответов: 0,148 при усреднении по вопросам и 0,1146 при объединении всех решений. Это разные способы подсчёта, а не один результат для прямого сопоставления. s1 s4

Стоит ли пробовать сейчас

Если вы пишете программу, которая должна присваивать вероятности фиксированным категориям без отправки текста в облачный API, начните с карточки конкретной ревизии и оцените модель на своих примерах. Готового приложения или проверенного нами рецепта для домашнего компьютера здесь нет; русскоязычное качество и требования к памяти не опубликованы. Веса доступны без ограничения доступа к репозиторию, но это не лицензия MIT/Apache: метка — gemma, а использование и распространение производной модели подчиняются условиям Google Gemma, включая ограничения на использование и передачу производных. Отдельного файла NOTICE в закреплённом списке файлов мы не нашли; перед распространением проверьте выполнение условий самостоятельно. s1 s2 s3 s6

Для сравнения с другой локальной моделью выбора из заданных ответов можно открыть материал о Bobcat 1.2. Сравнивать их авторские цифры напрямую нельзя без одинаковой задачи и условий оценки.