Ministral 3 3B для LiteRT-LM: обновлённый GPU-граф на Android и Mac
На странице · 3 разделов
Сообщество обновило готовый пакет Ministral-3-3B-Instruct-2512 для локального LiteRT-LM: 5 октября 2026 года переписало операции GPU-графа и добавило короткую 16-токенную ветку prefill, не объявляя новую базовую модель. Автор сообщает рост скорости декодирования на M4 Max с 92,4 до 129,5 токена/с в своём сравнении; этот результат Modelium не воспроизводил. Пакет содержит только текстовый декодер, без зрения.
Что произошло
5 октября 2026 года автор сообщества перевыпустил файл Ministral-3-3B-Instruct-2512_q4_block32_ekv4096.litertlm в репозитории litert-community/Ministral-3-3B-Instruct-2512. Запись коммита прямо называет это перестройкой GPU-графа; последующие изменения 5–6 октября касались карточки. Это не новая Ministral и не новые обученные веса: по заявлению автора, поменялись операции обновления KV-кеша и attention, добавилась ветка prefill для 16 токенов, а весовые буферы остались прежними. s1 s2
Теперь граф использует GPU composite-операции odml.cache_update и odml.runtime_bmm вместо прежних DYNAMIC_UPDATE_SLICE и BATCH_MATMUL. Дополнительная короткая ветка нужна для короткого первого запроса. Карточка датирует описание «6 октября», но загрузка изменённого файла зафиксирована историей репозитория 5 октября в 18:18 UTC; это разные отметки времени, не два релиза. s1 s2
Что доступно локально
В закреплённой ревизии размещён один файл .litertlm размером 2 342 866 928 байт: манифест и реестр HF показывают один и тот же SHA-256 13c47bcbaf305e4337f280b27c991168b0c624a6d60e00df10f0f23ebd28ad83. Размер файла описывает загрузку, а не минимальную потребность в RAM или VRAM. Это 4-битная конверсия официальной mistralai/Ministral-3-3B-Instruct-2512 для LiteRT-LM с контекстом 4096; мультимодальная башня Pixtral в пакет не входит. У исходной модели и у конверсии указана Apache-2.0; доступные веса не следует путать с исходным кодом runtime. s3 s4 s5
Для пробы скачайте файл из закреплённой ревизии HF и импортируйте как локальную модель в Google AI Edge Gallery версии 1.0.15 или новее либо запускайте через LiteRT-LM. Доступность GPU в Gallery зависит от политики приложения и устройства: не переносите результаты одного телефона на другой и не выводите требования к памяти из размера пакета. Версию приложения сверяйте с официальными релизами. s2 s6
Что показывают замеры автора
На Mac Studio M4 Max автор сравнил прежний и новый файлы в LiteRT-LM 0.17.1 при отключённом кеше: GPU-декодирование 256 токенов выросло с 92,4 до 129,5 токена/с, GPU-prefill 256 токенов — с 1215 до 1340 токенов/с. Для отдельного короткого теста время до первого токена снизилось с 121 до 38 мс при 16 токенах входа и 32 токенах вывода. Это авторские замеры, а не независимый тест Modelium; медианы получены из трёх отдельных процессов на GPU. Не смешивайте короткий TTFT с результатом для 256-токенного запроса. s2 s3
На Galaxy S26 автор сообщает полную GPU-делегацию нового графа и 21,85–22,16 токена/с при запросе из 1024 токенов; это измерения на конкретной сборке LiteRT-LM и OpenCL, а не обещание такой скорости для Android вообще. Карточка отдельно предупреждает: старые результаты для Pixel 8a и Raspberry Pi 5 не перемерены на новом файле. Проверки качества автора также ограничены небольшими наборами; публичной независимой оценки влияния перестройки на ответы нет. s2 s3
Вывод для выбора стека: если нужен текстовый Ministral на LiteRT-LM, имеет смысл отличать новый пакет по закреплённому SHA и проверять скорость и ответы именно на своём устройстве. Для изображений этот пакет не подходит; для систем, зависящих от конкретного поведения модели, обновление графа сначала проверяют на своих запросах. s2 s3
Источники
- HF: история коммитов конверсии Ministral 3 3B — Коммит 85b1913e 2026-10-05T18:18:19Z и последующие карточные изменения.. Получено 06.10.2026.
- Карточка конверсии Ministral 3 3B в закреплённой ревизии — Описание графа, ограничений и авторских измерений; результаты Modelium не воспроизводил.. Получено 06.10.2026.
- Манифест файла LiteRT-LM в закреплённой ревизии — SHA, размер и условия измерений; машинно-читаемое утверждение автора.. Получено 06.10.2026.
- Hugging Face: модель и реестр файлов — Один файл весов; LFS oid и размер сверены с манифестом.. Получено 06.10.2026.
- Mistral AI: исходная Ministral 3 3B Instruct — Официальный репозиторий исходной модели с отметкой Apache-2.0.. Получено 06.10.2026.
- Google AI Edge Gallery: официальные релизы — Версия 1.0.15 и более новые релизы доступны; совместимость импорта описана в карточке автора.. Получено 06.10.2026.