# Ministral 3 3B для LiteRT-LM: обновлённый GPU-граф на Android и Mac

Источник: https://modelium.tech/zhurnal/ministral-3-3b-litert-gpu-graph-android-mac/

Сообщество обновило готовый пакет Ministral-3-3B-Instruct-2512 для локального LiteRT-LM: 5 октября 2026 года переписало операции GPU-графа и добавило короткую 16-токенную ветку prefill, не объявляя новую базовую модель. Автор сообщает рост скорости декодирования на M4 Max с 92,4 до 129,5 токена/с в своём сравнении; этот результат Modelium не воспроизводил. Пакет содержит только текстовый декодер, без зрения.

## Что произошло

5 октября 2026 года автор сообщества перевыпустил файл `Ministral-3-3B-Instruct-2512_q4_block32_ekv4096.litertlm` в репозитории `litert-community/Ministral-3-3B-Instruct-2512`. Запись коммита прямо называет это перестройкой GPU-графа; последующие изменения 5–6 октября касались карточки. Это **не новая Ministral** и не новые обученные веса: по заявлению автора, поменялись операции обновления KV-кеша и attention, добавилась ветка prefill для 16 токенов, а весовые буферы остались прежними. [s1](#src-s1) [s2](#src-s2)

Теперь граф использует GPU composite-операции `odml.cache_update` и `odml.runtime_bmm` вместо прежних `DYNAMIC_UPDATE_SLICE` и `BATCH_MATMUL`. Дополнительная короткая ветка нужна для короткого первого запроса. Карточка датирует описание «6 октября», но загрузка изменённого файла зафиксирована историей репозитория 5 октября в 18:18 UTC; это разные отметки времени, не два релиза. [s1](#src-s1) [s2](#src-s2)

## Что доступно локально

В закреплённой ревизии размещён **один** файл `.litertlm` размером 2 342 866 928 байт: манифест и реестр HF показывают один и тот же SHA-256 `13c47bcbaf305e4337f280b27c991168b0c624a6d60e00df10f0f23ebd28ad83`. Размер файла описывает загрузку, а не минимальную потребность в RAM или VRAM. Это 4-битная конверсия официальной `mistralai/Ministral-3-3B-Instruct-2512` для LiteRT-LM с контекстом 4096; мультимодальная башня Pixtral в пакет **не входит**. У исходной модели и у конверсии указана Apache-2.0; доступные веса не следует путать с исходным кодом runtime. [s3](#src-s3) [s4](#src-s4) [s5](#src-s5)

Для пробы скачайте файл из закреплённой ревизии HF и импортируйте как локальную модель в Google AI Edge Gallery версии 1.0.15 или новее либо запускайте через LiteRT-LM. Доступность GPU в Gallery зависит от политики приложения и устройства: не переносите результаты одного телефона на другой и не выводите требования к памяти из размера пакета. Версию приложения сверяйте с официальными релизами. [s2](#src-s2) [s6](#src-s6)

## Что показывают замеры автора

На Mac Studio M4 Max автор сравнил прежний и новый файлы в LiteRT-LM 0.17.1 при отключённом кеше: GPU-декодирование 256 токенов выросло с 92,4 до 129,5 токена/с, GPU-prefill 256 токенов — с 1215 до 1340 токенов/с. Для отдельного короткого теста время до первого токена снизилось с 121 до 38 мс при 16 токенах входа и 32 токенах вывода. Это **авторские замеры**, а не независимый тест Modelium; медианы получены из трёх отдельных процессов на GPU. Не смешивайте короткий TTFT с результатом для 256-токенного запроса. [s2](#src-s2) [s3](#src-s3)

На Galaxy S26 автор сообщает полную GPU-делегацию нового графа и 21,85–22,16 токена/с при запросе из 1024 токенов; это измерения на конкретной сборке LiteRT-LM и OpenCL, а не обещание такой скорости для Android вообще. Карточка отдельно предупреждает: старые результаты для Pixel 8a и Raspberry Pi 5 **не перемерены** на новом файле. Проверки качества автора также ограничены небольшими наборами; публичной независимой оценки влияния перестройки на ответы нет. [s2](#src-s2) [s3](#src-s3)

**Вывод для выбора стека:** если нужен текстовый Ministral на LiteRT-LM, имеет смысл отличать новый пакет по закреплённому SHA и проверять скорость и ответы именно на своём устройстве. Для изображений этот пакет не подходит; для систем, зависящих от конкретного поведения модели, обновление графа сначала проверяют на своих запросах. [s2](#src-s2) [s3](#src-s3)

## Источники

1. [HF: история коммитов конверсии Ministral 3 3B](https://huggingface.co/api/models/litert-community/Ministral-3-3B-Instruct-2512/commits/main) — получено 2026-10-06
2. [Карточка конверсии Ministral 3 3B в закреплённой ревизии](https://huggingface.co/litert-community/Ministral-3-3B-Instruct-2512/blob/a15a0087534da8533797afb6d1c1fd2d211ec91c/README.md) — получено 2026-10-06
3. [Манифест файла LiteRT-LM в закреплённой ревизии](https://huggingface.co/litert-community/Ministral-3-3B-Instruct-2512/blob/a15a0087534da8533797afb6d1c1fd2d211ec91c/litertlm_manifest.json) — получено 2026-10-06
4. [Hugging Face: модель и реестр файлов](https://huggingface.co/api/models/litert-community/Ministral-3-3B-Instruct-2512/tree/a15a0087534da8533797afb6d1c1fd2d211ec91c?recursive=true) — получено 2026-10-06
5. [Mistral AI: исходная Ministral 3 3B Instruct](https://huggingface.co/mistralai/Ministral-3-3B-Instruct-2512) — получено 2026-10-06
6. [Google AI Edge Gallery: официальные релизы](https://github.com/google-ai-edge/gallery/releases) — получено 2026-10-06