# Olmo 3 7B Think перевели в LiteRT-LM: локальный запуск на Mac и Android

Источник: https://modelium.tech/zhurnal/olmo-3-7b-think-litert-lm-mobile-local/

Для Olmo 3 7B Think появились три неофициальных пакета LiteRT-LM: два варианта для компьютера и один с более коротким контекстом для телефона. Автор конверсии показал запуск на Mac Studio и устройстве Galaxy S26, но это не готовая универсальная инструкция для любого смартфона. Модель рассчитана прежде всего на английский язык; Modelium её не запускал.

16 октября 2026 года участник сообщества опубликовал конверсию Olmo 3 7B Think для LiteRT-LM — программы, позволяющей запускать модели непосредственно на устройстве. Это **не новая модель от Ai2**, а новый формат её весов. Он может быть полезен тем, кто хочет попробовать рассуждающую модель без облачного сервиса на совместимом Mac или Android-устройстве. [s1](#src-s1) [s2](#src-s2)

## Что можно скачать сейчас?

В репозитории лежат три полных файла `.litertlm`: int8, int4 и отдельный int4 с контекстом 2048 токенов для телефона. Контекст — объём текста, который модель удерживает во время одного ответа. Файлы int4 занимают около 4,31 ГБ каждый, int8 — около 7,43 ГБ **на диске**; это не требования к оперативной или видеопамяти. Наличие файлов и их размеры сверены с перечнем файлов Hugging Face. [s1](#src-s1) [s3](#src-s3)

Olmo 3 7B Think — существующая англоязычная модель Allen Institute for AI для задач, где нужен развёрнутый ход рассуждений, например разбора текста или задач по математике. У исходного чекпойнта и этой конверсии указана Apache-2.0; автор конверсии приложил текст лицензии. Это не означает, что редакция проверяла все способы коммерческого применения или качество модели на русском языке. [s2](#src-s2) [s4](#src-s4)

## Что показал автор конверсии?

По его испытаниям, файл int4 работал в LiteRT-LM 0.18.0 на Mac Studio M4 Max. На лабораторном Galaxy S26 с Android 16 заработал только вариант с укороченным контекстом: файлы с контекстом 4096 токенов не смогли подготовить программу к работе на графическом процессоре проверенного устройства. Сообщённые автором 34,8 токена в секунду на Mac GPU и 7,0 на телефоне относятся к его конфигурациям, а не ко всем Mac и Android. Для телефонного запуска автор отсылает к отдельному техническому руководству по GPU: это не установка в один клик. [s1](#src-s1)

Есть и практическое ограничение: модель сначала выводит ход рассуждения, который может занять большую часть доступного контекста, прежде чем дать ответ. По наблюдениям автора, переключатель `--thinking false` не отключил его, а ограничение бюджета рассуждения не гарантировало короткого ответа. Для коротких ответов и компактного телефона это может быть неудобно. Modelium эти файлы не запускал, поэтому совместимость с вашим устройством и качество результата остаются непроверенными редакцией. [s1](#src-s1)

Если хотите сначала разобраться в самой программе, откройте [материал о LiteRT-LM 0.18.0](https://modelium.tech/zhurnal/litert-lm-0-18-0-embeddinggemma-2-local-api/). Для оценки именно этой конверсии начните с карточки автора и проверьте совместимость вашего устройства до загрузки весов. [s1](#src-s1) [s5](#src-s5)

## Источники

1. [Olmo-3-7B-Think — LiteRT-LM, карточка конверсии и авторские тесты, ревизия 0975ed9](https://huggingface.co/litert-community/Olmo-3-7B-Think/blob/0975ed9e3f786279aa05a4b3a9614b3c1653d512/README.md) — получено 2026-10-18
2. [Allen Institute for AI: Olmo 3 7B Think, закреплённая карточка](https://huggingface.co/allenai/Olmo-3-7B-Think/blob/d97e442d7cc678210054dbcc9b440894d62c89a4/README.md) — получено 2026-10-18
3. [Hugging Face: перечень файлов конверсии в ревизии 0975ed9](https://huggingface.co/api/models/litert-community/Olmo-3-7B-Think/tree/0975ed9e3f786279aa05a4b3a9614b3c1653d512) — получено 2026-10-18
4. [Apache License 2.0 в репозитории конверсии](https://huggingface.co/litert-community/Olmo-3-7B-Think/blob/0975ed9e3f786279aa05a4b3a9614b3c1653d512/LICENSE) — получено 2026-10-18
5. [Google AI Edge: релиз LiteRT-LM v0.18.0](https://github.com/google-ai-edge/LiteRT-LM/releases/tag/v0.18.0) — получено 2026-10-18