Перейти к содержанию
modelium.
Начать с задачи
←
Новость

Olmo 3 7B Think перевели в LiteRT-LM: локальный запуск на Mac и Android

На странице · 2 разделов

Для Olmo 3 7B Think появились три неофициальных пакета LiteRT-LM: два варианта для компьютера и один с более коротким контекстом для телефона. Автор конверсии показал запуск на Mac Studio и устройстве Galaxy S26, но это не готовая универсальная инструкция для любого смартфона. Модель рассчитана прежде всего на английский язык; Modelium её не запускал.

16 октября 2026 года участник сообщества опубликовал конверсию Olmo 3 7B Think для LiteRT-LM — программы, позволяющей запускать модели непосредственно на устройстве. Это не новая модель от Ai2, а новый формат её весов. Он может быть полезен тем, кто хочет попробовать рассуждающую модель без облачного сервиса на совместимом Mac или Android-устройстве. s1 s2

Что можно скачать сейчас?

В репозитории лежат три полных файла .litertlm: int8, int4 и отдельный int4 с контекстом 2048 токенов для телефона. Контекст — объём текста, который модель удерживает во время одного ответа. Файлы int4 занимают около 4,31 ГБ каждый, int8 — около 7,43 ГБ на диске; это не требования к оперативной или видеопамяти. Наличие файлов и их размеры сверены с перечнем файлов Hugging Face. s1 s3

Olmo 3 7B Think — существующая англоязычная модель Allen Institute for AI для задач, где нужен развёрнутый ход рассуждений, например разбора текста или задач по математике. У исходного чекпойнта и этой конверсии указана Apache-2.0; автор конверсии приложил текст лицензии. Это не означает, что редакция проверяла все способы коммерческого применения или качество модели на русском языке. s2 s4

Что показал автор конверсии?

По его испытаниям, файл int4 работал в LiteRT-LM 0.18.0 на Mac Studio M4 Max. На лабораторном Galaxy S26 с Android 16 заработал только вариант с укороченным контекстом: файлы с контекстом 4096 токенов не смогли подготовить программу к работе на графическом процессоре проверенного устройства. Сообщённые автором 34,8 токена в секунду на Mac GPU и 7,0 на телефоне относятся к его конфигурациям, а не ко всем Mac и Android. Для телефонного запуска автор отсылает к отдельному техническому руководству по GPU: это не установка в один клик. s1

Есть и практическое ограничение: модель сначала выводит ход рассуждения, который может занять большую часть доступного контекста, прежде чем дать ответ. По наблюдениям автора, переключатель --thinking false не отключил его, а ограничение бюджета рассуждения не гарантировало короткого ответа. Для коротких ответов и компактного телефона это может быть неудобно. Modelium эти файлы не запускал, поэтому совместимость с вашим устройством и качество результата остаются непроверенными редакцией. s1

Если хотите сначала разобраться в самой программе, откройте материал о LiteRT-LM 0.18.0. Для оценки именно этой конверсии начните с карточки автора и проверьте совместимость вашего устройства до загрузки весов. s1 s5

Источники