LLM-jp 4.1 8B Thinking получил 4-битный MLX-пакет для Mac
На странице · 4 разделов
Сообщество выпустило неофициальную 4-битную MLX-конверсию японской reasoning-модели LLM-jp 4.1 8B Thinking. Полный файл весов размещён на Hugging Face; автор даёт команду для mlx-lm на Apple Silicon. Это новый формат существующей модели, а не релиз новой базы или подтверждённый Modelium тест качества.
Что вышло
29 сентября 2026 года автор masahiroid загрузил на Hugging Face неофициальную 4-битную конверсию llm-jp/llm-jp-4.1-8b-thinking для MLX. Репозиторий содержит один model.safetensors и индекс весов; карточка обозначает формат как 4 бит, группу 64 и запуск на Mac с Apple Silicon через mlx-lm. Это не новая базовая модель и не официальный пакет команды LLM-jp: исходный чекпойнт создан ранее, а новый выпуск меняет способ локального запуска. s1 s2
Кому полезно
Если нужен локальный эксперимент с японскими reasoning-задачами на Mac, пакет избавляет от самостоятельной конверсии исходного BF16-чекпойнта. По индексу конверсии данные модели занимают 4 832 370 688 байт, файл на Hub — 4 832 455 570 байт. Это размеры артефактов на диске, а не минимальный объём объединённой памяти: фактическое потребление зависит от длины контекста, KV-кеша и конфигурации среды. Указанные в карточке 16 ГБ+ — рекомендация автора, не результат проверки нижней границы Modelium. s1
Исходная модель LLM-jp 4.1 8B Thinking разработана проектом Национального института информатики Японии; в её карточке указаны 8,59 млрд параметров, контекст до 65 536 токенов и выравнивание SFT/DPO. Это описание исходной модели, не независимая оценка качества 4-битной копии. s2
Как попробовать
На Mac с Apple Silicon установите актуальный mlx-lm и запустите команду из карточки конверсии:
pip install -U mlx-lm
mlx_lm.generate --model masahiroid/llm-jp-4.1-8b-thinking-4bit-mlx --prompt '人工知能の歴史について教えてください。' --max-tokens 512
Для программного диалога карточка также показывает mlx_lm.load, применение приложенного chat template через токенизатор и generate. Используйте токенизатор этого же репозитория: исходная карточка предупреждает, что его Harmony-подобный шаблон не совместим с прямой токенизацией библиотекой openai-harmony. Команда выше — рекомендация автора; Modelium не загружал многогигабайтный файл и не проводил собственный инференс. s1 s2 s3
Лицензия и ограничения
Оба репозитория указывают apache-2.0; эта лицензия допускает коммерческое использование при соблюдении её условий, но метка лицензии сама по себе не подтверждает качество ответа. В списке файлов конверсии отдельного LICENSE нет, поэтому перед перераспределением пакета следует проверить лицензионные уведомления и обязательства исходной модели. Автор не привёл сравнительных замеров точности или скорости 4-битной версии против BF16. Не переносите оценки исходной модели на конверсию без собственных тестов на вашей задаче. s1 s2
Следующий шаг: попробуйте один и тот же японский запрос на этом MLX-пакете и исходном чекпойнте, зафиксировав версии, параметры генерации, качество ответа и фактическое потребление памяти на своём Mac. Для русского языка карточка конверсии отдельной проверки не обещает. s1 s2
Источники
- masahiroid: LLM-jp 4.1 8B Thinking 4bit MLX — карточка и файлы закреплённой ревизии — HF API, README, config и индекс весов сохранены локально; createdAt 2026-09-29T13:08:23Z; файл safetensors подтверждён полным деревом.. Получено 29.09.2026.
- LLM-jp: официальная карточка llm-jp-4.1-8b-thinking — Исходная модель, описание и метка лицензии; первоначальное создание репозитория 2026-09-15, обновление README не является новой моделью.. Получено 29.09.2026.
- ml-explore/mlx-lm: официальный репозиторий runtime — Проверка CLI и предназначения mlx-lm; отдельного end-to-end запуска Modelium не проводил.. Получено 29.09.2026.