# LLM-jp 4.1 8B Thinking получил 4-битный MLX-пакет для Mac

Источник: https://modelium.tech/zhurnal/llm-jp-4-1-8b-thinking-mlx-4bit-mac/

Сообщество выпустило неофициальную 4-битную MLX-конверсию японской reasoning-модели LLM-jp 4.1 8B Thinking. Полный файл весов размещён на Hugging Face; автор даёт команду для mlx-lm на Apple Silicon. Это новый формат существующей модели, а не релиз новой базы или подтверждённый Modelium тест качества.

## Что вышло

29 сентября 2026 года автор `masahiroid` загрузил на Hugging Face неофициальную 4-битную конверсию `llm-jp/llm-jp-4.1-8b-thinking` для MLX. Репозиторий содержит один `model.safetensors` и индекс весов; карточка обозначает формат как 4 бит, группу 64 и запуск на Mac с Apple Silicon через `mlx-lm`. Это **не новая базовая модель** и не официальный пакет команды LLM-jp: исходный чекпойнт создан ранее, а новый выпуск меняет способ локального запуска. [s1](#src-s1) [s2](#src-s2)

## Кому полезно

Если нужен локальный эксперимент с японскими reasoning-задачами на Mac, пакет избавляет от самостоятельной конверсии исходного BF16-чекпойнта. По индексу конверсии данные модели занимают 4 832 370 688 байт, файл на Hub — 4 832 455 570 байт. Это размеры артефактов **на диске**, а не минимальный объём объединённой памяти: фактическое потребление зависит от длины контекста, KV-кеша и конфигурации среды. Указанные в карточке 16 ГБ+ — рекомендация автора, не результат проверки нижней границы Modelium. [s1](#src-s1)

Исходная модель LLM-jp 4.1 8B Thinking разработана проектом Национального института информатики Японии; в её карточке указаны 8,59 млрд параметров, контекст до 65 536 токенов и выравнивание SFT/DPO. Это описание исходной модели, **не независимая оценка качества 4-битной копии**. [s2](#src-s2)

## Как попробовать

На Mac с Apple Silicon установите актуальный `mlx-lm` и запустите команду из карточки конверсии:

pip install -U mlx-lmmlx_lm.generate --model masahiroid/llm-jp-4.1-8b-thinking-4bit-mlx --prompt '人工知能の歴史について教えてください。' --max-tokens 512

Для программного диалога карточка также показывает `mlx_lm.load`, применение приложенного chat template через токенизатор и `generate`. Используйте **токенизатор этого же репозитория**: исходная карточка предупреждает, что его Harmony-подобный шаблон не совместим с прямой токенизацией библиотекой `openai-harmony`. Команда выше — рекомендация автора; Modelium не загружал многогигабайтный файл и не проводил собственный инференс. [s1](#src-s1) [s2](#src-s2) [s3](#src-s3)

## Лицензия и ограничения

Оба репозитория указывают `apache-2.0`; эта лицензия допускает коммерческое использование при соблюдении её условий, но метка лицензии сама по себе не подтверждает качество ответа. В списке файлов конверсии отдельного `LICENSE` нет, поэтому перед перераспределением пакета следует проверить лицензионные уведомления и обязательства исходной модели. Автор не привёл сравнительных замеров точности или скорости 4-битной версии против BF16. Не переносите оценки исходной модели на конверсию без собственных тестов на вашей задаче. [s1](#src-s1) [s2](#src-s2)

**Следующий шаг:** попробуйте один и тот же японский запрос на этом MLX-пакете и исходном чекпойнте, зафиксировав версии, параметры генерации, качество ответа и фактическое потребление памяти на своём Mac. Для русского языка карточка конверсии отдельной проверки не обещает. [s1](#src-s1) [s2](#src-s2)

## Источники

1. [masahiroid: LLM-jp 4.1 8B Thinking 4bit MLX — карточка и файлы закреплённой ревизии](https://huggingface.co/masahiroid/llm-jp-4.1-8b-thinking-4bit-mlx/tree/b67c1f86d0184f90ff549495a555b2695a7b4643) — получено 2026-09-29
2. [LLM-jp: официальная карточка llm-jp-4.1-8b-thinking](https://huggingface.co/llm-jp/llm-jp-4.1-8b-thinking/tree/7c19bc90e49b717381e4f474ee95964c05217a28) — получено 2026-09-29
3. [ml-explore/mlx-lm: официальный репозиторий runtime](https://github.com/ml-explore/mlx-lm) — получено 2026-09-29