Перейти к содержанию
modelium.
Начать с задачи
←
Новость

Flint в GGUF: версии Q4 и Q8 для llama.cpp

На странице · 3 разделов

22 октября проект ggml-org разместил Flint в формате GGUF: исходный BF16 и два сжатых варианта Q8_0 и Q4_K_M. Это новый способ загрузить модель для работы с кодом через llama.cpp, в том числе на компьютерах не от Apple. Поддержка Flint уже вошла в сборки llama.cpp, но они помечены как предварительные; Modelium не проверял запуск, необходимую память и качество сжатых версий.

Flint в GGUF: версии Q4 и Q8 для llama.cpp

Хотите попробовать Flint для работы с кодом не только через программу Rec на Mac? 22 октября команда ggml-org выложила три файла Flint в формате GGUF — его читают программы на основе llama.cpp. Два файла сжаты для загрузки вместо полного варианта, но их появление само по себе не означает, что модель заработает на любом компьютере. s1 s3

Проверено по документации 22 октября 2026 года. Modelium не запускал эту конверсию, не измерял скорость, качество ответов или потребление памяти. Это новость о доступных файлах, а не проверенная инструкция установки.

Что стало доступно

В официальном репозитории ggml-org лежат Flint-BF16.gguf, Flint-Q8_0.gguf и Flint-Q4_K_M.gguf. Это варианты одной и той же модели Recursive Flint, которую выпустили днём раньше, а не три новые модели. GGUF — формат файла, который используют программы локального запуска на базе llama.cpp; Q8 и Q4 обозначают разные способы уменьшить объём весов. Репозиторий прямо связывает конверсию с исходной ревизией RecursiveSI/flint. s1 s2

На диске Q4_K_M занимает около 23,4 ГБ, Q8_0 — 42,4 ГБ, BF16 — 79,6 ГБ по манифесту Hugging Face. Это размеры скачиваемых файлов, не минимальная оперативная или видеопамять. Достаточно ли памяти именно на вашем устройстве, из этих цифр не следует: на запуск влияют также контекст, устройство и настройки программы. s1

Что это меняет для пользователя

Ранее мы описали исходные веса Flint и путь для Mac. Теперь у llama.cpp есть отдельный пакет GGUF с более привычными для этой программы вариантами Q4_K_M и Q8_0. Это расширяет выбор формата для тех, кто запускает модель локально; сборка llama.cpp b11819 предлагает, в частности, пакеты CPU для Windows x64 и Ubuntu x64. Поддержка архитектуры Flint вошла через объединённое изменение #30928 и присутствует как минимум с предварительной сборки b11803. s3 s4

Следующий шаг: сначала откройте карточку ggml-org/Flint-GGUF и проверьте три файла и предупреждение о версии llama.cpp с поддержкой Flint. Не подменяйте её старой сборкой: карточка прямо указывает на необходимое изменение. Для выбора домашнего компьютера и пошагового запуска пока не хватает подтверждённых замеров памяти и практической проверки этой конверсии. s1 s3

Какие ограничения остались

Сборки llama.cpp b11803 и b11819 отмечены разработчиками как предварительные, а не стабильный релиз. Q4_K_M может отличаться по качеству ответов от BF16; измерений именно этой конверсии, которые Modelium воспроизвёл бы, нет. Не стоит обещать одинаковую скорость или качество на Windows, Linux и Mac без теста на конкретном компьютере. s1 s3 s4

Карточка исходной модели и её отдельный файл LICENSE указывают Apache 2.0 для весов; карточка GGUF также указывает Apache 2.0. Код llama.cpp распространяется отдельно под MIT. Открытые веса не означают, что все программы для их запуска имеют ту же лицензию или что любой чужой набор данных можно свободно использовать. s1 s2 s5

Если нужно сначала понять, для каких задач задуман Flint и чем отличаются варианты для Mac, прочитайте первую новость о Recursive Flint.

Источники