llama.cpp b11488 научился работать с d1-omni-600M: решения по фото и короткой речи локально

Что изменилось для локального запуска?

Разработчики добавили в llama.cpp поддержку d1-omni-600M: преобразование весов, обработку изображения и аудиофрагмента и выдачу оценки по заданным вариантам через локальный сервер. Ранее опубликованная модель не становилась от этого обычным чат-ботом: она не сочиняет текст, а выбирает между вариантами вроде «оплата», «доставка» и «техническая проблема» или оценивает ответ «да/нет». Сборка b11488 помечена разработчиками как предварительная, не стабильный релиз. s1s2s3

Например, для записи обращения можно задать вопрос «к какой теме оно относится?» и варианты «оплата», «доставка», «другое». Программа вернёт оценку предложенных вариантов; конкретный ответ без запуска мы не предсказываем. Даже высокий балл стоит сверить с записью вручную — особенно если речь на русском: авторы модели предупреждают, что речевая часть обучалась на англоязычных обращениях. s4

Что доступно сейчас и как попробовать?

Liquid AI уже выложила официальные файлы модели в формате GGUF (файлы весов для программ семейства llama.cpp): BF16, F16 и Q8_0, а также отдельные файлы, которые помогают обработать фото и звук. Карточка модели предлагает опытным пользователям запуск llama-server -hf LiquidAI/d1-omni-600M-GGUF:Q8_0 -b 4096 -ub 4096 на сборке с новой поддержкой. Загрузка файлов требует интернета; после запуска сервер принимает вопросы по локальному адресу http://127.0.0.1:8080/v1/systemone. Это инструкция по документации, а не проверенный Modelium запуск и не простой домашний установщик. s1s3s5

Задавать варианты и отправлять фото или запись приходится через API — технический адрес программы, к которому обращается другая программа. В карточке есть примеры запроса для текста, изображения и аудио; сервер принимает фото в images или files, а аудио — в files. Чтобы понять, получилось ли у вас, отправьте собственный короткий пример с понятными вариантами, сравните выбранный вариант с исходной записью или фото и проверьте, что запрос ушёл на локальный адрес. Мы не проверяли качество такого ответа, скорость и требования к оперативной или видеопамяти. s3s5

Что остаётся ограничением?

В одном запросе возможны изображения или один аудиофрагмент длительностью до 30 секунд, но не оба вида файлов одновременно. Авторы называют d1-omni-600M ранним исследовательским выпуском и не приводят для него измерений скорости вывода; техническое появление поддержки не гарантирует одинаковый результат на разных компьютерах. Минимальное железо для этого способа запуска в проверенных источниках не задано. s4s3

Код llama.cpp распространяется по MIT, а веса модели имеют отдельную LFM Open License 1.0. По её пункту 5 коммерческое использование в организации с годовой выручкой от 10 млн долларов не разрешено этой лицензией без иного соглашения; открытый доступ к весам не означает безусловную свободу коммерческого применения. s6s7

Следующий шаг: если вы только знакомитесь с моделью, сначала прочитайте что умеют d1-3B и d1-omni-600M. Для экспериментального запуска на своём оборудовании сверяйтесь с закреплённой карточкой официальных GGUF-файлов и документацией именно b11488; не выдавайте предположения о работе за результат теста. s3s5