Liquid AI выпустила d1-3B-w8a8: локальные решения на NVIDIA Jetson

7 октября Liquid AI добавила отдельные веса d1-3B-w8a8. Если на совместимом компьютере NVIDIA нужно локально разбирать обращения или проверять снимки, модель выбирает ответ из заданных вариантов без написания текста. Это не новый чат-бот и не готовое приложение для одного клика: доступен набор весов и код для продвинутого запуска. s1 s2

Проверено по первоисточникам 7 октября 2026 года. Уровень: для продвинутых пользователей с подходящей видеокартой NVIDIA. Редакция запуск модели не выполняла.

Что изменилось по сравнению с обычной d1-3B?

У новой версии восьмибитные веса и вычисления языковой части — обозначение W8A8 или INT8. Такая подготовка сделана заранее; пользователь скачивает уже преобразованную модель. Обработка изображений и некоторые другие части остались в исходном формате bf16. По карточке автора файл весов занимает около 3,8 ГБ вместо 6,2 ГБ у базовой версии. Размер файла не является требованием к оперативной или видеопамяти. s1

Обычная d1-3B принимает текст и изображения, чтобы ответить на заранее заданный вопрос: например, «просит ли клиент возврат?» или «в какой отдел отправить заявку?». На вход можно подать фразу «С меня дважды списали оплату» и такой вопрос; на выходе ожидается оценка выбранного ответа, а не сочинённое письмо клиенту. Это пример задачи, а не результат нашего теста. Подробнее о назначении исходной модели — в предыдущем материале Modelium. s1

Для какого компьютера это имеет смысл?

Автор указывает видеокарты NVIDIA, умеющие выполнять нужные восьмибитные операции, начиная с поколения Ampere; в качестве примера — Jetson Orin. Для запуска нужны PyTorch, инструмент torchao и компиляция модели при первом обращении. Это инженерный путь, не инструкция для обычного домашнего ноутбука. Для процессора, Apple Silicon, AMD и более старых видеокарт NVIDIA автор советует брать исходную d1-3B. Указанный в карточке Jetson AGX Orin 64 ГБ — стенд авторского теста, не минимальное требование. s1

По измерениям самой Liquid AI, на Jetson AGX Orin 64 ГБ с JetPack 6.2, PyTorch 2.11 и torchao 0.18 один вопрос обрабатывался за 31 мс вместо 37 мс у базовой модели. Авторы приводят лучший из пяти прогонов после компиляции; пиковую память процесса они оценили в 7,9 против 12,4 ГБ. Эти цифры не гарантируют такую скорость на другой машине, и Modelium их независимо не проверял. s1

Что учитывать перед использованием?

В закреплённой ревизии есть один файл весов и код модели. Для загрузки автор просит разрешить выполнение кода из репозитория (trust_remote_code=True), поэтому сначала изучите источник и не запускайте чужой код без проверки. Лицензия весов — LFM Open License v1.0, а не Apache-2.0: раздел 5 ограничивает коммерческое применение для организаций, достигших порога годовой выручки 10 млн долларов. Отдельно проверяйте условия своего применения. s2 s3

Следующий шаг: если у вас подходящая NVIDIA и опыт работы с PyTorch, откройте закреплённую карточку d1-3B-w8a8 и проверьте совместимость своей среды с опубликованным автором примером. Для первого знакомства с назначением модели начните с обзора d1-3B.