LFM2.5-350M-Diffusion: экспериментальные открытые веса для блочной генерации

Зачем это локальному пользователю

В обычной авторегрессионной модели следующий токен приходится вычислять последовательно. Здесь число проходов денойзинга на блок выбирают отдельно: 4, 8 или 32 (NFE). По заявлению Liquid AI, восемь шагов дают практический компромисс скорости и качества, четыре — более быстрый режим с возможной потерей качества. Это экспериментальный способ локального декодирования, а не готовое ускорение для любого чата или любой машины. В таблице самой карточки есть задачи, на которых вариант NFE 8 уступает авторегрессионному исходнику; слово «быстрее» не означает «точнее». s2 s3

Авторы приводят ускорение декодирования NFE 8 относительно LFM2.5-350M: 2,93× на H100, 2,47× на B200 и 2,81× на MI325X. Это авторские, не воспроизведённые Modelium измерения: один запрос, вход в 1024 токена, 1024 генерируемых токена, медиана по пяти машинам каждого типа; базовая модель и новая запускались на одной машине подряд. Разработчики особо отмечают влияние CPU на авторегрессионную базовую линию. Эти GPU — стенды сравнения, а не минимальные требования для запуска. Публичная методика оценки качества использует SGLang и non-thinking режим; авторы предупреждают, что опубликованные таблицы считались внутренним стендом и результаты публичных harness могут немного расходиться. s3 s4

Как попробовать без ложного рецепта

• Референсный локальный путь: официальный репозиторий Liquid4All/lfm-diffusion содержит PyTorch-инференс и scripts/generate.py. Его README предлагает клонировать репозиторий, выполнить uv sync --extra cuda для NVIDIA или uv sync --extra rocm для AMD и затем uv run scripts/generate.py --prompt "Give three tips for getting better sleep." --nfe 8. Перед повторением закрепите код на коммите 8efc38a50b8f02d7bfb20134947a849d5e4ea178, а веса — на HF-ревизии f6b31689f51ee1a6ec2105a2026708fd89db9dab; приведённая команда из README сама по себе скачивает текущую ревизию. Это авторский рецепт, не проверенный запуск Modelium. s1 s5
• Сервер для экспериментов: авторы отдельно документируют расширение SGLang sglang-diffusion-lfm с алгоритмом DuoBlock и OpenAI-совместимым endpoint. Установка и параметры CUDA/ROCm описаны в руководстве, а не следуют из обычной команды запуска стандартного SGLang. Для первого знакомства проще референсный PyTorch-скрипт; серверный вариант нужен тем, кто отдельно готов проверять совместимость и пакет зависимостей. s3 s6
• Выбор режима: начните с NFE 8 и сравните на своих запросах с NFE 4 и 32. Пресет nfe8.yaml включает ancestral sampling и температурный график 0,8 → 0,4; заменять его на greedy-декодирование авторы не советуют. Нативный transformers.generate(), обучение и донастройку репозиторий пока обещает добавить позднее. Не подменяйте этот проект командой запуска обычного GGUF в Ollama или llama.cpp: официальная инструкция относится к отдельному коду блочной диффузии. s2 s5 s7

Права и границы вывода

Исходники инструментария распространяются по Apache 2.0; веса — по LFM Open License v1.0, а не по Apache. Текст лицензии определяет коммерческое использование и ограничивает его в зависимости от годовой выручки юридического лица (порог в документе — $10 млн); для проектов рядом с порогом или выше следует читать точные условия либо согласовывать отдельное разрешение. Доступность скачивания не равна безусловному разрешению на коммерческое применение. s8 s9

В опубликованных источниках нет независимой проверки ускорения, потребления памяти и качества на потребительских GPU. Размер файла весов не переводится автоматически в объём нужной RAM/VRAM. Для выбора в рабочий контур сначала сравните качество на своей задаче, полную задержку ответа и условия лицензии; экспериментальная маркировка и отдельный runtime здесь важнее одного числа ускорения. s2 s3