H2O-Lightning-4B: локальный выбор по документам и изображениям

Что изменилось 8 октября

В репозитории H2O.ai 8 октября 2026 года появился отдельный адаптер — небольшой набор весов, меняющий поведение базовой модели Qwen3.5-4B. По инструкции авторов, в одной локальной программе vLLM теперь можно держать базовую модель для обычных текстовых ответов и её адаптер для выбора по правилам. Сам H2O-Lightning-4B был доступен раньше: репозиторий создан 2 октября, а 4 октября отмечена версия v1.2.1. Поэтому речь не о выпуске новой базовой модели 8 октября. s1s2

Что доступно для локального запуска

Авторы предоставили полный файл модели, отдельный файл адаптера, конфигурацию и программу-прослойку, которая принимает вопрос и возвращает варианты с вероятностями. Поддерживаются вопросы по тексту и изображениям — например, скану чека или снимку экрана. Это не обычный чат: модель выбирает из списка, не пишет развёрнутое объяснение решения. Для гибридного режима авторы описывают vLLM 0.30.0 и базовую Qwen3.5-4B; инструкция сверена с карточкой, но Modelium не запускал модель. s1s2s3

В репозитории указан Apache-2.0 и лежит текст этой лицензии; базовая Qwen3.5-4B также помечена Apache-2.0. Вес модели занимает около 9,1 ГБ на диске, адаптер — около 520 МБ. Это размеры скачиваемых файлов, не минимум оперативной или видеопамяти. Авторы измеряли результаты на профессиональных видеокартах, но домашний минимум и скорость на вашем компьютере не подтвердили. s1s2s3

Как понять, подходит ли модель

Сценарий — повторяющееся решение по вашим правилам: назначить приоритет обращению, проверить утверждение или оценить запись по заданной шкале. В учебном примере можно дать короткое описание сбоя и три уровня приоритета, а затем сравнить выбранный уровень и вероятности с написанным вами правилом. Если правило неоднозначно или ошибка дорого стоит, решение проверяет человек. Это пример задачи, а не результат теста Modelium. s1

Авторы сообщают 205 верных ответов из 231 на публичном текстовом наборе JevBench. Их отдельное число 72,5 в составной таблице относится к версии v1.1, а не к новому адаптеру: переносить его на нынешний гибридный режим нельзя. Восемь верных ответов на опубликованных примерах с изображениями тоже не означают оценку на полном ImageJevBench. Независимой проверки этих результатов у редакции нет. s1

Карточка предупреждает: модель оценивали главным образом на английском; лучше всего она работает с небольшим числом вариантов, а видео не принимает. Если вам нужен русский текст с пояснением причин или домашний запуск без настройки GPU, не считайте эту публикацию готовым рецептом. Следующий шаг для подготовленного читателя — открыть закреплённую карточку, изучить условия запуска vLLM и сначала проверить на собственных размеченных примерах. s1