Перейти к содержанию
modelium.
Начать с задачи
←
Новость

onw 0.11.0: gpt-oss-20b на Intel NPU в двух вариантах весов

На странице · 2 разделов

29 сентября вышел onw 0.11.0 с поддержкой gpt-oss-20b на Intel NPU. Автор опубликовал два готовых пакета: с экспертами INT4 и INT8. Это не новая базовая модель, а конверсия существующих весов OpenAI под отдельный локальный runtime. Заявленные 8,5 и 6 токенов/с измерены автором на NPU 3720; Modelium эти результаты не воспроизводил.

onw 0.11.0: gpt-oss-20b на Intel NPU в двух вариантах весов

Коротко. 29 сентября автор onw выпустил версию 0.11.0 с поддержкой OpenAI gpt-oss-20b и опубликовал два самостоятельных пакета под свой движок: эксперты INT4 и INT8. Базовая модель уже существовала; новость — именно готовая локальная конверсия и поддержка архитектуры в onw. В закреплённой версии runtime указаны gpt_oss, Apache-2.0 и OpenVINO как зависимость. s1 s2 s3

Что изменилось для локального запуска

onw разбивает gpt-oss-20b на графы для Intel NPU и хранит экспертов отдельно. Автор описывает работу с MoE-маршрутизацией, attention sinks, YaRN, скользящим вниманием и форматом Harmony; два опубликованных репозитория содержат графы сегментов, experts.bin, shared.bin, конфигурацию и токенизатор. В закреплённых манифестах API Hugging Face — по 93 файла, включая сегменты до seg25, а не только первая страница постраничного просмотра дерева. s1 s2 s3 s4

  • INT4 (ryugyosoft/gpt-oss-20b-onw): файл экспертов около 9,6 ГБ, опубликованный пакет автор оценивает в 11,2 ГБ для загрузки. На Core Ultra 9 285HX с NPU 3720 автор сообщает 8,5 токена/с при генерации и около 12 ГБ используемой памяти в своей конфигурации. s2 s4
  • INT8 (ryugyosoft/gpt-oss-20b-int8-onw): файл экспертов около 19,1 ГБ; автор указывает загрузку 21 ГБ, примерно 21 ГБ используемой памяти и 6 токенов/с на том же NPU. По собственному сравнению автора INT8 ближе к BF16 по логитам; это не независимое измерение качества на задачах. s3 s5

Как выбирать. INT4 — вариант, который автор демонстрирует на машине с 16 ГБ; INT8 — для проверки более высокой точности при большем объёме памяти. Это результаты конкретного тестового ПК, не опубликованные Modelium минимальные требования к RAM или гарантия скорости на всех Intel NPU. Карточка INT8 отдельно упоминает подкачку экспертов с SSD на ПК с меньшей памятью с потерей скорости. s2 s3

Как проверить у себя

Потребуются совместимый Intel Core Ultra с NPU, Windows 11 либо поддерживаемый Ubuntu с драйвером; конкретные требования к драйверу и системе сверяйте с документацией onw перед установкой. Движок и модель скачиваются отдельно. В интерфейсе onw выберите одну из двух моделей во вкладке Models, затем загрузите её во вкладке Server и проверьте локальный чат. Для интеграции автор документирует OpenAI-совместимый адрес http://localhost:8000/v1. Не запускайте установочный скрипт из сети без его просмотра; Modelium не запускал эти сборки и не проверял работу на пользовательском оборудовании. s6 s2

Репозитории весов и onw содержат файлы Apache License 2.0; карточка исходной openai/gpt-oss-20b также помечена Apache-2.0. Это проверка заявленных условий распространения, а не аудит всех зависимостей или гарантия коммерческой пригодности для конкретной организации. Авторские результаты качества ограничены небольшим сравнением: для INT4 совпали 16 из 17 следующих токенов greedy-декодирования с BF16-референсом; такой тест не заменяет оценку на собственных задачах. s2 s3 s7 s8

Итог: для владельца совместимого Intel NPU появилась отдельная возможность попробовать gpt-oss-20b локально без переноса генерации в облачный API. Проверяйте поддержку своего чипа и реальную производительность на своей задаче; числа в карточках остаются измерениями автора. s1 s6

Источники