Xing4.0-29B-A4B: открытые веса и GGUF, но llama.cpp пока нужен отдельный форк

Что вышло и когда

16 сентября 2026 года на Hugging Face появился репозиторий Xing4.0-29B-A4B с публичными Safetensors-весами; в тот же день созданы официальные репозитории FP8 и GGUF. Это даты создания репозиториев, а не доказательство точного времени загрузки каждого файла. Разработчик — XingChen-AGI (China Telecom AI Technology), наследник линейки TeleChat. В карточке указаны 29 млрд параметров всего и 4 млрд активных на токен, архитектура MoE с MLA и заявленная нативная длина контекста 256K. Большой контекст — возможность архитектуры, а не гарантия размещения такого KV-кэша на любом устройстве s1 s2 s3.

Официальный GGUF xing4_0-29b-IQ4_NL.gguf доступен для скачивания. В закреплённом дереве Hugging Face его размер — 20 104 012 544 байта (20,10 ГБ десятичными). В карточке округлённо написано «около 18 GB», поэтому при планировании скачивания ориентируйтесь на фактический размер файла. FP8 — отдельный чекпойнт для совместимого сервера. Размер GGUF не равен необходимой RAM или VRAM: на потребление влияют контекст, KV-кэш, размещение слоёв и backend s2 s3.

В метаданных карточек базовой модели, FP8 и GGUF указана Apache 2.0; в официальном GitHub-репозитории лежит текст этой лицензии для опубликованного кода. Метаданные весов указывают на разрешительное использование, в том числе коммерческое при выполнении условий Apache 2.0. При этом отдельного файла LICENSE в проверенных деревьях весов нет, а открытость обучающих данных и всего процесса обучения из публикации весов не следует s1 s2 s3 s4.

Какой runtime выбрать

Для GGUF нельзя просто взять обычный релиз ggml-org/llama.cpp: официальный PR поддержки Xing4.0 #29012 на момент проверки ещё открыт. Разработчики дают инструкцию для Windows: готовую сборку llama-server либо сборку из отдельной ветки xing4_0-port. В их примере проверка проведена на Windows 11 и RTX 3090 24 ГБ с контекстом 65 536 токенов; это тестовая конфигурация, а не подтверждённый минимальный порог железа. При нехватке памяти в гайде предлагают уменьшать контекст и число GPU-слоёв либо использовать CPU-режим. Для доступа только с собственного компьютера меняйте параметр HOST на 127.0.0.1: пример с 0.0.0.0 слушает внешние интерфейсы s5 s6.

Для полного Safetensors-чекпойнта авторы предлагают специальные Docker-образы vLLM/SGLang со своей адаптацией. PR поддержки модели в основной vLLM #57135 также ещё открыт; обычную установленную версию vLLM не стоит считать совместимой автоматически. В официальном примере vLLM используются две H100, но сам гайд прямо называет их конфигурацией демонстрации, не минимальным требованием. Для иных GPU следует подбирать число устройств, длину контекста и параметры памяти; FP8 помогает уменьшить объём весов, но пригодность конкретной машины не подтверждена этим примером s4 s7 s8.

Что означают оценки

В карточке XingChen-AGI заявляет 75,0 на SWE-bench Verified с SWE-agent, контекстом 210K и настройками temperature 1.0 / top_p 0.95 / repetition_penalty 1.05. Авторы также приводят 57,5 на Terminal-Bench 2.1 как среднее трёх прогонов с terminus-2, лимитом 24 часа и max_tokens 64K. Это результаты и условия авторской оценки, а не независимые тесты Modelium или скорость генерации на локальной видеокарте. Сравнивать эти цифры с чужими публикациями без одинакового harness и бюджета нельзя s1.

Практический вывод: готовый локальный путь — официальный GGUF вместе с форком/сборкой авторов; для серверного API — их образы с ещё не влитой поддержкой. Перед установкой проверьте состояние upstream PR и совместимость вашего устройства, а не судите о требованиях только по размеру GGUF s4 s5 s6 s7 s8.