Перейти к содержанию
modelium.
Начать с задачи
←
Новость

KTransformers 0.7.2: дообучение DeepSeek-V4-Flash через LoRA

На странице · 2 разделов

KTransformers 0.7.2 добавил поддержку дообучения DeepSeek-V4-Flash через LoRA — небольшую надстройку поверх неизменных весов модели. Это новость для тех, кто уже собирает учебный стек на Linux с CPU и GPU, а не домашняя инструкция для первого запуска. Новых весов модели релиз не выпускает; полный путь редакция не тестировала.

KTransformers 0.7.2: дообучение DeepSeek-V4-Flash через LoRA

Если вы хотите подстроить DeepSeek-V4-Flash под свои примеры, KTransformers 0.7.2 предлагает новый путь: обучать небольшие дополнительные параметры, не переписывая основные веса модели. Такой способ называется LoRA. Обычному владельцу домашнего компьютера ничего обновлять ради этого не нужно: выпуск адресован тем, кто уже готовит сложную среду обучения на Linux, а не тем, кто просто общается с локальной моделью. s1 s2

Когда: релиз программы опубликован 15 октября 2026 года; источники проверены 16 октября. Это выпуск KTransformers, не новый checkpoint DeepSeek. Полное обучение и запуск редакция не воспроизводила. s1 s4

Что именно добавили?

Разработчики заявляют поддержку LoRA для апрельского DeepSeek-V4-Flash. В их схеме некоторые части модели — маршрутизируемые «эксперты», то есть блоки, выбираемые для разных фрагментов запроса, — остаются на процессоре в исходном компактном формате MXFP4. Остальные части участвуют в работе видеокарты. Обучается надстройка LoRA, а не весь исходный набор весов; отсутствие необходимости разворачивать все экспертные веса в BF16 — свойство авторской реализации, не обещание, что модель заработает на любом ПК. s1 s2

Заявлена интеграция с LLaMA-Factory для подготовки и обучения и с SGLang для последующей выдачи ответов с адаптером. В закреплённой инструкции авторов поддерживаемый пример ограничен обычным диалоговым режимом апрельской Flash; другие редакции модели, режимы и динамическая смена адаптеров в этот рецепт не входят. Авторы отдельно требуют согласованные версии сопутствующих библиотек. Поэтому один установленный пакет не доказывает, что вся цепочка обучения и ответа готова. s1 s2 s3

Нужно ли пробовать это дома?

Только если вы уже умеете проверять совместимость Linux, процессора и видеокарты, готовите данные для дообучения и можете разбирать ошибки нескольких компонентов. На PyPI опубликован пакет KTransformers 0.7.2 для Linux x86-64 с Python не ниже 3.11; наличие пакета — не подтверждение минимальных требований памяти для конкретного полного прогона. Простую команду «установи и обучай» мы здесь не даём: редакция не повторяла обучение и не проверяла полный набор зависимостей на реальном железе. s2 s3

Например, смысл этой функции — научить адаптер отвечать в заданном формате на ваших учебных диалогах, затем сравнить ответы на отложенных примерах с исходной моделью. Это сценарий проверки, а не показанный результат теста Modelium: качество, затраты ресурсов и применимость к вашим данным придётся измерять отдельно. s2

Код KTransformers в закреплённом релизе распространяется по Apache-2.0. Исходный checkpoint DeepSeek-V4-Flash доступен отдельно: его закреплённые карточка и LICENSE обозначают MIT. Лицензия программы не заменяет условия весов или ваших данных. s5 s4

Следующий шаг: сначала разберитесь, чем LoRA отличается от обучения всех весов, затем откройте авторскую инструкцию к строго нужной версии и проверьте компоненты и права на данные перед экспериментом. s2

Источники и дата проверки: официальный релиз, документация тега, PyPI, закреплённая карточка модели и лицензии; 16 октября 2026 года. s1 s2 s3 s4 s5

Источники