Дообучение модели и LoRA: когда это нужно, а когда хватит RAG

Что означает дообучить модель

При полном дообучении меняются параметры базовой модели на обучающем наборе. LoRA (Low-Rank Adaptation) — другой способ адаптации: базовые веса замораживаются, а обучаются добавленные низкоранговые матрицы. Метод уменьшает число обучаемых параметров по сравнению с полным дообучением; результаты и экономию из оригинальной статьи нельзя переносить на произвольную архитектуру, набор данных и железо s1.

Адаптер не заменяет базовую модель. Формат PEFT хранит его веса и конфигурацию отдельно; в конфигурации указан путь к базовой модели, которую требуется иметь для работы. Сохраняйте ID и ревизию базы вместе с адаптером: одно совпадающее семейное название не доказывает совместимость конкретного checkpoint s6.

QLoRA — не просто другое название GGUF или «4-битная LoRA для инференса». Описанный авторами метод пропускает градиенты через замороженную квантованную 4-битную базу к обучаемым LoRA-адаптерам s3. Экономию памяти и качество авторы показывали на своих условиях; это не обещание, что любая модель обучится на определённом объёме VRAM.

Когда выбрать промпт, RAG или LoRA

• Промпт и готовая модель: начните здесь, если нужна инструкция, формат или несколько примеров. Проверьте одинаковый набор запросов с фиксированной версией модели и настройками. Это редакционная последовательность проверки, не утверждение о гарантированном качестве.
• RAG (генерация с извлечением): когда ответ должен опираться на обновляемые документы, сначала извлекайте подходящие фрагменты и передавайте их модели. В исходной работе RAG различает внутреннюю память модели и внешнюю извлекаемую память s4. Источник можно обновлять без нового обучения весов, но тогда качество зависит и от поиска, и от того, как модель использует извлечённое. Для важного ответа вручную сверяйте цитируемый фрагмент.
• LoRA: рассматривайте, когда есть много качественных размеченных примеров устойчивого поведения, требуемого формата или повторяющейся узкой операции, а промпт и готовая модель не выдержали теста. Параметры r, lora_alpha и target_modules настраиваются отдельно; нельзя копировать чужой адаптер или рецепт без проверки архитектуры и целевых модулей s2.

LoRA и RAG можно сочетать, но это разные части системы: адаптер меняет поведение модели, а поиск передаёт найденный контекст при запросе s1 s4. Если источник фактов меняется ежедневно, обучение «чтобы запомнила документы» не даёт проверяемой ссылки на их актуальную версию; начните с маршрута RAG для бизнеса.

Как проверить, что обучение вообще нужно

Соберите отложенный набор реальных запросов с разрешёнными к использованию, обезличенными входами и ожидаемыми выходами. Зафиксируйте ID базы, её ревизию, шаблон запроса, извлечение документов, версии кода и метрику. Сравните три конфигурации на одних и тех же примерах: базовая модель с промптом; база с поиском, если нужна фактура; база с обученным адаптером. Отдельно проверяйте случаи, где улучшение формата ухудшает верность фактам. Это предложенный протокол, не проведённый Modelium эксперимент.

Официальная документация TRL показывает передачу LoraConfig в SFTTrainer через peft_config, но пример конфигурации и датасет из документации не являются готовым рецептом для ваших русских данных s5. До запуска обучения проверьте права на обучающие материалы и условия конкретных весов. Размер адаптера не равен объёму памяти для загрузки базы, хранения активаций и работы оптимизатора; обещать минимальную GPU без модели, длины примера, батча и профиля прогона нельзя s1 s3 s6.

Когда не стоит дообучать

Если документация меняется, а ответа с источником нет, сначала проверьте качество поиска и цитирования, а не пытайтесь хранить правила в весах. Если мало разрешённых и проверенных примеров, сначала оцените готовую модель и промпт. Если адаптер уже существует и вопрос — как обслуживать его на сервере, переходите к vLLM LoRA: это отдельная задача от обучения s6. Для задач программирования сначала протестируйте готовые локальные модели на собственном коде; адаптация оправдана только при измеримой разнице на отложенном наборе.

Следующий шаг: проверьте поиск и ответы по небольшому набору своих документов в сценарии RAG-пилота, прежде чем тратить ресурсы на обучение.