Локальные модели для программирования: выбор по задаче и железу

Какую именно задачу решает локальная модель для кода?

Вход пилота — небольшой разрешённый репозиторий, описание одной ошибки, существующий тест и ограничение «менять только указанный файл». Выход — предложенный патч и объяснение, какие строки изменены; подтверждение результата даёт не ответ модели, а просмотр diff и прохождение теста. Не давайте модели доступ к секретам, производственным данным и записи в основной репозиторий. Это протокол проверки, предложенный редакцией, а не проведённый нами эксперимент.

Различайте три сценария: объяснить или дополнить функцию, исправить воспроизводимую ошибку, выполнить агентную последовательность с инструментами. Третья задача требует отдельной настройки доступа и контроля действий: одна удачная генерация текста не доказывает работоспособность coding-agent. Путь агентного подключения описан отдельно.

Как выбирать между 1.5B, 7B и 30B?

Для первого прогона на ограниченном устройстве начните с Qwen2.5-Coder-1.5B-Instruct: по карточке это instruction-tuned checkpoint с 1.54 млрд параметров и контекстом 32768 токенов. В библиотеке Ollama есть тег qwen2.5-coder:1.5b и артефакт около 986 МБ. Размер артефакта — объём загрузки, не минимум оперативной памяти или VRAM; не обещайте качество на сложном исправлении только потому, что файл помещается на диск. s1 s4

Для сопоставления с компактным вариантом используйте Qwen2.5-Coder-7B-Instruct: авторская карточка указывает 7.61 млрд параметров, а Ollama предлагает qwen2.5-coder:7b с файлом около 4.7 ГБ. Карточка одновременно заявляет поддержку до 131072 токенов и уточняет, что текущий config.json настроен на 32768; длинный ввод сверх этого требует отдельной конфигурации YaRN. Не переносите рекламируемый максимум на конкретный тег Ollama без проверки его конфигурации и свободной памяти. s2 s4 s8

Для отдельного теста более крупной MoE-модели рассмотрите Qwen3-Coder-30B-A3B-Instruct: 30.5 млрд параметров всего, 3.3 млрд активных и нативный контекст 262144 по карточке автора. Ollama публикует локальный тег qwen3-coder:30b и файл около 19 ГБ. Число активных параметров не означает, что на устройстве нужно разместить только их; размер файла опять же не доказывает достаточность RAM/VRAM. Автор характеризует агентные способности как высокие, но это заявление Qwen, а не тест Modelium и не гарантированный результат на вашем коде. s3 s5

Карточки трёх конкретных checkpoints отмечают Apache-2.0; проверяйте текст лицензии выбранного веса и зависимостей для своего сценария отдельно. Метка лицензии не означает автоматически, что иной GGUF, код проекта и загруженный из другого каталога файл имеют одинаковые условия. s1 s2 s3

Как собрать один проверяемый локальный coding-стек?

Если Ollama уже установлена, команда каталога ollama run qwen2.5-coder:1.5b получает конкретный тег и открывает диалог. Для второго прогона на том же тесте используйте ollama run qwen2.5-coder:7b; для более крупного варианта — ollama run qwen3-coder:30b, но сначала убедитесь, что доступные ресурсы подходят вашей конфигурации. Первое обращение к отсутствующему тегу скачивает веса: это не офлайн-шаг. Не запускайте все три модели ради «рейтинга», если задача решается первым кандидатом. s4 s5

Передавайте одинаковое описание ошибки, одинаковый минимальный фрагмент кода и ожидаемое поведение; сохраняйте точный тег, настройки и ответ. Ollama Chat API принимает массив messages и параметр stream; если вам нужен машинно-обрабатываемый конечный ответ для тестового клиента, задавайте stream: false и проверяйте поле ответа, а не считайте частичный поток законченным патчем. Документированное локальное API не предоставляет модели права самостоятельно править репозиторий: это отдельное решение о подключении инструмента и разрешениях. s6

После запроса посмотрите ollama ps или /api/ps: API возвращает загруженные модели и size_vram. Сверьте наблюдаемое размещение с вашим устройством и задержкой, а при длинном вводе отдельно контролируйте настройки контекста: его увеличение повышает потребность в памяти. Если модель не влезает или ответ слишком медленный, уменьшите ввод/контекст либо вернитесь к меньшему кандидату; не объявляйте формулу «размер файла = минимум VRAM». Подробнее — проверка видеокарты и контекста Ollama. s7 s8

Как принимать результат и что пока не известно?

Сохраните исходный failing test, diff предложенного исправления и результат повторного запуска в изолированной копии проекта. Сверяйте не только зелёный тест, но и побочные изменения, границы доступа, обработку ошибочного ввода и соответствие исходной задаче. Если теста нет, сначала сформулируйте проверяемый вход/ожидаемый выход и передайте патч человеку на ревью. Это редакционный протокол; ни один из трёх кандидатов Modelium в рамках материала не запускал.

Нельзя заранее назвать «лучшую» модель по числу параметров, авторскому benchmark или размеру загружаемого файла: качество, задержка, память и пригодность русского запроса остаются не измеренными на вашем проекте. Основной следующий шаг после выбора и проверки модели — открыть отдельный гайд coding-agent с Ollama и только затем разрешать инструментальные действия в тестовом репозитории. s1 s2 s3