Mizan 4B: модель для разбора персидских обращений локально

Что умеет Mizan 4B

Вы передаёте текст обращения и вопрос с возможными ответами — например «кому передать жалобу: оплате, доставке или технической поддержке?». Модель возвращает выбранный вариант и оценку уверенности. Автор ориентирует её на персидские сообщения в поддержке, отзывах и модерации; в карточке также указан английский язык. Это может помочь сортировать очередь обращений на собственном компьютере, но решение о возврате денег или блокировке человека нельзя автоматически принимать по одной оценке модели. s1

У Mizan есть полный вариант на Hugging Face и отдельный репозиторий с файлами GGUF — форматом весов для программ локального запуска. В закреплённом снимке полного варианта доступны два файла весов и отдельный файл обученной «головы» для выбора ответа; в GGUF-репозитории — варианты Q4_K_M и Q8_0. Первый занимает около 2,7 ГБ на диске. Это размер скачиваемого файла, а не необходимый объём оперативной или видеопамяти: подтверждённый минимум для домашнего компьютера автор не приводит. Отдельный файл для изображений не нужен для заявленной здесь работы с текстом. s2s3s4

Как оценивать обещанное качество

Автор сообщает о сравнении на 3000 размеченных персидских примерах из семи задач: средняя точность полной Mizan 4B — 78,7%, а Q4-варианта — 78,3%. Это авторские результаты, не замеры Modelium и не гарантия для ваших обращений. Сам автор предупреждает, что тренировочные персидские данные создавались синтетически, а перед автоматизацией стоит оценить модель на 200–300 собственных размеченных примерах. Изображения и свободное написание ответа не являются основным проверенным применением модели. s1s3

Что делать, если хотите попробовать локально

Начните с карточки Mizan 4B GGUF: там автор описывает загрузку файла и запуск через llama.cpp. Эта программа запускает модели на своём компьютере; её стабильный выпуск 0.6.0 уже включает интерфейс /v1/systemone для вопросов с готовыми вариантами ответа. Однако именно этот новый GGUF и заявленную автором минимальную версию программы редакция не запускала. Инструкция на карточке предполагает работу с терминалом и запросами к локальному серверу — это технический путь, не готовая домашняя установка в один клик. Сначала проверьте пробный пример на несекретном сообщении, а затем правильность выбранного отдела вручную; для использования в работе нужны собственные проверочные данные. s3s5

Код и веса базового репозитория помечены Apache-2.0, а у производного GGUF в карточке стоит та же метка; в основном репозитории лежит текст лицензии. Перед коммерческим внедрением проверьте условия применимых компонентов и собственные требования к данным. Для задач на русском языке авторские персидские результаты не являются подтверждением качества: эта новость не рекомендует Mizan как русскоязычный классификатор. s1s2s3

О том, что представляет собой сам интерфейс ответов с вариантами, читайте в разборе llama.cpp 0.6.0. Другой недавний пример модели для локального выбора ответа — Clef Omni на Mac; это не результаты сравнительного теста с Mizan.