Clef OptiQ для Mac: два новых пакета локальных моделей решений

Что изменилось по сравнению с предыдущими версиями?

Старые 4-битные пакеты Clef для MLX уже доступны. Новые пакеты OptiQ используют смешанное квантование: часть внутренних слоёв хранится с точностью 4 бита, чувствительные — с точностью 8 бит. Это способ упаковать веса, а не новая обученная с нуля модель. Отдельный блок, который переводит оценку модели в вероятности по вашим вопросам, сохранён. В опубликованных ревизиях есть все четыре части основных весов Clef и две части Clef-Flash, отдельный файл этого блока и файлы конфигурации. s1 s2 s4 s5

Главное практическое отличие — пакеты адресованы OptiQ, у которого есть специальный локальный интерфейс решений. На входе текст ситуации и вопросы с вариантами, на выходе вероятности. Пример для понимания: «Доставка заказа задержалась на день» и вопрос «Нужна ли срочная реакция?». Сравните полученную вероятность со своим правилом срочности и реальными примерами; конкретное число зависит от модели и данных. Это учебный пример формата, не результат нашего запуска. s1 s3

Стали ли решения заметно лучше?

Разработчики пакетов сравнили их с прежними равномерными 4-битными вариантами на текстовом тесте Typed Decisions: 400 ситуаций и 2000 решений на Apple M3 Max. Для Clef они приводят долю верных решений 0,719 против 0,7185; для Clef-Flash — 0,7035 против 0,701. Эти значения согласуются с машинными файлами оценок новых пакетов, но это авторские, не независимые замеры. Разница невелика; из неё нельзя заключить, что новый вариант значительно точнее или быстрее на вашем Mac. s1 s2 s6 s7

Кому стоит попробовать и что проверить?

Это путь для тех, кто уже разрабатывает локальную обработку заявок или других текстовых случаев на Apple Silicon. Инструкция OptiQ описывает установку программы и загрузку конкретного пакета по имени из Hugging Face; после первого скачивания обращение к локальному интерфейсу идёт на адрес вашего компьютера. На первом небольшом наборе размеченных вами примеров проверьте, какая вероятность соответствует правильному решению, прежде чем автоматизировать действие. Мы сверили документацию и файлы, но не запускали модель и не измеряли требования к памяти. Для самостоятельного старта лучше открыть документацию OptiQ и выбрать пакет Clef-Flash, если нужен именно меньший из двух вариантов; конкретный минимум памяти разработчики здесь не подтверждают. s2 s3

Есть важное ограничение: хотя в репозиториях лежат файлы зрительного блока, текущий интерфейс решений OptiQ принимает только текст и отклоняет запросы с изображениями или видео. Оба пакета помечены Apache-2.0, как и исходные модели Cloudflare; это открытый доступ к весам на условиях лицензии, а не обещание бесплатных вычислений. Если нужен обычный чат или готовая работа с изображениями, не выбирайте этот интерфейс только из-за названия Clef. s1 s2 s3 s8