Needle 3: локальные вызовы инструментов на небольших устройствах

Что именно доступно

Официальный репозиторий Cactus-Compute/needle3 открыт без gated-доступа. В нём лежат готовый needle3.cact для вывода, checkpoints/needle3.safetensors для дообучения, токенизатор и платформенные движки. Полный вариант — 20 слоёв и 121 млн параметров. При проверке закреплённой ревизии готовый .cact занимал 35 335 380 байт (это размер файла, а не требование к RAM), исходный safetensors — 242 047 978 байт. Страница разработчика описывает семейство меньших подсетей как «8–29 MB»; фактический размер текущего артефакта следует проверять отдельно, а не принимать рекламный диапазон за размер каждого файла. s1 s3 s4

В карточке и отдельном файле LICENSE указана Apache License 2.0. Это даёт возможность использовать и модифицировать опубликованные веса и код по условиям лицензии, в том числе коммерчески, с соблюдением её требований о сохранении уведомлений. Бесплатный доступ к файлам не означает, что платная облачная платформа Cactus для дообучения или её закрытые обучающие данные стали открытыми. s1 s4 s5

Зачем это локальному приложению

• Вызов функций. Приложение описывает разрешённые инструменты; модель выбирает функцию и заполняет аргументы. Вызывайте complete(), если выполнение должно оставаться под вашим контролем; run() в Python исполняет переданные функции в цикле, поэтому к действиям с внешними эффектами нужны подтверждение и ограничения. s1 s6
• Извлечение и классификация. Схема ограничивает декодирование JSON: можно извлечь поля счёта, сообщения или заявки без отправки текста в облачный API. Корректная структура не гарантирует, что значения фактически верны, — их следует проверять. s1 s6
• Поиск на устройстве. Тот же движок предоставляет текстовый embedding через agent.embed(), что полезно для выбора инструмента или поиска среди локальных записей. s1 s6

Разработчик публикует сборки движка для Linux x86-64/ARM, macOS ARM, Windows, Android, iOS, WebAssembly и WASI. Для подключённой машины базовый путь — pip install cactus-needle, затем создание needle.Needle(tools=[...]): библиотека один раз загружает веса и движок и кеширует их. Для офлайн-устройства авторы описали предварительную загрузку и перенос файлов и режим HF_HUB_OFFLINE=1. Не путайте локальную работу после подготовки с установкой без доступа к сети. Документация также описывает анонимную телеметрию Python-пакета и её отключение через NEEDLE_TELEMETRY=0. s1 s6 s7

Что показывают замеры — и чего не показывают

На официальной странице Cactus заявляет преимущество Needle 3 в отдельных тестах вызова функций над более крупными моделями и скорость примерно 400–4000 токенов/с при декодировании на Raspberry Pi 5 для разных глубин. Это авторские, а не проверки Modelium. Для трёх наборов tool-calling используются точное совпадение вызова/аргументов, для трёх задач extraction — micro-F1 по полям; подсети Needle тестировались с поставляемой CQ2-квантизацией, другие локальные модели — в f16 под vLLM, DeepSeek V4 Flash — через облачный API. Поэтому график не доказывает равное качество на произвольном языке, оборудовании или схеме инструментов. Оцените ошибки именно на своих сценариях и устройстве до передачи модели права на действие. s3 s7

Итог. Needle 3 интересна тем, что готовые веса, отдельный чекпойнт и платформенные движки позволяют встроить узкую функцию выбора инструментов или извлечения в офлайн-приложение. Её нельзя считать заменой большой диалоговой LLM; при чувствительных действиях оставьте приложению проверку аргументов и подтверждение пользователя. s1 s6