Ollama
В нативном POST /api/chat есть массив tools, а пример показывает получение message.tool_calls, локальный запуск функции и следующий запрос с сообщением role: tool s1s2.
Удобен для короткого теста с уже доступной локальной моделью; совместимость и точность вызова проверяются на выбранной модели, а не по одному имени runtime.
llama.cpp
llama-server принимает OpenAI-совместимый /v1/chat/completions; для function calling важны Jinja и tool-aware chat template s3s4.
Посмотрите chat_template/chat_template_tool_use в /props; при несовместимом шаблоне может понадобиться --chat-template-file s3. Не путайте описание вызова с экспериментальными встроенными --tools сервера, которые могут дать доступ к файлам и shell s4.
vLLM
Chat Completions работает с моделью, имеющей chat template s6. Для tool_choice="auto" документация требует --enable-auto-tool-choice и подходящий --tool-call-parser; named/required — отдельные режимы s5.
Парсер и шаблон должны соответствовать формату модели; named/required ограничивают структуру аргументов, но не гарантируют осмысленный выбор инструмента s5.
Это сравнение контрактов API, а не скорости или качества моделей. В vLLM режим auto без подходящего структурного ограничения может извлекать аргументы из свободного текста, поэтому даже корректно полученный tool_calls следует проверять по собственным правилам s5. В llama.cpp универсальный fallback не означает равную эффективность всех шаблонов и моделей s3.
Предусловия: установленная и запущенная Ollama, Python 3 и локально доступная модель, которую вы хотите проверить. Гайд по Ollama описывает подготовку runtime. Документированный GET /api/tags возвращает список models с именами; выбирайте из своего ответа, а не из примера документации s7. Скрипт ниже не скачивает веса, не устанавливает пакеты и не обращается к платному API.
curl --fail-with-body -sS http://127.0.0.1:11434/api/tags
export MODEL='впишите-точное-имя-локальной-модели'
Если сервер недоступен или список пуст, остановитесь и подготовьте модель; не подменяйте адрес облачным endpoint. Имя и поддержку инструментов уточняйте по карточке/документации выбранной модели, затем проверяйте её фактический ответ: само наличие модели в списке не доказывает tool calling.
Создайте файл tool_demo.py из кода ниже. Он объявляет только lookup_stock(sku) и заранее фиксирует A-42 → 7 в памяти приложения. Первый запрос может вернуть предложение вызвать функцию, но изменение журнала executed происходит только после проверки имени, количества вызовов и аргументов. Фиктивный остаток не относится к реальной системе. Схема инструмента и формат сообщений следуют примеру Ollama s1s2.
import json
import os
from urllib.request import Request, urlopen
API = 'http://127.0.0.1:11434/api/chat'
model = os.environ.get('MODEL', '')
if not model or model.startswith('впишите-'):
raise SystemExit('Задайте MODEL точным именем из GET /api/tags')
messages = [{'role': 'user', 'content': 'Сколько единиц тестового товара A-42? Используй lookup_stock.'}]
tools = [{'type': 'function', 'function': {
'name': 'lookup_stock',
'description': 'Получить фиктивный остаток тестового товара',
'parameters': {'type': 'object',
'properties': {'sku': {'type': 'string'}},
'required': ['sku'], 'additionalProperties': False}
}}]
def chat(body):
payload = json.dumps({'model': model, 'messages': messages,
'stream': False, **body}, ensure_ascii=False).encode('utf-8')
req = Request(API, data=payload, headers={'Content-Type': 'application/json'})
with urlopen(req, timeout=120) as response:
return json.load(response)
first = chat({'tools': tools})
message = first['message']
calls = message.get('tool_calls') or []
if len(calls) != 1:
raise SystemExit(f'Ожидался один вызов, получено: {len(calls)}; действие не выполнено')
function = calls[0]['function']
arguments = function.get('arguments')
if function.get('name') != 'lookup_stock' or not isinstance(arguments, dict) or arguments != {'sku': 'A-42'}:
raise SystemExit('Неизвестный инструмент или неверные аргументы; действие не выполнено')
print('proposed: lookup_stock(A-42)')
# Только код приложения исполняет разрешённую операцию.
stock = {'A-42': 7}
result = stock[arguments['sku']]
print(f'executed: lookup_stock(A-42) -> {result} (тестовые данные)')
messages.append(message)
messages.append({'role': 'tool', 'tool_name': 'lookup_stock', 'content': str(result)})
final = chat({}) # tools больше не передаём: этот шаг просит только ответ.
print('final:', final['message'].get('content', ''))
Запустите на своём стенде, сохранив исходный ответ API и терминальный журнал, если хотите повторить эксперимент. Код показывает строгую границу: при отсутствии вызова, нескольких вызовах или любом SKU кроме A-42 функция не исполняется. Исключения сети, таймаут и ошибка JSON означают неуспешный тест, а не доказательство отсутствия поддержки. Строки proposed, executed и final — три разных наблюдения; сам факт вывода final не означает, что модель верно объяснила результат.
Успех этого сценария: в первом ответе ровно один message.tool_calls с разрешёнными именем и аргументами, журнал фиксирует исполнение lookup_stock(A-42) -> 7, а последняя реплика корректно сообщает тестовый остаток 7. Проверяйте последний пункт глазами: в коде он только печатается, не сертифицируется автоматически. Один такой прогон не измеряет надёжность; для своей задачи повторите сценарии без вызова, с неверными аргументами, несколькими предложенными вызовами и отказом инструмента. В рабочей интеграции дополнительно ограничьте права, валидируйте схему аргументов и требуйте отдельного подтверждения перед изменяющим действием.
Если tool_calls пуст, начните с совместимости модели и её шаблона, затем проверьте, что tools действительно отправлены в запросе. Если получен вызов, но приложение не вывело executed, это отказ правила безопасности, не ошибка «модель не вызвала инструмент». Если есть executed, но ответ неправильный, проверьте историю assistant → tool → assistant и текст последней реплики. Ollama отдельно документирует передачу сообщения об инструменте в следующий запрос s1. Для llama.cpp проверяйте шаблон в /props s3, для vLLM — парсер и режим tool_choice s5.
После эксперимента удалите tool_demo.py и снимите переменную MODEL командой unset MODEL; демонстрация не создаёт внешних записей и не требует rollback базы. Следующий шаг: подготовьте Ollama и выполните безопасную проверку одного вызова на выбранной локальной модели; не подключайте реальные действия, пока не увидите все три результата.