Modelium / Журнал
Журнал
Разборы и руководства о моделях. Каждый материал отвечает на одни и те же вопросы — что произошло, кого это касается, что на самом деле подтверждено и меняет ли это выбор. Источники приведены в конце материала.
Как проверить сон llama.cpp server после простояВключите сон llama.cpp server после простоя и проверьте is_sleeping и первый ответ после пробуждения. Известен отчёт о зависании запроса на границе сна.Читать Open WebUI 0.12.2: исправления доступа к документам и каналамЧто изменилось в Open WebUI 0.12.2: доступ к коллекциям и каналам, защита администраторов, MinerU 4.x и ограничения обновления.Читать Как задать грамматику GBNF для llama.cpp serverОграничьте ответ llama.cpp server двумя допустимыми словами через GBNF. Сначала проверьте тестовые строки, затем ответ модели; смысл проверяется отдельно.Читать Как проверить шаблон чата модели в LM StudioПроверьте шаблон чата для конкретной модели в LM Studio и меняйте его только при доказанной ошибке. Путь по документации без обещания точного ответа.Читать MLX 0.32.4: исправление для M1/M2 и поддержка 1-битных весовЧто изменилось в MLX 0.32.4 для локальных моделей на Mac: исправление M1/M2, поддержка 1-битных весов и ограничения обновления.Читать Как вернуть предыдущую версию Skill в Open WebUIСравните сохранённые версии Skill в Open WebUI и верните прежнюю инструкцию после ошибочной правки. Нужны право редактирования и ручная проверка результата.Читать Drama 3 int4: локальная озвучка с меньшими весами на NVIDIAНовый Drama 3 int4 для локальной озвучки на NVIDIA: что уменьшили, как авторы оценивали качество и почему размер весов не гарантирует запуск дома.Читать Как создать Skill в Open WebUI и применить его в чатеСоздайте короткую текстовую инструкцию в Open WebUI, подключите её через $ в учебном чате и сверьте ответ. Навык не запускает код и не гарантирует точность.Читать Voxtral Realtime: 8-битные MLX-веса для расшифровки речи на MacНеофициальные MLX-веса Voxtral Realtime 8-bit для Mac: что доступно, авторские замеры французской речи, лицензия и ограничения запуска.Читать Как поделиться заметкой Open WebUI только для чтенияОткройте коллеге доступ Read к учебной заметке Open WebUI и проверьте его под второй учётной записью. Ссылка сама по себе прав не выдаёт.Читать Drama 3 в формате MLX 3-bit: новая озвучка на MacНовый пакет Drama 3 MLX 3-bit для Mac: наличие весов, авторские замеры памяти и качества, поддержка mlx-audio и ограничения лицензии.Читать Как удалить один чат Open WebUIНайдите нужную беседу и удалите её через меню Open WebUI, не выбирая Delete All Chats. Если разговор может понадобиться, сначала сохраните копию или архивируйте его.Читать