AnythingLLM: скачать и запустить локальный чат с документами

Что выбрать: AnythingLLM Desktop или Docker?

Desktop — установка для одного человека на Windows, macOS или Linux, со встроенным локальным LLM-провайдером. Он не даёт браузерный интерфейс и многопользовательское управление. Docker — серверный вариант с браузерным доступом и несколькими пользователями; встроенного LLM-провайдера у него нет, поэтому модель нужно подключить отдельно s1. Если ваша задача — впервые поговорить с локальным документом на своём компьютере, начните с Desktop. Если требуется доступ сотрудников, не открывайте Desktop наружу: у него нет учётных записей и защиты интерфейса, а включение network discovery открывает API в локальную сеть s1.

Рабочий граф этого сценария: вопрос по документу → языковая модель → доступное железо → Desktop или Docker → индексирование фрагментов → контроль по исходнику. AnythingLLM связывает модель чата, embedding-модель и векторное хранилище; успешное открытие интерфейса ещё не означает, что поиск по русскому документу работает s1s3s6. Для небольшой личной проверки не нужны выдуманные минимальные VRAM/RAM: выбирайте размер языковой модели по своему устройству, а фактическое размещение проверяйте в выбранном runtime. Встроенный embedder запускается на CPU и, по документации, желательны не менее 2 ГБ доступной RAM для его работы без узкого места; это не минимальное требование к каждой языковой модели или всему приложению s6.

Где скачать и как получить первый ответ?

1. Откройте официальный раздел установки Desktop и перейдите по ссылке своей ОС: Windows, macOS или Linux. Не выбирайте зеркало по поисковому сниппету. Установите приложение и откройте его, затем проверьте, что работает именно Desktop, а не веб-страница Docker на localhost:3001 s1s2. Первая загрузка компонентов и модели требует сети; само наличие слова «Desktop» не доказывает офлайн-режим.
2. В настройках выберите локального LLM-провайдера и модель, доступную вашему устройству. Desktop имеет встроенный провайдер; альтернативно можно поставить отдельную Ollama, скачать модель и подключить её к Desktop. Официальная инструкция AnythingLLM для Ollama показывает адрес http://127.0.0.1:11434 при стандартной локальной установке s1s5. Если Ollama ещё не установлена, начните с руководства по Ollama. Не подменяйте локальную модель облачной опцией только потому, что интерфейс выглядит одинаково.
3. Создайте отдельный workspace для теста. Добавьте небольшой несекретный текстовый документ и зафиксируйте точную фразу, например: «Тестовый срок поставки — 17 рабочих дней». Если нужны вопросы к этому файлу только в одном чате, прикрепите его к треду: для небольшого текста приложение по умолчанию вставляет полный текст в контекст. Для вопросов из разных тредов вложите документ в workspace как embedded: приложение разбивает текст и индексирует фрагменты для RAG s3. Не считайте видимый файл автоматически проиндексированным: в интерфейсе проверьте его статус в workspace.
4. Для контролируемого вопроса выберите Query Mode в настройках чата workspace, если он доступен в вашей версии. Этот режим рассчитан на ответы по загруженным документам и сообщает, если релевантные данные не найдены; Chat Mode допускает и общие знания модели, а Agent Mode добавляет инструменты и не нужен в первом тесте s4. Спросите «Какой срок поставки в тестовом документе?» и отдельно «Какой штраф указан в документе?», если штрафа в нём нет. Первый ответ должен совпасть с исходной фразой, второй не должен уверенно выдумывать сумму. Это ожидаемая проверка читателя, а не выполненный результат Modelium; требуйте переход к исходному фрагменту, если приложение показывает цитирование.

Для русского пилота отдельно проверьте embedding-модель. Встроенный all-MiniLM-L6-v2 преимущественно обучен на английских текстах и загружается при первом индексировании s6. Это не доказательство его непригодности для русского: составьте несколько вопросов с перефразированием и контрольными фрагментами, затем сравните поиск на своём наборе. Если переходите на другую embedding-модель, убедитесь, что документы и запросы индексируются и ищутся совместимой конфигурацией, а результаты старого индекса не выдаются за новый тест. Следующий шаг — протокол оценки RAG.

Почему ответ не находит документ или путает источник?

• Файл есть, но другой чат его не видит. Простое прикрепление ограничено тредом; embedded-документ доступен всем тредам workspace, а в multi-user — пользователям, имеющим доступ к этому workspace s3. Проверьте место добавления и права, прежде чем менять модель.
• «No relevant information found». Проверьте текст документа, его индексацию и формулировку вопроса. Раздел Chat Modes советует проверять Document similarity threshold в настройках Vector Database, вплоть до No restriction; это диагностический шаг, а не универсальная безопасная настройка качества: менее строгий порог может добавить шум s4.
• Модель отвечает уверенно без нужного фрагмента. Сравните Chat и Query, найденные фрагменты и оригинал. RAG извлекает часть текста, а не всю базу целиком; нельзя делать вывод о полноте документов из одного удачного ответа s3s4.
• Docker не видит Ollama на хосте. 127.0.0.1 внутри контейнера относится к самому контейнеру. Официальный раздел сетевой настройки предлагает иной адрес хоста; проверьте сеть и адрес под вашу ОС/конфигурацию, не открывая Ollama без защиты наружу s8. Для первой личной установки Desktop этот контейнерный шаг не требуется.
• Документ нужно удалить полностью. Удаление только из workspace убирает его векторы из этого пространства, но оригинал остаётся в My Documents; для удаления обработанного файла и кэша из приложения разработчик описывает удаление из My Documents s7. Полное удаление резервных копий и сторонних систем требует отдельной проверки.

Можно ли считать стек приватным и что проверять дальше?

Локальный интерфейс сам по себе не гарантирует отсутствие исходящих соединений. AnythingLLM описывает анонимную телеметрию с возможностью отключения, а Desktop может открывать API в сети при включённом network discovery s1s7. Перед загрузкой клиентских документов проверьте выбранных провайдеров чата и embeddings, сетевые соединения, обновления, телеметрию и расположение копий. Для этого есть отдельная процедура проверки офлайн-контура; заявления о соответствии требованиям компании без её теста здесь не делаются.

Когда два контрольных вопроса отработали, составьте набор собственных вопросов с известными ответами и неизвестными фактами. Отдельно измеряйте, нашёлся ли нужный фрагмент, и сослался ли ответ на него без выдумки. Перейдите к проверке качества локального RAG — это основной следующий шаг, а не ещё одна установка инструмента.