# AnythingLLM: скачать и запустить локальный чат с документами

Источник: https://modelium.tech/zhurnal/anythingllm/

AnythingLLM Desktop — приложение для локального чата с документами на Windows, macOS и Linux; Docker-версия предназначена для браузера и нескольких пользователей. Скачивайте установщик по ссылке из официальной документации, затем настройте локальную языковую модель и проверьте ответ на контрольном документе. Простое прикрепление файла к одному чату и индексация в рабочем пространстве — разные режимы; локальность всех соединений нужно проверять отдельно.

**Источники просмотрены 26 сентября 2026 года.** Описан самостоятельный протокол, а не результат прогона Modelium: приложение, модель и поиск здесь не запускались. Сигнал «anythingllm скачать» получен в Google и Яндекс Suggest, а не из измерения частотности. Интерфейс и функции сверяйте с установленной версией: документы по работе с файлами относятся к AnythingLLM 1.8.5 и новее [s3](#src-s3).

## Что выбрать: AnythingLLM Desktop или Docker?

**Desktop** — установка для одного человека на Windows, macOS или Linux, со встроенным локальным LLM-провайдером. Он не даёт браузерный интерфейс и многопользовательское управление. **Docker** — серверный вариант с браузерным доступом и несколькими пользователями; встроенного LLM-провайдера у него нет, поэтому модель нужно подключить отдельно [s1](#src-s1). Если ваша задача — впервые поговорить с локальным документом на своём компьютере, начните с Desktop. Если требуется доступ сотрудников, не открывайте Desktop наружу: у него нет учётных записей и защиты интерфейса, а включение network discovery открывает API в локальную сеть [s1](#src-s1).

Рабочий граф этого сценария: **вопрос по документу → языковая модель → доступное железо → Desktop или Docker → индексирование фрагментов → контроль по исходнику**. AnythingLLM связывает модель чата, embedding-модель и векторное хранилище; успешное открытие интерфейса ещё не означает, что поиск по русскому документу работает [s1](#src-s1)[s3](#src-s3)[s6](#src-s6). Для небольшой личной проверки не нужны выдуманные минимальные VRAM/RAM: выбирайте размер языковой модели по своему устройству, а фактическое размещение проверяйте в выбранном runtime. Встроенный embedder запускается на CPU и, по документации, желательны не менее 2 ГБ *доступной* RAM для его работы без узкого места; это не минимальное требование к каждой языковой модели или всему приложению [s6](#src-s6).

## Где скачать и как получить первый ответ?

- Откройте [официальный раздел установки Desktop](https://docs.anythingllm.com/installation-desktop/overview) и перейдите по ссылке своей ОС: Windows, macOS или Linux. Не выбирайте зеркало по поисковому сниппету. Установите приложение и откройте его, затем проверьте, что работает именно Desktop, а не веб-страница Docker на `localhost:3001` [s1](#src-s1)[s2](#src-s2). Первая загрузка компонентов и модели требует сети; само наличие слова «Desktop» не доказывает офлайн-режим.

- В настройках выберите локального LLM-провайдера и модель, доступную вашему устройству. Desktop имеет встроенный провайдер; альтернативно можно поставить **отдельную** Ollama, скачать модель и подключить её к Desktop. Официальная инструкция AnythingLLM для Ollama показывает адрес `http://127.0.0.1:11434` при стандартной локальной установке [s1](#src-s1)[s5](#src-s5). Если Ollama ещё не установлена, начните с [руководства по Ollama](/zapusk/ollama/). Не подменяйте локальную модель облачной опцией только потому, что интерфейс выглядит одинаково.

- Создайте отдельный workspace для теста. Добавьте небольшой **несекретный** текстовый документ и зафиксируйте точную фразу, например: «Тестовый срок поставки — 17 рабочих дней». Если нужны вопросы к этому файлу только в одном чате, прикрепите его к треду: для небольшого текста приложение по умолчанию вставляет полный текст в контекст. Для вопросов из разных тредов вложите документ в workspace как *embedded*: приложение разбивает текст и индексирует фрагменты для RAG [s3](#src-s3). Не считайте видимый файл автоматически проиндексированным: в интерфейсе проверьте его статус в workspace.

- Для контролируемого вопроса выберите **Query Mode** в настройках чата workspace, если он доступен в вашей версии. Этот режим рассчитан на ответы по загруженным документам и сообщает, если релевантные данные не найдены; Chat Mode допускает и общие знания модели, а Agent Mode добавляет инструменты и не нужен в первом тесте [s4](#src-s4). Спросите «Какой срок поставки в тестовом документе?» и отдельно «Какой штраф указан в документе?», если штрафа в нём нет. Первый ответ должен совпасть с исходной фразой, второй не должен уверенно выдумывать сумму. Это **ожидаемая проверка читателя**, а не выполненный результат Modelium; требуйте переход к исходному фрагменту, если приложение показывает цитирование.

Для русского пилота отдельно проверьте embedding-модель. Встроенный `all-MiniLM-L6-v2` преимущественно обучен на английских текстах и загружается при первом индексировании [s6](#src-s6). Это не доказательство его непригодности для русского: составьте несколько вопросов с перефразированием и контрольными фрагментами, затем сравните поиск на своём наборе. Если переходите на другую embedding-модель, убедитесь, что документы и запросы индексируются и ищутся совместимой конфигурацией, а результаты старого индекса не выдаются за новый тест. Следующий шаг — [протокол оценки RAG](/zhurnal/ocenka-kachestva-rag/).

## Почему ответ не находит документ или путает источник?

- **Файл есть, но другой чат его не видит.** Простое прикрепление ограничено тредом; embedded-документ доступен всем тредам workspace, а в multi-user — пользователям, имеющим доступ к этому workspace [s3](#src-s3). Проверьте место добавления и права, прежде чем менять модель.

- **«No relevant information found».** Проверьте текст документа, его индексацию и формулировку вопроса. Раздел Chat Modes советует проверять `Document similarity threshold` в настройках Vector Database, вплоть до `No restriction`; это диагностический шаг, а не универсальная безопасная настройка качества: менее строгий порог может добавить шум [s4](#src-s4).

- **Модель отвечает уверенно без нужного фрагмента.** Сравните Chat и Query, найденные фрагменты и оригинал. RAG извлекает часть текста, а не всю базу целиком; нельзя делать вывод о полноте документов из одного удачного ответа [s3](#src-s3)[s4](#src-s4).

- **Docker не видит Ollama на хосте.** `127.0.0.1` внутри контейнера относится к самому контейнеру. Официальный раздел сетевой настройки предлагает иной адрес хоста; проверьте сеть и адрес под вашу ОС/конфигурацию, не открывая Ollama без защиты наружу [s8](#src-s8). Для первой личной установки Desktop этот контейнерный шаг не требуется.

- **Документ нужно удалить полностью.** Удаление только из workspace убирает его векторы из этого пространства, но оригинал остаётся в My Documents; для удаления обработанного файла и кэша из приложения разработчик описывает удаление из My Documents [s7](#src-s7). Полное удаление резервных копий и сторонних систем требует отдельной проверки.

## Можно ли считать стек приватным и что проверять дальше?

Локальный интерфейс сам по себе **не гарантирует отсутствие исходящих соединений**. AnythingLLM описывает анонимную телеметрию с возможностью отключения, а Desktop может открывать API в сети при включённом network discovery [s1](#src-s1)[s7](#src-s7). Перед загрузкой клиентских документов проверьте выбранных провайдеров чата и embeddings, сетевые соединения, обновления, телеметрию и расположение копий. Для этого есть отдельная [процедура проверки офлайн-контура](/zhurnal/proverka-offline-kontura-ii/); заявления о соответствии требованиям компании без её теста здесь не делаются.

Когда два контрольных вопроса отработали, составьте набор собственных вопросов с известными ответами и неизвестными фактами. Отдельно измеряйте, **нашёлся ли нужный фрагмент**, и **сослался ли ответ на него без выдумки**. Перейдите к [проверке качества локального RAG](/zhurnal/ocenka-kachestva-rag/) — это основной следующий шаг, а не ещё одна установка инструмента.

## Источники

1. [AnythingLLM — Desktop Installation Overview](https://docs.anythingllm.com/installation-desktop/overview) — получено 2026-09-26
2. [AnythingLLM — Local Docker Installation](https://docs.anythingllm.com/installation-docker/local-docker) — получено 2026-09-26
3. [AnythingLLM — Using Documents in Chat: Attaching vs RAG](https://docs.anythingllm.com/chatting-with-documents/introduction) — получено 2026-09-26
4. [AnythingLLM — Chat Modes](https://docs.anythingllm.com/features/chat-modes) — получено 2026-09-26
5. [AnythingLLM — Ollama LLM](https://docs.anythingllm.com/setup/llm-configuration/local/ollama) — получено 2026-09-26
6. [AnythingLLM — AnythingLLM Default Embedder](https://docs.anythingllm.com/setup/embedder-configuration/local/built-in) — получено 2026-09-26
7. [AnythingLLM — Privacy & Data Handling](https://docs.anythingllm.com/features/privacy-and-data-handling) — получено 2026-09-26
8. [AnythingLLM — Connecting to localhost from Docker](https://docs.anythingllm.com/installation-docker/localhost) — получено 2026-09-26