Локальная нейросеть работает на сервере внутри компании, и ни один документ, запрос или ответ не уходит во внешний облачный сервис. Для организаций с персональными данными, врачебной или коммерческой тайной это часто единственный допустимый способ использовать ИИ. Разберём, как это устроено и когда оправдано.
Почему облачный ИИ подходит не всем
Сотрудники уже пользуются чат-ботами, часто со своих телефонов и без ведома руководства. Они вставляют туда договоры, выписки, переписку с клиентами. Для компании это риск утечки, который невозможно проконтролировать.
Запретить ИИ тоже не выход: работа, которую модель делает за минуты, снова занимает часы. Особенно остро вопрос стоит там, где обрабатываются чувствительные данные:
- медицина и лаборатории;
- юридические и финансовые услуги;
- производство с закрытой документацией;
- госзаказчики и подрядчики.
Как работает локальная нейросеть
Берётся открытая языковая модель и запускается на сервере компании или в арендованном изолированном контуре. Модель не обращается в интернет, данные хранятся только у вас. Сверху подключаются ваши документы: регламенты, шаблоны, справочники. Сотрудники работают через привычный интерфейс в браузере или бот во внутреннем мессенджере.
Локальные модели нейросетей сегодня хорошо справляются с деловыми задачами на русском: пересказ, черновики писем, поиск по документам, заполнение шаблонов. Какие из них лучшие локальные нейросети для вашей задачи, решается тестом на ваших же документах: одна модель лучше пишет, другая точнее извлекает данные, третья экономнее к железу.
Доступы разграничиваются по ролям, каждое обращение пишется в журнал. Так видно, кто и что спрашивал, а модель отвечает только по тем документам, к которым у сотрудника есть доступ.
Пример: медицинский центр на 120 сотрудников
Многопрофильный медицинский центр с двумя филиалами. Администраторы и сотрудники отдела качества ежедневно готовили ответы на письменные обращения пациентов и страховых компаний, сверяли документы с внутренними регламентами, составляли выписки для страховых по шаблонам. Использовать облачные сервисы запретила служба безопасности. На одно письменное обращение уходило в среднем 40 минут, очередь ответов доходила до 5 рабочих дней.
Развернули модель на сервере центра. Подключили регламенты, прайс, шаблоны ответов и договоры со страховыми. Модель готовит черновик ответа на обращение со ссылками на пункты регламента, а сотрудник проверяет и отправляет. Медицинские решения модель не принимает и диагнозов не касается: её задача в документах и переписке.
Через два месяца:
- на обращение уходит 10-15 минут вместо 40;
- очередь ответов сократилась до 1-2 дней;
- новые администраторы быстрее входят в работу, потому что спрашивают у модели, а не у коллег;
- ни один документ не покинул сеть центра.
Проект окупился примерно за 11 месяцев за счёт времени сотрудников и отказа от расширения штата отдела качества.
Сколько стоит и сколько длится
Развёртывание LLM у заказчика стоит от 420 000 ₽, срок от 30 дней. Если сначала нужно понять, какие процессы стоит переводить на ИИ и какой сервер понадобится, начинаем с аудита процессов: от 80 000 ₽ и от 5 дней. Цены без НДС, стоимость оборудования считается отдельно.
На итог влияют выбранная модель и нагрузка, объём документов, число пользователей, требования к журналированию и интеграции с учётными системами. Демо первой рабочей версии от 7-го дня, код и доступы передаются заказчику. Точную сумму фиксируем в смете за 24 часа.
С чего начать
- Составьте список задач, где сотрудники тратят больше всего времени на тексты и документы.
- Определите, какие данные нельзя выносить за контур.
- Соберите 20-30 типовых документов для теста моделей.
- Проверьте, есть ли у вас сервер или стоит арендовать изолированный.
- Запросите пилот на одном отделе.
Локальная нейросеть снимает главное противоречие: пользоваться ИИ нужно, а отдавать данные наружу нельзя. Начните с одного отдела и понятной задачи.
