Запуск локальной нейросети на своём сервере сводится к трём решениям: какое железо купить, какую модель поставить и как подключить её к работе сотрудников. Ошибка на любом шаге стоит денег: либо переплата за оборудование, либо модель, которая не справляется с задачей. Разберём порядок действий на понятном примере.
Что идёт не так при самостоятельном запуске
Энтузиаст в IT-отделе ставит модель на рабочий компьютер, показывает руководству, все довольны. Через месяц выясняется:
- модель отвечает медленно, когда с ней работают пять человек одновременно;
- она не видит внутренние документы, а без них пользы мало;
- нет журнала запросов и разграничения доступов;
- обновления и сбои держатся на одном сотруднике.
Локальная нейросеть на ПК годится для проверки идеи. Для работы отдела нужен сервер, продуманный доступ и сопровождение.
Железо, модели и подключение
Железо. Главное в сервере под нейросеть это видеопамять. Модель среднего размера для деловых задач комфортно работает на видеокарте с 24-48 ГБ памяти. Для 20-50 пользователей обычно хватает одного сервера с двумя такими картами. Крупные модели требуют больше, но для большинства офисных задач они избыточны.
Модели. Локальные модели нейросетей различаются качеством русского языка, скоростью и требованиями к памяти. Выбор делается тестом: берутся 30-50 реальных задач компании, прогоняются через три-четыре кандидата, результаты оценивают сотрудники, которые будут этим пользоваться.
Подключение. Модель получает доступ к базе документов через поиск, сотрудники работают в веб-интерфейсе или через бот. Настраиваются роли, журнал, резервное копирование и мониторинг нагрузки.
Запуск локальной нейросети в юридической фирме
Фирма на 40 юристов ведёт корпоративные споры и договорную работу. Клиентские документы по договорам о конфиденциальности нельзя передавать сторонним сервисам. Юристы тратили много времени на первичный разбор входящих договоров: найти условия об ответственности, сроках, подсудности, сравнить с типовой позицией фирмы. На договор средней сложности уходило 2-3 часа.
Порядок работ:
- Аудит: выбрали три задачи, разбор договоров, поиск по архиву позиций фирмы, черновики писем клиентам.
- Тест четырёх моделей на 40 обезличенных договорах, победила модель среднего размера.
- Сервер с двумя видеокартами по 48 ГБ в серверной фирмы.
- Подключение архива позиций и шаблонов, веб-интерфейс, журнал обращений.
Модель не даёт правовых заключений: она находит нужные пункты и сравнивает их с внутренними шаблонами, а оценку делает юрист. Первичный разбор договора сократился до 40-60 минут. Юристы стали быстрее находить прежние позиции фирмы по похожим делам. С учётом стоимости сервера вложения окупились примерно за 10 месяцев.
Сколько стоит и сколько длится
| Этап | Цена от | Срок от |
|---|---|---|
| Аудит и выбор модели | 80 000 ₽ | 5 дней |
| Развёртывание LLM у заказчика | 420 000 ₽ | 30 дней |
Цены без НДС, оборудование оплачивается отдельно или берётся в аренду. На итог влияют число пользователей, объём архива, требования к безопасности и интеграции. Демо первой рабочей версии от 7-го дня, код и доступы передаются заказчику. Точную сумму фиксируем в смете за 24 часа.
С чего начать
- Выберите 2-3 задачи, где модель даст самый заметный эффект.
- Посчитайте, сколько человек будут работать с ней одновременно.
- Подготовьте обезличенные примеры документов для теста.
- Решите, покупать сервер или арендовать изолированный.
Правильный запуск локальной нейросети начинается не с покупки видеокарты, а с задач и теста моделей. Тогда железо подбирается под реальную нагрузку, а не на глаз.
