Локальный ИИ-агент на своём сервере: гайд для бизнеса
Локальный ИИ-агент на своём сервере: требования к железу, плюсы и минусы против облака, кому это оправдано и как обслуживать систему.
Облачный ИИ удобен ровно до того момента, пока речь не заходит о чувствительных данных или о требованиях регулятора. Тогда возникает вопрос: можно ли поставить ИИ-агента на свой сервер и работать с ним, не отдавая ничего наружу? Можно. Локальный ИИ агент on-premise — рабочий вариант для бизнеса, но не для всех. Это вложение в железо и обслуживание, которое оправдано при определённых условиях. Разберём, что нужно для запуска, в чём плюсы и минусы против облака и кому такая схема действительно подходит.
Что значит локальный ИИ-агент
Локальный, или on-premise, ИИ-агент — это система, которая работает на серверах самой компании, а не в облаке провайдера. Языковая модель, логика агента и данные находятся внутри периметра организации. Когда сотрудник отправляет запрос, обработка идёт на вашем оборудовании, и наружу ничего не уходит.
В отличие от чат-бота, который отвечает по скрипту, агент умеет выполнять задачи: найти документ, заполнить поле в системе, собрать данные из нескольких источников и подготовить результат. Если нужно разобраться в самом понятии, начните с материала о том, что такое ИИ-агент. Здесь же речь о том, как развернуть его локально.
Возможность локального запуска появилась благодаря открытым моделям. Сбер выложил веса GigaChat 3 под лицензией MIT, включая компактную Lightning на 10 миллиардов параметров и флагманскую Ultra. У MTS AI есть Cotype с открытой версией Nano и Pro 2, которая разворачивается во внутренней инфраструктуре. Эти модели можно поставить на свои серверы без обращения к внешнему API. Полный разбор вариантов — в обзоре отечественных LLM для бизнеса.
Требования к железу
Главный вопрос локального развёртывания — какое нужно оборудование. Ответ зависит от размера модели и числа пользователей. Ключевой ресурс — видеопамять (VRAM) на GPU.
| Размер модели | VRAM (INT4) | На что хватит |
|---|---|---|
| До 7–8B | 6–8 ГБ | Простые задачи, один-два пользователя |
| 13–14B | 9–15 ГБ | Ассистент по базе знаний, обработка текста |
| 70B | от 37 ГБ | Сложные задачи, корпоративные сценарии |
Несколько ориентиров по реальным сборкам. Минимальная рабочая конфигурация для бизнеса начинается примерно от 250 тысяч рублей: процессор уровня Intel i9 или AMD Ryzen 9, 64 ГБ оперативной памяти, видеокарта RTX 4090 на 24 ГБ или RTX 5090 на 32 ГБ, быстрый NVMe-диск. Этого достаточно для моделей до 14 миллиардов параметров и небольшого числа пользователей.
Если нужны большие модели, длинный контекст и много одновременных пользователей, требования растут: сервер с двумя-четырьмя ускорителями, 512 ГБ–1 ТБ оперативной памяти, быстрые диски и продуманное питание с охлаждением. Оперативной памяти стоит брать в полтора-два раза больше объёма видеопамяти.
По GPU в большинстве случаев выбор склоняется к NVIDIA: архитектура CUDA шире поддерживается библиотеками для запуска моделей. Подробнее об инфраструктуре под закрытый контур — в статье про ИИ в закрытом контуре.
Локальный агент против облака
У каждого подхода своя экономика и свои ограничения. Сравним честно.
| Критерий | Локально (on-premise) | Облако |
|---|---|---|
| Данные | Не покидают периметр | Уходят к провайдеру |
| Старт | Дольше: закупка и настройка железа | Быстро: подключился и работаешь |
| Затраты | Крупные на старте, дальше предсказуемо | Платёж по подписке/потреблению |
| Соответствие 152-ФЗ/КИИ | Закрывает локализацию данных | Зависит от провайдера и юрисдикции |
| Обслуживание | На стороне компании | На стороне провайдера |
| Масштабирование | Требует докупки оборудования | Гибкое, на стороне провайдера |
Облако выигрывает по скорости старта и гибкости. Локальное развёртывание выигрывает там, где данные нельзя выпускать наружу и где важна независимость от внешнего поставщика.
Локальный ИИ-агент на отечественной модели снимает вопрос соответствия 152-ФЗ по локализации данных: персональные данные физически остаются на серверах в России, в вашем контуре. Для финансовых организаций и субъектов критической инфраструктуры, где облачный зарубежный ИИ исключён, это часто единственный законный путь.
Кому это оправдано
Локальный агент стоит денег и требует обслуживания, поэтому подходит не каждому. Он оправдан, когда совпадают несколько условий.
- Чувствительные данные. Вы работаете с персональными данными, коммерческой тайной или информацией, которую нельзя передавать наружу.
- Требования регулятора. Компания — субъект КИИ или работает в сфере с жёсткими требованиями к защите данных. Как это связано с законом, разбираем в материале про ИИ и 152-ФЗ.
- Постоянная нагрузка. ИИ используется системно и много, а не эпизодически. При большом объёме запросов локальное решение со временем выгоднее подписки.
- Есть ИТ-ресурс. В компании есть кому обслуживать сервер, либо вы готовы привлечь подрядчика на сопровождение.
Если данные не чувствительны, нагрузка небольшая, а ИТ-команды нет, облако обычно разумнее. Локальное развёртывание — это про контроль и независимость, и за них приходится платить инфраструктурой.
Как обслуживать локальный агент
Поставить сервер — половина дела. Дальше система требует ухода.
- Мониторинг. Следить за нагрузкой на GPU, памятью и временем ответа, чтобы агент не деградировал под нагрузкой.
- Обновления. Модели и библиотеки развиваются. Периодически обновляйте, иначе со временем отстанете от качества.
- Резервирование. Если агент встроен в рабочие процессы, нужен план на случай сбоя оборудования.
- Безопасность. Доступ по ролям, журналирование, обновления для закрытия уязвимостей.
Это не разовый проект, а система, которую сопровождают. Поэтому при расчёте бюджета закладывайте и железо, и работу по поддержке.
Из чего складывается стоимость
Бюджет локального агента шире, чем цена видеокарты. Чтобы не было сюрпризов, разложите его на части.
- Оборудование. Сервер с GPU, память, диски. Основная разовая статья.
- Развёртывание. Установка модели, настройка под задачу, интеграция с рабочими системами.
- Сопровождение. Мониторинг, обновления, безопасность. Это регулярные затраты, а не разовые.
- Электричество и охлаждение. Мощный сервер потребляет заметно, особенно при постоянной нагрузке.
При сравнении с облаком считайте полную стоимость владения за пару лет, а не только цену входа. Облако дешевле на старте, но при высокой постоянной нагрузке платежи накапливаются. Локальное решение дороже вначале, зато дальше затраты предсказуемы. Точка, где своё оборудование становится выгоднее, зависит от объёма запросов и числа пользователей.
Какую модель ставить на сервер
Под локальное развёртывание подходят открытые модели — те, чьи веса можно скачать и запустить на своём железе. К 2026 году выбор стал реальным.
| Модель | Параметры | Особенность |
|---|---|---|
| GigaChat 3 Lightning | 10B | Компактная, открытые веса под MIT |
| GigaChat 3 Ultra | 702B (MoE) | Флагман для серьёзных задач |
| Cotype Nano / Pro 2 | от 8B до 70B | Корпоративные сценарии, внутренняя инфраструктура |
Для большинства бизнес-задач не нужна самая крупная модель. Компактная версия на 8–14 миллиардов параметров справляется с обработкой документов, ответами по базе знаний и типовыми сценариями, а требования к железу у неё умеренные. Крупные модели берут под сложные задачи и большой поток пользователей. Логика та же, что при выборе любого решения: модель под задачу, а не задача под самую мощную модель.
Часто задаваемые вопросы
Можно ли запустить ИИ-агента на обычном офисном компьютере?
Маленькую модель — да, но для бизнес-задач с несколькими пользователями нужен сервер с приличной видеокартой. Офисный ПК подойдёт разве что для теста на одном сотруднике.
Локальный агент глупее облачного?
Не обязательно. Открытые отечественные модели вроде GigaChat 3 и Cotype разрабатывались под корпоративные задачи. Для обработки документов, ответов по базе знаний и типовых сценариев качества хватает. Самые крупные облачные модели мощнее, но не каждой задаче нужна вся их мощь.
Сколько стоит запустить локального агента?
Минимальная бизнес-сборка — от 250 тысяч рублей за оборудование. Для серьёзной нагрузки с несколькими GPU суммы выше. Плюс закладывайте стоимость настройки и сопровождения.
Что выгоднее в долгую — облако или свой сервер?
Зависит от объёма. При эпизодическом использовании дешевле облако. При постоянной высокой нагрузке локальное решение со временем окупается, потому что вы не платите за каждый запрос. Точка окупаемости индивидуальна.
Нужна ли своя ИТ-команда для обслуживания?
Желательно, но необязательно. Сопровождение можно отдать подрядчику. Главное — чтобы кто-то отвечал за мониторинг, обновления и безопасность, а не оставлять систему без присмотра.
С чего начать
Прежде чем закупать сервер, ответьте на один вопрос: зачем вам именно локальное решение? Если за ним стоят чувствительные данные или требования регулятора — это оправдано. Тогда начните с пилота: возьмите один процесс, подберите модель под него, оцените реальную нагрузку и требования к железу на практике. По итогам пилота вы поймёте точную конфигурацию и стоимость сопровождения, а не будете гадать. OVEERMOON разворачивает локальных ИИ-агентов под процессы компании и берёт на себя подбор модели, настройку в закрытом контуре и интеграцию с рабочими системами.