Аренда GPU-сервера для ИИ: когда свой инференс выгоднее API

Аренда GPU-сервера для ИИ имеет смысл, когда подходящая открытая модель уже решает вашу задачу, а нагрузка оправдывает оплату оборудования и его обслуживание. Для небольшого чат-бота API часто проще и дешевле. Для постоянной обработки документов, собственного сервиса или работы с дообученными весами сервер может дать больше контроля. Разберём, как проверить это до долгой аренды.

Что именно вы арендуете

GPU-сервер — удалённая машина с графическим ускорителем. Вы загружаете модель и запускаете инференс: получение ответов по уже обученным весам. Это отдельная задача от обучения модели с нуля. Опыт с локальными моделями через Ollama поможет понять процесс, но доступность сервиса, защита сети и оплата ресурсов теперь тоже ваша ответственность.

Такие форматы встречаются и у российских провайдеров: например, Selectel предлагает облачные и физические GPU-серверы. У Hugging Face Inference Endpoints выделенные ресурсы доступны как управляемый сервис. Сравнивать их только по цене видеокарты в час некорректно: состав услуги и объём вашей работы отличаются.

Когда API разумнее собственного инференса

Начните с качества. Открытая модель должна справляться с вашими документами, русским языком, форматом ответа и вызовами инструментов. Нельзя считать экономию, подменив сильную модель более дешёвой, если после этого сотрудник исправляет каждый второй результат. Для закрытой модели без доступных весов самостоятельное размещение вообще не является вариантом.

API удобно использовать при редких запросах, неопределённом спросе и быстрых экспериментах. В обычном тарифе с оплатой за токены простой не требует аренды постоянно работающей GPU. Проверьте конкретный договор: зарезервированная мощность, подписки и минимальный платёж могут менять расчёт.

Аренда интереснее при предсказуемом потоке задач, необходимости запускать собственные веса или управлять окружением. Например, ночью можно обрабатывать очередь документов, а затем освобождать вычислительные ресурсы. Для круглосуточного помощника придётся оплачивать готовность к запросам, включая часы без посетителей.

Сколько видеопамяти нужно модели

Начальная оценка памяти весов: число параметров × число бит на параметр ÷ 8. У плотной модели на 8 млрд параметров веса FP16 занимают примерно 16 ГБ в десятичных единицах. Чистая арифметика для 4 бит даёт около 4 ГБ. Это ещё не объём памяти, необходимый работающему серверу.

Добавьте служебные данные квантизации, временные буферы, память вычислений и KV-кэш — сохранённые представления уже обработанного контекста. Его расход зависит от архитектуры, длины последовательностей, формата хранения и числа одновременных запросов. Поэтому обещание «модель весит 4 ГБ — достаточно GPU на 4 ГБ» не работает. Подробнее о форматах и компромиссах — в разборе GGUF и квантизации.

Для MoE-моделей отдельно смотрите полный объём весов: число активных параметров на токен само по себе не определяет память для размещения. Уточняйте поддерживаемую квантизацию и совместимость модели с выбранным движком. Формат, который удобно запускать в одном приложении, может требовать другого пути развёртывания в другом.

Также задайте реальный размер контекстного окна. Короткий запрос одного пользователя и десять параллельных диалогов с длинной историей — разные нагрузки. В vLLM объём KV-кэша на GPU настраивается отдельно; документация по масштабированию объясняет, как оценивать вместимость кэша и параллельность.

Две карты по 24 ГБ не становятся одной картой на 48 ГБ автоматически. Нужны подходящий способ разделения модели, поддержка движка и достаточно быстрый обмен между устройствами. На старте проще проверить конфигурацию с одной GPU, если нужная модель в неё помещается с запасом.

Как выбирать GPU-сервер: пять вопросов провайдеру

• Какая GPU и сколько доступной VRAM? Уточните, выделен ли ускоритель целиком или предоставляется его часть, а также ограничения выбранного профиля.
• Совместим ли стек? Проверьте архитектуру ускорителя, драйверы, CUDA или другой нужный runtime, контейнер и поддержку модели. Показатель вычислительной мощности в рекламе не заменяет тест инференса.
• Что входит в цену? CPU, RAM, диски, публичный IP, исходящий трафик, налоги и резервные копии могут учитываться по-разному. RAM сервера не заменяет VRAM без изменения скорости и схемы выполнения.
• Есть ли нужная конфигурация в нужном регионе? Каталог не гарантирует свободную GPU прямо сейчас. Для запуска важны также квоты и время получения ресурсов.
• Что произойдёт при остановке или сбое? Уточните сохранность диска, возможность повторного запуска, правила оплаты и условия прерываемых экземпляров. Для них заранее нужен сценарий восстановления.

Диску нужны место для весов, кеша загрузок, контейнеров и рабочих данных. Медленное хранилище может увеличить холодный запуск. Для нескольких GPU и узлов дополнительно проверяют межсоединение: слабая сеть способна свести на нет выгоду от дополнительных ускорителей.

Сколько стоит свой инференс: пример расчёта

Все цены ниже условные, это учебный пример, а не тарифы провайдера. Допустим, API стоит 100 ₽ за миллион входных и 400 ₽ за миллион выходных токенов. За месяц приложение получает 100 млн входных и генерирует 25 млн выходных токенов. Расход: 100 × 100 + 25 × 400 = 20 000 ₽.

Пусть конфигурация сервера целиком стоит 150 ₽ в час, хранение и сеть — 6 000 ₽ в месяц, а сопровождение оценено в 12 000 ₽. Для условного месяца в 30 дней круглосуточная аренда — 720 часов. Тогда 150 × 720 + 6 000 + 12 000 = 126 000 ₽.

Последняя строка предполагает, что вычисления действительно перестают тарифицироваться вне этих часов. И она не доказывает, что GPU успеет обработать тот же объём за 120 часов: это проверяют измерением. В примере также нет второй реплики для отказоустойчивости. Если она нужна, добавьте её в бюджет.

Рабочая формула: стоимость сервера = оплачиваемые часы × ставка × число экземпляров + остальные ресурсы + сопровождение. Для API считайте вход, выход и применимые тарифы кеширования или пакетной обработки. Одинаковое число запросов может означать совершенно разные расходы из-за длины текста; основы расчёта разобраны в статье «Токены и лимиты».

При росте нагрузки собственный сервер может стать выгоднее, пока хватает его производительности. Но при переполнении очереди потребуются новые ресурсы. Единого порога «после тысячи запросов аренда дешевле» нет: сравнивайте одинаковую задачу, качество и допустимое время ответа.

Что проверить коротким тестом до аренды на месяц

1. Подготовьте набор типичных запросов без секретов: короткие, длинные и сложные. Зафиксируйте модель, версию, квантизацию, длину ответа и критерии качества.
2. На минимальном подходящем сроке аренды проверьте загрузку модели и запас памяти. Сохраните конфигурацию, чтобы повторить опыт.
3. Измерьте время до первого токена, полное время ответа, скорость генерации, ошибки и расход VRAM. Посмотрите медиану и p95 — значение, в которое укладываются 95% измерений.
4. Повторите тест с ожидаемым числом одновременных пользователей. Оцените очередь и устойчивость на длинных запросах, а не только скорость единственного ответа.
5. Проверьте холодный запуск, перезапуск и остановку. Сопоставьте результат со счётом в кабинете и рассчитайте цену полезной обработки с учётом простоя.

Здесь описан порядок проверки; собственный платный бенчмарк для статьи не проводился. Если качество модели не проходит ваши критерии, экономический расчёт для неё теряет смысл.

Выключить сервер недостаточно, чтобы обнулить счёт

Правила зависят от услуги. Например, документация Cloud.ru для сервиса «Виртуальные машины» указывает: у выключенной VM не тарифицируются vCPU, GPU и RAM, но диски и публичный IP продолжают оплачиваться до удаления. Для другого провайдера или физического сервера условия нужно проверять отдельно.

Перед завершением теста сохраните нужные результаты, затем проверьте все оставшиеся платные ресурсы. Поставьте уведомления о расходах и ограничьте доступ к созданию дорогих конфигураций. Остановка процесса модели внутри работающей VM обычно не означает освобождение оплачиваемой машины.

Свой сервер требует собственной защиты

Не выставляйте порт инференса в интернет без аутентификации. Ограничьте сеть, настройте защищённый доступ к API, храните ключи отдельно и обновляйте окружение. Проверяйте происхождение контейнера и весов, условия лицензии и необходимость выполнения кода из репозитория модели. Логи не должны бесконтрольно сохранять документы и секреты пользователей.

Арендованная GPU не гарантирует конфиденциальность автоматически. Для чувствительных данных нужно проверить место обработки, договор, доступ администраторов, резервные копии и настройки журналирования. Выбирайте аренду после проверки модели и нагрузки: сначала подтверждается полезный результат, затем считается полная стоимость его получения.