LLM в Kubernetes с GPU: когда пора и сколько стоит

В этой статье

Наш выбор

Если моделей или реплик больше одной, а нагрузка неровная, берём кластер Managed Kubernetes. GPU-ноды живут в отдельной группе с автомасштабированием от нуля, рядом работают две небольшие системные ноды на CPU, модели крутятся в vLLM. Ночью и в выходные GPU-нод нет совсем, и за них не платим.

GPU-нода

2 × RTX 4090 · 16 vCPU · 94 ГБ — от 210,04 ₽/час

Обвязка

кластер 8 135,36 ₽/мес + две ноды 2 vCPU / 4 ГБ по 3,48 ₽/час

Когда выгодно

нагрузка неровная: ночью и в выходные GPU не нужны, а в пик нужно две реплики и больше (наш расчёт ниже)

Когда не подходит

одна модель на одной карте без пиков — хватит одного GPU-сервера без Kubernetes; никто в команде не работал с Kubernetes

Облако Selectel

Реклама. АО «Селектел», ИНН 7810962785, selectel.ru. erid: 2VtzqwtXUsg

Что нужно понять за минуту

Большинство своих LLM начинается с одного сервера: видеокарта, vLLM в Docker, HTTPS-прокси. Как это собрать, мы разобрали в статье своя LLM на сервере. Такая схема проста и дешева, пока модель одна, а нагрузка ровная.

Kubernetes с GPU-нодами решает три задачи, с которыми один сервер не справляется:

• Пики. Очередь запросов растёт, и одной карты не хватает. Кластер поднимает ещё одну GPU-ноду и вторую реплику модели, а после пика удаляет их.
• Простой. Ночью и в выходные карта никому не нужна, но за выделенный сервер вы платите весь месяц. В кластере группа GPU-нод уменьшается до нуля, и почасовая оплата останавливается.
• Несколько моделей. LLM, эмбеддинги, распознавание речи и реранкер живут на разных картах в одном кластере, и каждую модель обновляют отдельно.

Как это устроено у Selectel. GPU-ноды в Managed Kubernetes — это облачные серверы в фиксированных конфигурациях, до восьми карт на ноду. Карта отдаётся ноде целиком как PCI-устройство, vGPU нет. Драйверы NVIDIA можно получить предустановленными или поставить самим через GPU Operator. Масштабированием управляет Cluster Autoscaler (он уже стоит в кластере, его достаточно включить) или Karpenter: его ставят отдельно, и он сам подбирает самый дешёвый подходящий GPU-сервер. Ещё есть готовые манифесты «Inference-ready кластер»: Terraform-модули и Helm-чарты разворачивают GPU Operator, Karpenter, AIBrix, Gateway API и мониторинг. Управляющую часть кластера держит провайдер. Общая часть про Kubernetes без GPU — в разборе Managed Kubernetes.

Сколько стоит

Цены провайдера на 9 ноября 2026, с НДС. GPU-ноды — карточки «от» со страницы продукта, за ноду в час. Управляющая часть, диски и IP оплачиваются отдельно.

проверено 09.11.2026 · источник

Объём памяти карт RTX 4090 на карточке ноды не указан. По документации в Москве есть ноды и с 24 ГБ, и с 48 ГБ на карту. Сколько памяти нужно вашей модели, посчитайте в калькуляторе видеопамяти.

Наш расчёт: когда кластер дешевле одного сервера

Без видеокарт кластер тоже стоит денег: управляющая часть с балансировщиком плюс две системные ноды. Без них группа GPU-нод не уменьшится до нуля. Формула: 8 135,36 + 2 × 730 ч × 3,48 ₽ ≈ 13 200 ₽ в месяц. Это нижняя граница: в ней базовый кластер с одним мастером и без SLA, а диски системных нод не учтены. Отказоустойчивый кластер с тремя мастерами дороже, его цену покажет калькулятор.

Сравнивать ноду с выделенными серверами честно только по тем картам, которые можно заказать. Выделенных серверов с RTX 4090 на 9 ноября нет в наличии, кнопка на их карточках — «Узнать о поступлении». С картой RTX PRO 6000 96 ГБ есть два сервера по 225 000 ₽, вместе 450 000 ₽ в месяц. Сравним их с одной GPU-нодой Kubernetes 2 × RTX PRO 6000:

Точки равенства здесь нет: (450 000 − 13 200) ÷ 509,10 ≈ 858 часов, а в месяце их 730. Даже круглосуточно нода дешевле примерно на 65 000 ₽, или на 15 %. Оговорки: у ноды цена «от», её диски и исходящий трафик сверх 3 ТБ в месяц оплачиваются отдельно, а в выделенный сервер уже входят 2 × 2 ТБ NVMe и безлимитный канал 1 Гбит/с. При оплате выделенного сервера сразу за 12 месяцев тарифный план на 15 % дешевле, и при круглосуточной нагрузке варианты сравниваются по цене.

С RTX 4090 картина другая. Если выделенные серверы снова появятся, два по 56 900 ₽ (113 800 ₽ в месяц) сравняются с нодой 2 × RTX 4090 при (113 800 − 13 200) ÷ 210,04 ≈ 479 часах в месяц, то есть около 16 часов в сутки. Вывод: точка равенства зависит от карты, поэтому считайте на той конфигурации, которую реально можете заказать.

Сколько экономит выключение на ночь, сильнее всего видно на больших нодах. Нода 4 × RTX PRO 6000, выключенная с 0 до 8 часов: 240 ч × 1 168,26 ≈ 280 400 ₽ в месяц. Если она работает только в будни с 9 до 21, простаивает 466 часов, и экономия ≈ 544 400 ₽. Для ноды 2 × RTX 4090 ночное выключение даёт 240 × 210,04 ≈ 50 400 ₽ в месяц. Свои цифры подставьте в калькулятор облако или выделенный.

Как выбрать

Пора в Kubernetes, если совпадают хотя бы два пункта:

• в часы пик очередь запросов к модели растёт, и одной карты не хватает;
• GPU нужны не круглые сутки: ночью, в выходные или между пакетными задачами нагрузки нет;
• моделей несколько (LLM, эмбеддинги, Whisper), и их выкладывают независимо;
• в команде есть человек, который сопровождает Kubernetes.

Рано, если модель одна, помещается на одну карту и нагрузка ровная круглые сутки. Тогда хватит одного сервера с GPU без Kubernetes, облачного или выделенного: какой дешевле, зависит от карты и наличия, сравните в калькуляторе облако или выделенный. Если запросов немного, дешевле API с оплатой за токены — сравните варианты в калькуляторе API или свой GPU.

Как настроить ночное выключение. Группа GPU-нод создаётся с предустановленными драйверами, автомасштабирование включается в панели с минимумом 0. Модель описывается обычным Deployment:

apiVersion: apps/v1
kind: Deployment
metadata:
  name: llm
spec:
  replicas: 1
  selector:
    matchLabels: {app: llm}
  template:
    metadata:
      labels: {app: llm}
    spec:
      nodeSelector:
        role: gpu                    # лейбл группы GPU-нод, задаётся в панели
      containers:
        - name: vllm
          image: vllm/vllm-openai:v0.33.0
          args: ["--model", "Qwen/Qwen3-8B", "--max-model-len", "16384"]
          ports:
            - containerPort: 8000
          resources:
            limits:
              nvidia.com/gpu: 1
          readinessProbe:
            httpGet: {path: /health, port: 8000}
            initialDelaySeconds: 120
          volumeMounts:
            - {name: shm, mountPath: /dev/shm}
      volumes:
        - name: shm
          emptyDir: {medium: Memory, sizeLimit: 8Gi}

Вечером реплики убираются, утром возвращаются. Это можно делать из CronJob или CI:

kubectl scale deployment/llm --replicas=0   # вечером: GPU-нода опустеет и удалится
kubectl scale deployment/llm --replicas=1   # утром, за 20–30 минут до начала дня

Когда на GPU-ноде не остаётся подов, Cluster Autoscaler по умолчанию удаляет её через 10 минут. Время ожидания задаётся для каждой группы нод отдельно:

apiVersion: v1
kind: ConfigMap
metadata:
  name: cluster-autoscaler-nodegroup-options
  namespace: kube-system
data:
  config.yaml: |
    <UUID группы GPU-нод>:
      scaleDownUnneededTime: 10m
      ignoreDaemonSetsUtilization: true

Чтобы добавлять реплики в пик, мало масштабирования по CPU: нужна метрика инференса, например длина очереди vLLM. Её дают AIBrix из готовых манифестов Selectel или связка Prometheus с адаптером метрик. Как ставить и настраивать сам vLLM, мы описали в установке vLLM.

Что не подойдёт и ограничения

• Холодный старт — минуты. Облачная нода в Managed Kubernetes создаётся до 10 минут. Потом образ vLLM скачивается из реестра, а веса модели — из S3 или файлового хранилища. Первый утренний запрос после нуля столько ждать не будет, поэтому реплику поднимают заранее по расписанию.
• Своих драйверов и автомасштабирования вместе не бывает. Для групп GPU-нод без предустановленных драйверов автомасштабирование недоступно.
• Сверьте версию драйвера с образом vLLM. Свежие образы vLLM собраны на CUDA 13 и требуют драйвер R580 или новее; у карт GeForce, включая RTX 4090, режима совместимости со старыми драйверами нет. Какая версия предустановлена, документация не пишет — проверьте nvidia-smi на первой ноде.
• До нуля — только с двумя системными нодами. В других группах кластера должно оставаться минимум две рабочие ноды, иначе GPU-группа не опустеет.
• Короткие паузы не экономят. Облако списывает деньги почасово, удалённый ресурс перестаёт тарифицироваться со следующего часа. Выключать ноду на 20 минут бессмысленно.
• Карты привязаны к пулам. RTX 4090 на 48 ГБ для Managed Kubernetes есть только в сегменте ru-6a, H100 — только в ru-7b. В NodePool Karpenter лучше перечислить несколько подходящих карт, а в проекте заранее проверить квоты на GPU под максимум нод.
• Делить карту между моделями — уточняйте. На странице продукта сказано, что несколько небольших моделей делят одну карту. Как именно (MIG или разделение по времени), в документации не описано.
• Лимиты. До 15 нод в одной группе. На выделенных серверах с GPU автомасштабирования нет совсем.
• Прерываемые GPU-ноды — не для онлайна. Они дешевле, но живут не больше 24 часов, Selectel может остановить их в любой момент, SLA на них не действует. Годятся для пакетной обработки, не для чата с пользователями.
• Kubernetes — это работа. Провайдер отвечает за мастер-ноды, а рабочие ноды, манифесты, обновления моделей и мониторинг остаются на вас.

Как мы сделали

Частые вопросы

Можно ли масштабировать GPU-ноды в Kubernetes до нуля?

Да. В Managed Kubernetes Selectel группу нод можно настроить на автомасштабирование до нуля: пока нагрузки нет, нод в группе нет, и за них не платят. Есть два условия: в других группах кластера должны оставаться минимум две рабочие ноды для системных компонентов, а на GPU-нодах должны стоять предустановленные драйверы. С драйверами, которые вы поставили сами, автомасштабирование недоступно.

Сколько стоит LLM в Kubernetes с GPU?

Складывается из трёх частей. GPU-ноды оплачиваются по часам: нода с 2 × RTX 4090 стоит от 210,04 ₽/час, с 4 × RTX PRO 6000 — от 1 168,26 ₽/час. Кластер в калькуляторе по умолчанию стоит 8 135,36 ₽/мес. Ещё нужны две системные ноды на CPU. По нашему расчёту обвязка без видеокарт обходится примерно в 13 200 ₽ в месяц.

Что такое vLLM router и нужен ли он?

Это прокси перед несколькими репликами vLLM: он раздаёт запросы так, чтобы похожие попадали на реплику, у которой уже есть нужный кэш. Его ставят вместе с vLLM Production Stack или берут маршрутизацию из AIBrix, который входит в готовые манифесты Selectel. Пока реплика одна, router не нужен, хватит обычного Service.

vLLM semantic router — это то же самое?

Нет. Semantic router смотрит на смысл запроса и выбирает модель: простые вопросы отправляет в маленькую и дешёвую, сложные — в большую. Смысл он имеет, когда моделей в кластере хотя бы две. Обычный vLLM router распределяет запросы между копиями одной модели.

Нужен ли Ray, чтобы запустить vLLM в Kubernetes?

Только если модель не помещается в видеокарты одной ноды и её надо разложить на несколько машин. Несколько карт внутри одной ноды vLLM использует и без Ray, через параметр tensor-parallel-size. У Selectel GPU-нода в фиксированной конфигурации вмещает до восьми карт, поэтому для инференса Ray обычно не нужен.

Источники

1. Managed Kubernetes с GPU (Inference-ready кластер) — selectel.ruпроверено 09.11.2026
2. Калькулятор Kubernetes — selectel.ruпроверено 09.11.2026
3. Облачные серверы: почасовые цены конфигураций — selectel.ruпроверено 09.11.2026
4. Выделенные серверы с GPU — цены и наличие — selectel.ruпроверено 09.11.2026
5. Серверы с GPU — карточки под задачу — selectel.ruпроверено 09.11.2026
6. Создать кластер Managed Kubernetes на облачном сервере с GPU — документация Selectelпроверено 09.11.2026
7. Драйверы GPU в Managed Kubernetes — документация Selectelпроверено 09.11.2026
8. Автомасштабирование групп нод: Cluster Autoscaler и Karpenter — документация Selectelпроверено 09.11.2026
9. Доступность Managed Kubernetes и GPU в локациях — документация Selectelпроверено 09.11.2026
10. Конфигурации нод Managed Kubernetes — документация Selectelпроверено 09.11.2026
11. Managed Kubernetes: типы кластеров, лимиты, зоны ответственности — документация Selectelпроверено 09.11.2026
12. Managed Kubernetes: модель оплаты — документация Selectelпроверено 09.11.2026
13. Прерываемые группы нод — документация Selectelпроверено 09.11.2026

Связанные гайды

• Решение

  Запустить LLM на своём сервере: какую карту взять и сколько стоит

  Как запустить свою LLM на арендованном GPU-сервере: карта под модель 8B, 32B и 70B, Ollama или vLLM, API с ключом, копия весов в S3 и цены.

  08.11.2026
• Инструмент

  LLM по API или свой GPU: калькулятор стоимости в рублях

  Сравниваем оплату нейросети за токены, готовую модель с оплатой по часам и свой сервер с видеокартой: сколько стоит месяц и с какого объёма выгоднее своё.

  09.11.2026
• Инструмент

  Сколько видеопамяти нужно для LLM: калькулятор и подбор GPU

  Считаем видеопамять под модель: веса, кэш контекста, запас. Llama, Qwen, Gemma, gpt-oss, DeepSeek в 16, 8 и 4 битах — и какие видеокарты подойдут по цене.

  08.11.2026
• Решение

  Managed Kubernetes: когда он нужен и что входит в цену

  Когда Managed Kubernetes окупается, а когда хватит Docker Compose на одной-двух ВМ. Что входит в цену кластера, что платится отдельно и где есть SLA.

  08.11.2026
• Гайд

  vLLM на своём GPU-сервере: установка, Docker и OpenAI API

  Как поставить vLLM на арендованный GPU-сервер: Docker Compose, OpenAI-совместимый API с ключом и HTTPS, какая карта нужна под Qwen3.8 и сколько это стоит.

  08.11.2026