инфра/гид

Запустить LLM на своём сервере: какую карту взять и сколько стоит

Обновлено08.11.2026 Цены проверены08.11.2026Источникdocs.selectel.ru, selectel.ruЧтение10 мин .md
Коротко

Свою LLM запускают на арендованном Linux-сервере с видеокартой NVIDIA: ставите Ollama или vLLM, и модель отвечает по тому же API, что и OpenAI. Модели на 8–14 млрд параметров хватит карты на 24 ГБ: облачный L4 стоит 69,52 ₽/час, выделенный сервер с RTX 4090 — 56 900 ₽/мес. Для 27–32 млрд нужна карта на 48 ГБ, для 70 млрд — RTX PRO 6000 на 96 ГБ за 225 000 ₽/мес.

В этой статье
Наш выбор

Для своей модели на 8–14 млрд параметров, которая круглые сутки отвечает команде или продукту, — выделенный сервер с RTX 4090 на 24 ГБ и vLLM за HTTPS с ключом. Перед заказом прогоните ту же модель на облачном L4 по часам, а веса держите копией в S3.

Конфигурация
RTX 4090 24 ГБ · Core i9-14900KS · 128 ГБ · 2 × 2 ТБ NVMe
Цена
56 900 ₽/мес или 1 890 ₽/день посуточно
Сначала проверить
облачный L4 24 ГБ — 69,52 ₽/час, удалить после теста
Копия весов
S3, стандартное хранение — 2,56 ₽ за ГБ/мес
Когда не подходит
модели 27–70 млрд — карта на 48–96 ГБ; десяток запросов в день — дешевле оплата за токены
GPU-серверы в Selectel

Реклама. АО «Селектел», ИНН 7810962785, selectel.ru. erid: 2VtzqwajdVY

Что нужно понять за минуту

Своя LLM на сервере — это три вещи. Видеокарта, в память которой целиком помещается модель. Сервер моделей (Ollama или vLLM), который загружает веса и отвечает на запросы по API в формате OpenAI. И обвязка: HTTPS, ключ, закрытые порты и копия весов, чтобы не скачивать десятки гигабайт заново.

Модели обновляются каждый месяц, поэтому выбирайте карту по размеру модели, а не по её версии. Ориентиры для запуска в сжатом виде (FP8 или 4 бита):

  • 8–14 млрд параметров — карта на 24 ГБ с запасом под контекст;
  • 27–32 млрд — 48 ГБ; на 24 ГБ влезает только в 4 битах и с коротким контекстом;
  • 70 млрд — 96 ГБ на одной карте или две по 48 ГБ.

Под свою модель, сжатие и число одновременных пользователей посчитайте в калькуляторе видеопамяти.

Второй выбор — сервер моделей. Ollama ставится одной командой и удобна, когда модель нужна одному человеку или для пробы. vLLM сложнее в настройке, зато держит много параллельных запросов на одной карте. Подробное сравнение — в статье vLLM, Ollama, llama.cpp или SGLang.

Третий — сколько часов в сутки модель работает: облако оплачивается по часам, выделенный сервер — за сутки или месяц.

Сколько стоит

Модель и режим Сервер Видеопамять Цена Месяц круглосуточно, ≈
8–14B, проба по часам облако · L4, 8 vCPU, 32 ГБ 24 ГБ 69,52 ₽/час 50 750 ₽
8–14B, круглые сутки выделенный · RTX 4090, 128 ГБ, 2 × 2 ТБ NVMe 24 ГБ 56 900 ₽/мес —
27–32B, по часам облако · RTX 4090, 12 vCPU, 64 ГБ 48 ГБ 146,42 ₽/час 106 900 ₽
27–32B, круглые сутки выделенный · RTX 4090, 128 ГБ, 2 × 2 ТБ NVMe 48 ГБ 62 700 ₽/мес —
70B, по часам облако · RTX PRO 6000, 16 vCPU, 120 ГБ 96 ГБ 289,79 ₽/час 211 550 ₽
70B, круглые сутки выделенный · RTX PRO 6000, 192 ГБ, 2 × 2 ТБ NVMe 96 ГБ 225 000 ₽/мес —
Готовая модель 8B, без своего сервера Dedicated Inference · qwen3-8b — от 63,30 ₽/час 46 210 ₽
Готовая модель 27B, без своего сервера Dedicated Inference · qwen3-6-27b — от 253,20 ₽/час 184 840 ₽

Цены с НДС. Облако — калькулятор пула ru-7a (Москва), минимальная конфигурация с картой; диск и IP отдельно. Выделенные — готовые конфигурации: диски, канал 1 Гбит/с без лимита и IPv4 в цене. Месяц — наш расчёт: цена часа × 730 часов. Проверено 08.11.2026 · выделенные GPU · облачные GPU · Dedicated Inference

К облачному серверу добавьте обвязку. Диск на 100 ГБ под систему и веса — около 1 050 ₽ в месяц (наш расчёт: 100 × 10,48 ₽ за ГБ/мес), публичный IP — 189,57 ₽/мес. Копия весов в S3 почти ничего не стоит: 100 ГБ в стандартном классе — около 256 ₽ в месяц (100 × 2,56 ₽ за ГБ/мес), скачивание и запросы — по ставкам из калькулятора провайдера.

Что видно из цифр:

  • L4 в облаке круглосуточно с диском и IP — около 52 000 ₽, чуть дешевле выделенной RTX 4090 на 24 ГБ. Но у выделенного сервера 128 ГБ памяти и 4 ТБ NVMe в цене, карта мощнее, и его не удалят через 12 часов после нуля на балансе.
  • Для RTX 4090 на 48 ГБ выделенный сервер выгоднее облака примерно с 14 часов работы в сутки (наш расчёт: 62 700 ÷ 146,42 ÷ 30). Свой график подставьте в калькулятор облако или выделенный GPU.
  • Dedicated Inference с qwen3-8b круглосуточно дешевле своего сервера, и ставить ничего не нужно. Токены там не тарифицируются, платите за часы работы сервиса. Но модель — только из каталога провайдера.
  • Оплата за токены выгоднее, пока запросов мало. Модель того же класса, Qwen-3.8-27B, в Token Factory стоит 206,50 ₽ за 1 млн токенов за генерацию. Выделенная RTX 4090 на 48 ГБ окупается примерно с 300 млн сгенерированных токенов в месяц, это около 10 млн в сутки (наш расчёт: 62 700 ÷ 206,5, без учёта входящих токенов). Это ≈ 116 токенов в секунду круглые сутки — проверьте замером, успевает ли карта. Свой объём проверьте в калькуляторе LLM по API или свой GPU.

Как запустить: маршрут за вечер

1. Подберите карту и начните с облака

Посчитайте видеопамять под модель, создайте облачный сервер с подходящей картой и Ubuntu 24.04. Первым делом проверьте, видит ли система карту:

nvidia-smi

Если команды нет или драйвер старый, поставьте серверную ветку драйвера NVIDIA — пошагово это разобрано в инструкции по vLLM, там же Docker и NVIDIA Container Toolkit.

2. Поставьте сервер моделей

Для пробы и одного пользователя хватит Ollama. Она ставится как системная служба и по умолчанию слушает только 127.0.0.1:11434:

# официальный скрипт установки Ollama: ставит программу и службу systemd;
# перед запуском его можно прочитать, открыв адрес в браузере
curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen3:8b
curl http://127.0.0.1:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "qwen3:8b", "messages": [{"role": "user", "content": "Привет! Ответь одним предложением."}]}'

Для команды или продукта, где запросы идут параллельно, ставьте vLLM в Docker: готовый docker-compose.yml с ключом API, кэшем весов и проверкой здоровья — в инструкции по vLLM. Ключ там проверяет сам vLLM (порт 8000), а Caddy уже есть в том же compose-файле, поэтому шаг 3 можно пропустить; шаги 4–6 те же.

3. Откройте API через HTTPS с ключом

У Ollama нет своей проверки ключа, поэтому её порт наружу не открывают. Перед ней ставят прокси Caddy: он сам выпускает сертификат Let's Encrypt и пускает только запросы с вашим ключом. Нужен домен, A-запись которого указывает на сервер.

sudo apt install -y caddy
openssl rand -hex 32   # это ваш ключ API, сохраните его

Файл /etc/caddy/Caddyfile (вместо llm.example.com — ваш домен, вместо ВАШ_КЛЮЧ — ключ из команды выше):

llm.example.com {
    handle /v1/* {
        @nokey not header Authorization "Bearer ВАШ_КЛЮЧ"
        respond @nokey 401
        reverse_proxy 127.0.0.1:11434 {
            header_up Host localhost:11434
        }
    }
    handle {
        respond 404
    }
}

header_up Host нужен потому, что Ollama на 127.0.0.1 отклоняет запросы с чужим именем хоста; такую же подмену для прокси показывает её документация. Примените конфиг: sudo systemctl reload caddy. Теперь любой код для API OpenAI работает с вашей моделью: адрес https://llm.example.com/v1, ключ — ваш.

4. Закройте всё лишнее

sudo ufw allow 22/tcp
sudo ufw allow 80,443/tcp
sudo ufw enable

Порт 80 нужен Caddy для выпуска сертификата. Если сервер моделей работает в Docker, публикуйте его порт только на 127.0.0.1: порт, открытый на 0.0.0.0, Docker пробрасывает в обход правил ufw.

5. Сохраните веса в S3

Веса модели — десятки гигабайт. Держите копию в своём бакете: после переезда на выделенный сервер или пересоздания облачного не придётся скачивать всё заново из внешнего репозитория. Входящий трафик в хранилище и трафик внутри Selectel не тарифицируются. Подойдёт rclone — он есть в документации хранилища:

sudo apt install -y rclone
sudo rclone config   # новый remote: тип s3, провайдер Other, адрес и ключи — из панели хранилища
sudo rclone sync /usr/share/ollama/.ollama/models s3sel:llm-weights/ollama --progress

Здесь s3sel — имя, которое вы дали хранилищу в rclone config, а /usr/share/ollama/.ollama/models — каталог моделей Ollama при установке службой. Для vLLM копируйте папку с кэшем Hugging Face из своего конфига. На новом сервере та же команда в обратную сторону, а для Ollama ещё sudo chown -R ollama:ollama /usr/share/ollama/.ollama/models.

6. Решите, где модель будет жить

Погоняйте модель в облаке на реальных запросах и посмотрите, сколько часов в сутки она занята. Работает круглые сутки — переезжайте на выделенный сервер по месячной цене. Нужна по несколько часов в день — оставайтесь в облаке и удаляйте сервер, когда он не нужен: веса уже лежат в S3.

Что не подойдёт и ограничения

  • Карты заканчиваются. На 9 ноября выделенных RTX 4090 на 24 и 48 ГБ оставалось по одной, RTX PRO 6000 — 3, выделенные L4 — в листе ожидания. Перед заказом проверяйте наличие.
  • Облачный GPU нельзя зарезервировать. Квота в проекте не гарантирует свободную карту в пуле: сервер может не создаться с ошибкой «No valid host was found». Тогда пробуйте другой пул.
  • Выключенный облачный сервер платный. vCPU, память и GPU не тарифицируются только у замороженного сервера; диски и IP оплачиваются всегда.
  • Ноль на балансе опасен для облачного GPU. Сервер с видеокартой удаляется через 12 часов после блокировки вместе с данными на локальном диске, у обычных облачных серверов на это 14 дней. Поэтому копия весов в S3 — не лишняя.
  • Dedicated Inference — не свой сервер. Сервис в режиме public preview, работает только в Москве, свою или дообученную модель туда не загрузить. При неоплате на пополнение есть 8 часов, потом сервис удаляется.
  • Готовые образы ИИ-маркетплейса (Open WebUI и другие) по документации ставятся на T4, A2, A30, A100, A2000, A5000 и GTX 1080 — L4 и RTX 4090 среди них нет, а Open WebUI есть только в пуле ru-9a.
  • Цифр скорости здесь нет. Сколько токенов в секунду выдаёт каждая карта, мы ещё не замеряли, поэтому цену миллиона токенов на своём сервере считайте по своему замеру — формула есть в инструкции по vLLM.

Как мы сделали

Крупные языковые модели мы на своём железе не держим — только в облаке. А небольшие работают у нас без видеокарты: модель эмбеддингов bge-m3 для поиска по документам крутится на процессоре домашнего сервера (выделено 4 vCPU и 4 ГБ) и отвечает примерно за 0,17 с, тексты не покидают периметр. Связку «Caddy с автоматическими сертификатами Let's Encrypt перед сервисом» мы используем на своём облачном сервере в Москве. И два урока с домашнего сервера: Docker-порт, опубликованный на 0.0.0.0, обходит ufw, поэтому всё внутреннее — только на 127.0.0.1; а «задание бэкапа по расписанию активно» ещё не значит, что копия записалась, — проверяйте, что файлы действительно появились в бакете.

Частые вопросы

Как запустить LLM на своём сервере?

Арендуйте Linux-сервер с видеокартой NVIDIA, на которой модель помещается в память, поставьте драйвер и сервер моделей — Ollama для пробы или vLLM для команды. Оба отдают API в формате OpenAI. Наружу открывайте только HTTPS через прокси с ключом, а порт самого сервера моделей держите на 127.0.0.1.

Сколько стоит аренда GPU-сервера для LLM?

На 8 ноября 2026 облачный сервер с L4 на 24 ГБ стоит 69,52 ₽/час, с RTX 4090 на 48 ГБ — 146,42 ₽/час; диск и IP оплачиваются отдельно. Выделенный сервер с RTX 4090 на 24 ГБ — 56 900 ₽/мес, с RTX PRO 6000 на 96 ГБ — 225 000 ₽/мес, диски и канал уже в цене.

Какой сервер нужен для локальной нейросети?

Главное — объём видеопамяти. Модели на 8–14 млрд параметров в сжатом виде хватит 24 ГБ, на 27–32 млрд удобнее 48 ГБ, на 70 млрд — 96 ГБ. Процессор и оперативная память вторичны. Точный объём под свою модель, сжатие и число пользователей посчитает калькулятор видеопамяти.

Свой сервер для нейросети или API — что дешевле?

Зависит от объёма. Свой сервер стоит одинаково, сколько бы он ни ответил, а API берёт за каждый токен. По нашему расчёту выделенная RTX 4090 на 48 ГБ окупается против Token Factory, когда модель на 27 млрд генерирует около 10 млн токенов в сутки. Если запросов меньше, дешевле API.

Источники

  1. Облачные серверы с GPU — калькулятор пула ru-7aпроверено 08.11.2026
  2. Выделенные серверы с GPU — цены, наличие, посуточная арендапроверено 08.11.2026
  3. Поресурсный прайс: диски и IP облачных серверовпроверено 08.11.2026
  4. Объектное хранилище S3 — цены классов храненияпроверено 08.11.2026
  5. Документация: оплата S3, входящий трафик и трафик внутри Selectelпроверено 08.11.2026
  6. Dedicated Inference — каталог моделей и ценыпроверено 08.11.2026
  7. Документация: Dedicated Inference и его ограниченияпроверено 08.11.2026
  8. Token Factory — цены за токеныпроверено 08.11.2026
  9. Документация: оплата облачных серверов, заморозка и блокировкапроверено 08.11.2026
  10. Документация: FAQ миграции — резервировать GPU нельзяпроверено 08.11.2026
  11. Документация: ИИ-маркетплейс — образы, карты и пулыпроверено 08.11.2026

Связанные гайды