# Запустить LLM на своём сервере: какую карту взять и сколько стоит

> Как запустить свою LLM на арендованном GPU-сервере: карта под модель 8B, 32B и 70B, Ollama или vLLM, API с ключом, копия весов в S3 и цены.

Источник: https://infragid.ru/svoya-llm-na-servere/ · Обновлено: 2026-11-08 · Цены проверены: 2026-11-08 · Раздел: Нейросети и GPU

**Коротко.** Свою LLM запускают на арендованном Linux-сервере с видеокартой NVIDIA: ставите Ollama или vLLM, и модель отвечает по тому же API, что и OpenAI. Модели на 8–14 млрд параметров хватит карты на 24 ГБ: облачный L4 стоит 69,52 ₽/час, выделенный сервер с RTX 4090 — 56 900 ₽/мес. Для 27–32 млрд нужна карта на 48 ГБ, для 70 млрд — RTX PRO 6000 на 96 ГБ за 225 000 ₽/мес.

**Наш выбор.** Для своей модели на 8–14 млрд параметров, которая круглые сутки отвечает команде или продукту, — выделенный сервер с RTX 4090 на 24 ГБ и vLLM за HTTPS с ключом. Перед заказом прогоните ту же модель на облачном L4 по часам, а веса держите копией в S3.
- Конфигурация: RTX 4090 24 ГБ · Core i9-14900KS · 128 ГБ · 2 × 2 ТБ NVMe
- Цена: 56 900 ₽/мес или 1 890 ₽/день посуточно
- Сначала проверить: облачный L4 24 ГБ — 69,52 ₽/час, удалить после теста
- Копия весов: S3, стандартное хранение — 2,56 ₽ за ГБ/мес
- Когда не подходит: модели 27–70 млрд — карта на 48–96 ГБ; десяток запросов в день — дешевле оплата за токены

## Что нужно понять за минуту

Своя LLM на сервере — это три вещи. Видеокарта, в память которой целиком помещается модель. Сервер моделей (Ollama или vLLM), который загружает веса и отвечает на запросы по API в формате OpenAI. И обвязка: HTTPS, ключ, закрытые порты и копия весов, чтобы не скачивать десятки гигабайт заново.

Модели обновляются каждый месяц, поэтому выбирайте карту по размеру модели, а не по её версии. Ориентиры для запуска в сжатом виде (FP8 или 4 бита):

- **8–14 млрд параметров** — карта на 24 ГБ с запасом под контекст;
- **27–32 млрд** — 48 ГБ; на 24 ГБ влезает только в 4 битах и с коротким контекстом;
- **70 млрд** — 96 ГБ на одной карте или две по 48 ГБ.

Под свою модель, сжатие и число одновременных пользователей посчитайте в [калькуляторе видеопамяти](/instrumenty/podbor-gpu-pod-model/).

Второй выбор — сервер моделей. Ollama ставится одной командой и удобна, когда модель нужна одному человеку или для пробы. vLLM сложнее в настройке, зато держит много параллельных запросов на одной карте. Подробное сравнение — в статье [vLLM, Ollama, llama.cpp или SGLang](/vllm-vs-ollama/).

Третий — сколько часов в сутки модель работает: облако оплачивается по часам, выделенный сервер — за сутки или месяц.

## Сколько стоит

| Модель и режим | Сервер | Видеопамять | Цена | Месяц круглосуточно, ≈ |
|---|---|---|---:|---:|
| 8–14B, проба по часам | облако · L4, 8 vCPU, 32 ГБ | 24 ГБ | 69,52 ₽/час | 50 750 ₽ |
| => 8–14B, круглые сутки | выделенный · RTX 4090, 128 ГБ, 2 × 2 ТБ NVMe | 24 ГБ | 56 900 ₽/мес | — |
| 27–32B, по часам | облако · RTX 4090, 12 vCPU, 64 ГБ | 48 ГБ | 146,42 ₽/час | 106 900 ₽ |
| 27–32B, круглые сутки | выделенный · RTX 4090, 128 ГБ, 2 × 2 ТБ NVMe | 48 ГБ | 62 700 ₽/мес | — |
| 70B, по часам | облако · RTX PRO 6000, 16 vCPU, 120 ГБ | 96 ГБ | 289,79 ₽/час | 211 550 ₽ |
| 70B, круглые сутки | выделенный · RTX PRO 6000, 192 ГБ, 2 × 2 ТБ NVMe | 96 ГБ | 225 000 ₽/мес | — |
| Готовая модель 8B, без своего сервера | Dedicated Inference · qwen3-8b | — | от 63,30 ₽/час | 46 210 ₽ |
| Готовая модель 27B, без своего сервера | Dedicated Inference · qwen3-6-27b | — | от 253,20 ₽/час | 184 840 ₽ |

Цены с НДС. Облако — калькулятор пула ru-7a (Москва), минимальная конфигурация с картой; диск и IP отдельно. Выделенные — готовые конфигурации: диски, канал 1 Гбит/с без лимита и IPv4 в цене. Месяц — наш расчёт: цена часа × 730 часов. Проверено 08.11.2026 · [выделенные GPU](https://selectel.ru/services/dedicated/gpu/) · [облачные GPU](https://selectel.ru/services/cloud/servers/gpu/) · [Dedicated Inference](https://selectel.ru/services/dedicated-inference/)
{: .stamp}

К облачному серверу добавьте обвязку. Диск на 100 ГБ под систему и веса — около 1 050 ₽ в месяц (наш расчёт: 100 × 10,48 ₽ за ГБ/мес), публичный IP — 189,57 ₽/мес. Копия весов в S3 почти ничего не стоит: 100 ГБ в стандартном классе — около 256 ₽ в месяц (100 × 2,56 ₽ за ГБ/мес), скачивание и запросы — по ставкам из калькулятора провайдера.

Что видно из цифр:

- **L4 в облаке круглосуточно** с диском и IP — около 52 000 ₽, чуть дешевле выделенной RTX 4090 на 24 ГБ. Но у выделенного сервера 128 ГБ памяти и 4 ТБ NVMe в цене, карта мощнее, и его не удалят через 12 часов после нуля на балансе.
- **Для RTX 4090 на 48 ГБ** выделенный сервер выгоднее облака примерно с 14 часов работы в сутки (наш расчёт: 62 700 ÷ 146,42 ÷ 30). Свой график подставьте в калькулятор [облако или выделенный GPU](/instrumenty/gpu-oblako-ili-vydelennyj/).
- **Dedicated Inference с qwen3-8b** круглосуточно дешевле своего сервера, и ставить ничего не нужно. Токены там не тарифицируются, платите за часы работы сервиса. Но модель — только из каталога провайдера.
- **Оплата за токены** выгоднее, пока запросов мало. Модель того же класса, Qwen-3.8-27B, в Token Factory стоит 206,50 ₽ за 1 млн токенов за генерацию. Выделенная RTX 4090 на 48 ГБ окупается примерно с 300 млн сгенерированных токенов в месяц, это около 10 млн в сутки (наш расчёт: 62 700 ÷ 206,5, без учёта входящих токенов). Это ≈ 116 токенов в секунду круглые сутки — проверьте замером, успевает ли карта. Свой объём проверьте в калькуляторе [LLM по API или свой GPU](/instrumenty/llm-api-ili-svoj-gpu/).

## Как запустить: маршрут за вечер

### 1. Подберите карту и начните с облака

Посчитайте видеопамять под модель, создайте облачный сервер с подходящей картой и Ubuntu 24.04. Первым делом проверьте, видит ли система карту:

```bash
nvidia-smi
```

Если команды нет или драйвер старый, поставьте серверную ветку драйвера NVIDIA — пошагово это разобрано в [инструкции по vLLM](/vllm-ustanovka/), там же Docker и NVIDIA Container Toolkit.

### 2. Поставьте сервер моделей

Для пробы и одного пользователя хватит Ollama. Она ставится как системная служба и по умолчанию слушает только 127.0.0.1:11434:

```bash
# официальный скрипт установки Ollama: ставит программу и службу systemd;
# перед запуском его можно прочитать, открыв адрес в браузере
curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen3:8b
curl http://127.0.0.1:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "qwen3:8b", "messages": [{"role": "user", "content": "Привет! Ответь одним предложением."}]}'
```

Для команды или продукта, где запросы идут параллельно, ставьте vLLM в Docker: готовый `docker-compose.yml` с ключом API, кэшем весов и проверкой здоровья — в [инструкции по vLLM](/vllm-ustanovka/). Ключ там проверяет сам vLLM (порт 8000), а Caddy уже есть в том же compose-файле, поэтому шаг 3 можно пропустить; шаги 4–6 те же.

### 3. Откройте API через HTTPS с ключом

У Ollama нет своей проверки ключа, поэтому её порт наружу не открывают. Перед ней ставят прокси Caddy: он сам выпускает сертификат Let's Encrypt и пускает только запросы с вашим ключом. Нужен домен, A-запись которого указывает на сервер.

```bash
sudo apt install -y caddy
openssl rand -hex 32   # это ваш ключ API, сохраните его
```

Файл `/etc/caddy/Caddyfile` (вместо `llm.example.com` — ваш домен, вместо `ВАШ_КЛЮЧ` — ключ из команды выше):

```caddyfile
llm.example.com {
    handle /v1/* {
        @nokey not header Authorization "Bearer ВАШ_КЛЮЧ"
        respond @nokey 401
        reverse_proxy 127.0.0.1:11434 {
            header_up Host localhost:11434
        }
    }
    handle {
        respond 404
    }
}
```

`header_up Host` нужен потому, что Ollama на 127.0.0.1 отклоняет запросы с чужим именем хоста; такую же подмену для прокси показывает её документация. Примените конфиг: `sudo systemctl reload caddy`. Теперь любой код для API OpenAI работает с вашей моделью: адрес `https://llm.example.com/v1`, ключ — ваш.

### 4. Закройте всё лишнее

```bash
sudo ufw allow 22/tcp
sudo ufw allow 80,443/tcp
sudo ufw enable
```

Порт 80 нужен Caddy для выпуска сертификата. Если сервер моделей работает в Docker, публикуйте его порт только на 127.0.0.1: порт, открытый на 0.0.0.0, Docker пробрасывает в обход правил ufw.

### 5. Сохраните веса в S3

Веса модели — десятки гигабайт. Держите копию в своём бакете: после переезда на выделенный сервер или пересоздания облачного не придётся скачивать всё заново из внешнего репозитория. Входящий трафик в хранилище и трафик внутри Selectel не тарифицируются. Подойдёт rclone — он есть в документации хранилища:

```bash
sudo apt install -y rclone
sudo rclone config   # новый remote: тип s3, провайдер Other, адрес и ключи — из панели хранилища
sudo rclone sync /usr/share/ollama/.ollama/models s3sel:llm-weights/ollama --progress
```

Здесь `s3sel` — имя, которое вы дали хранилищу в `rclone config`, а `/usr/share/ollama/.ollama/models` — каталог моделей Ollama при установке службой. Для vLLM копируйте папку с кэшем Hugging Face из своего конфига. На новом сервере та же команда в обратную сторону, а для Ollama ещё `sudo chown -R ollama:ollama /usr/share/ollama/.ollama/models`.

### 6. Решите, где модель будет жить

Погоняйте модель в облаке на реальных запросах и посмотрите, сколько часов в сутки она занята. Работает круглые сутки — переезжайте на выделенный сервер по месячной цене. Нужна по несколько часов в день — оставайтесь в облаке и удаляйте сервер, когда он не нужен: веса уже лежат в S3.

## Что не подойдёт и ограничения

- **Карты заканчиваются.** На 9 ноября выделенных RTX 4090 на 24 и 48 ГБ оставалось по одной, RTX PRO 6000 — 3, выделенные L4 — в листе ожидания. Перед заказом проверяйте наличие.
- **Облачный GPU нельзя зарезервировать.** Квота в проекте не гарантирует свободную карту в пуле: сервер может не создаться с ошибкой «No valid host was found». Тогда пробуйте другой пул.
- **Выключенный облачный сервер платный.** vCPU, память и GPU не тарифицируются только у замороженного сервера; диски и IP оплачиваются всегда.
- **Ноль на балансе опасен для облачного GPU.** Сервер с видеокартой удаляется через 12 часов после блокировки вместе с данными на локальном диске, у обычных облачных серверов на это 14 дней. Поэтому копия весов в S3 — не лишняя.
- **Dedicated Inference — не свой сервер.** Сервис в режиме public preview, работает только в Москве, свою или дообученную модель туда не загрузить. При неоплате на пополнение есть 8 часов, потом сервис удаляется.
- **Готовые образы ИИ-маркетплейса** (Open WebUI и другие) по документации ставятся на T4, A2, A30, A100, A2000, A5000 и GTX 1080 — L4 и RTX 4090 среди них нет, а Open WebUI есть только в пуле ru-9a.
- **Цифр скорости здесь нет.** Сколько токенов в секунду выдаёт каждая карта, мы ещё не замеряли, поэтому цену миллиона токенов на своём сервере считайте по своему замеру — формула есть в инструкции по vLLM.

!!! how "Как мы сделали"
    Крупные языковые модели мы на своём железе не держим — только в облаке. А небольшие работают у нас без видеокарты: модель эмбеддингов bge-m3 для поиска по документам крутится на процессоре домашнего сервера (выделено 4 vCPU и 4 ГБ) и отвечает примерно за 0,17 с, тексты не покидают периметр. Связку «Caddy с автоматическими сертификатами Let's Encrypt перед сервисом» мы используем на своём облачном сервере в Москве. И два урока с домашнего сервера: Docker-порт, опубликованный на 0.0.0.0, обходит ufw, поэтому всё внутреннее — только на 127.0.0.1; а «задание бэкапа по расписанию активно» ещё не значит, что копия записалась, — проверяйте, что файлы действительно появились в бакете.


## Частые вопросы

**Как запустить LLM на своём сервере?**

Арендуйте Linux-сервер с видеокартой NVIDIA, на которой модель помещается в память, поставьте драйвер и сервер моделей — Ollama для пробы или vLLM для команды. Оба отдают API в формате OpenAI. Наружу открывайте только HTTPS через прокси с ключом, а порт самого сервера моделей держите на 127.0.0.1.

**Сколько стоит аренда GPU-сервера для LLM?**

На 8 ноября 2026 облачный сервер с L4 на 24 ГБ стоит 69,52 ₽/час, с RTX 4090 на 48 ГБ — 146,42 ₽/час; диск и IP оплачиваются отдельно. Выделенный сервер с RTX 4090 на 24 ГБ — 56 900 ₽/мес, с RTX PRO 6000 на 96 ГБ — 225 000 ₽/мес, диски и канал уже в цене.

**Какой сервер нужен для локальной нейросети?**

Главное — объём видеопамяти. Модели на 8–14 млрд параметров в сжатом виде хватит 24 ГБ, на 27–32 млрд удобнее 48 ГБ, на 70 млрд — 96 ГБ. Процессор и оперативная память вторичны. Точный объём под свою модель, сжатие и число пользователей посчитает калькулятор видеопамяти.

**Свой сервер для нейросети или API — что дешевле?**

Зависит от объёма. Свой сервер стоит одинаково, сколько бы он ни ответил, а API берёт за каждый токен. По нашему расчёту выделенная RTX 4090 на 48 ГБ окупается против Token Factory, когда модель на 27 млрд генерирует около 10 млн токенов в сутки. Если запросов меньше, дешевле API.


## Источники

- Облачные серверы с GPU — калькулятор пула ru-7a — https://selectel.ru/services/cloud/servers/gpu/ (проверено 2026-11-08)
- Выделенные серверы с GPU — цены, наличие, посуточная аренда — https://selectel.ru/services/dedicated/gpu/ (проверено 2026-11-08)
- Поресурсный прайс: диски и IP облачных серверов — https://selectel.ru/prices/ (проверено 2026-11-08)
- Объектное хранилище S3 — цены классов хранения — https://selectel.ru/services/cloud/storage/ (проверено 2026-11-08)
- Документация: оплата S3, входящий трафик и трафик внутри Selectel — https://docs.selectel.ru/s3/about/payment/ (проверено 2026-11-08)
- Dedicated Inference — каталог моделей и цены — https://selectel.ru/services/dedicated-inference/ (проверено 2026-11-08)
- Документация: Dedicated Inference и его ограничения — https://docs.selectel.ru/dedicated-inference/about/about-dedicated-inference/ (проверено 2026-11-08)
- Token Factory — цены за токены — https://selectel.ru/services/cloud/token-factory/ (проверено 2026-11-08)
- Документация: оплата облачных серверов, заморозка и блокировка — https://docs.selectel.ru/cloud-servers/about/payment/ (проверено 2026-11-08)
- Документация: FAQ миграции — резервировать GPU нельзя — https://docs.selectel.ru/migrations/migrate-to-cloud-servers/faq-cloud-servers-migration/ (проверено 2026-11-08)
- Документация: ИИ-маркетплейс — образы, карты и пулы — https://docs.selectel.ru/ai-marketplace/about/about-ai-marketplace/ (проверено 2026-11-08)