# Сколько видеопамяти нужно для LLM: калькулятор и подбор GPU

> Считаем видеопамять под модель: веса, кэш контекста, запас. Llama, Qwen, Gemma, gpt-oss, DeepSeek в 16, 8 и 4 битах — и какие видеокарты подойдут по цене.

Источник: https://infragid.ru/instrumenty/podbor-gpu-pod-model/ · Обновлено: 2026-11-08 · Цены проверены: 2026-11-08 · Раздел: Нейросети и GPU

**Коротко.** Видеопамять ≈ параметры модели × биты / 8 плюс кэш контекста и 1,5–2 ГБ запаса. Модель на 8 млрд параметров в 4 битах занимает около 5 ГБ и с контекстом 8 000 токенов на 4 запроса помещается в карту на 16–24 ГБ; модели на 70 млрд в 4 битах нужно около 45–55 ГБ — это RTX PRO 6000 на 96 ГБ или две карты.

## Как считается

**Веса модели** = число параметров × биты на параметр / 8. Для 4-битного сжатия берём 4,5 бита на параметр: форматы вроде Q4_K_M и AWQ хранят ещё масштабы групп. Для 8 бит — 8,5.

**Кэш контекста** (KV-кэш) растёт с длиной контекста и числом одновременных запросов. Для плотных моделей с групповым вниманием (Llama 3, Qwen 2.5 и 3, Mistral) один токен занимает от 0,11 до 0,32 МБ в 16 битах, в зависимости от размера модели. У моделей со скользящим окном внимания (Gemma 3, gpt-oss) кэш меньше — калькулятор для них даёт оценку с запасом.

**Запас** — 1,5 ГБ на среду выполнения (CUDA, библиотеки) плюс 10 % от веса модели на активации и фрагментацию.

Для дообучения: LoRA и QLoRA — веса модели плюс адаптеры, состояние оптимизатора и активации (оценочно 15 % от весов, 0,1 ГБ на млрд параметров и 4 ГБ); полное дообучение со смешанной точностью — около 16 байт на параметр.

## Типовые ответы

| Модель | 16 бит | 8 бит | 4 бита | Что подойдёт (4 бита, 8 000 токенов, 4 запроса) |
|---|---:|---:|---:|---|
| 8 млрд параметров | ≈ 23 ГБ | ≈ 15 ГБ | ≈ 11 ГБ | T4 16 ГБ, L4 24 ГБ |
| 14 млрд | ≈ 39 ГБ | ≈ 24 ГБ | ≈ 17 ГБ | L4, RTX A5000 24 ГБ |
| 32 млрд | ≈ 80 ГБ | ≈ 47 ГБ | ≈ 30 ГБ | RTX 4090 48 ГБ |
| => 70 млрд | ≈ 166 ГБ | ≈ 94 ГБ | ≈ 56 ГБ | RTX PRO 6000 96 ГБ |
| 120 млрд (MoE) | ≈ 275 ГБ | ≈ 155 ГБ | ≈ 90 ГБ | H200 141 ГБ или 2 × RTX PRO 6000 |

Это наш расчёт по формулам выше; точная цифра зависит от версии модели и движка. Формула консервативна для моделей со скользящим окном внимания: например, gpt-oss-120b в родном 4-битном формате разработчик запускает на одной карте на 80 ГБ. Для своих параметров используйте калькулятор.

## Что не учитывает калькулятор

- **Скорость.** Модель может поместиться в карту, но отвечать медленно. Для чат-бота под нагрузку важна и пропускная способность памяти: у RTX PRO 6000, H100 и H200 она заметно выше, чем у T4 или A2000.
- **Несколько карт.** Модель можно разделить на 2–8 карт (тензорный параллелизм в vLLM), но нужна связь между картами; на серверах с NVLink это работает быстрее.
- **Длинный контекст.** На 128 000 токенах кэш может занять больше, чем сами веса, — уменьшайте число одновременных запросов или используйте 8-битный кэш.

Сравнить цену облака и выделенного сервера для выбранной карты — в калькуляторе [GPU в облаке или выделенный](/instrumenty/gpu-oblako-ili-vydelennyj/). Как арендовать и что проверить — в гайде [где арендовать GPU для нейросети](/arenda-gpu-dlya-nejroseti/).


## Частые вопросы

**Сколько видеопамяти нужно для модели на 7–8 млрд параметров?**

В 4 битах веса занимают около 4,5 ГБ, в 8 битах — около 8,5 ГБ, без сжатия — 16 ГБ. С контекстом 8 000 токенов и парой одновременных запросов добавьте ещё 2–4 ГБ. Карты на 16 ГБ хватает для 4 и 8 бит, на 24 ГБ — с запасом.

**Влезет ли Llama 70B в одну RTX 4090?**

В карту на 24 ГБ — нет: даже в 4 битах веса занимают около 40 ГБ. В RTX 4090 с 48 ГБ модель помещается только впритык, без запаса на контекст; для нормальной работы нужна RTX PRO 6000 на 96 ГБ или две карты.

**Почему MoE-модели требуют столько памяти, если активных параметров мало?**

В модели со смесью экспертов (MoE) в каждый момент работает только часть параметров, но в видеопамяти должны лежать все. Поэтому память считается по полному размеру модели, а скорость — по активным параметрам.

**Можно ли запустить модель частично в оперативной памяти?**

Можно: llama.cpp и Ollama умеют выгружать часть слоёв в RAM. Но скорость падает в разы, поэтому для чат-бота или API с нагрузкой модель должна целиком помещаться в видеопамять.


## Источники

- Облачные серверы с GPU — калькулятор — https://selectel.ru/services/cloud/servers/gpu/ (проверено 2026-11-08)
- Выделенные серверы с GPU — https://selectel.ru/services/dedicated/gpu/ (проверено 2026-11-08)
- Серверы с GPU — обзор и карточки под задачи — https://selectel.ru/services/gpu/ (проверено 2026-11-08)

## Данные калькулятора

**Варианты GPU и цены (облако — круглосуточно 730 ч)**

| Вариант | Видеопамять | Облако, ₽/час | Облако 24/7, ₽/мес | Выделенный, ₽/мес |
|---|---|---|---|---|
| 1 × RTX A2000 | 6 ГБ | 50,57 ₽ | 36 916 ₽ | 17 600 ₽ |
| 1 × GTX 1080 | 8 ГБ | 33,09 ₽ | 24 156 ₽ | 24 500 ₽ |
| 1 × Tesla T4 | 16 ГБ | 58,83 ₽ | 42 946 ₽ | 27 900 ₽ |
| 1 × A2 | 16 ГБ | 55,78 ₽ | 40 719 ₽ | — |
| 1 × L4 | 24 ГБ | 69,52 ₽ | 50 750 ₽ | 58 500 ₽ |
| 1 × RTX A5000 | 24 ГБ | 80,05 ₽ | 58 436 ₽ | 40 300 ₽ |
| 1 × RTX 4090 24 ГБ | 24 ГБ | — | — | 56 900 ₽ |
| 1 × A30 (временная скидка) | 24 ГБ | 97,19 ₽ | 70 949 ₽ | — |
| 1 × A100 40 ГБ (временная скидка) | 40 ГБ | 244,28 ₽ | 178 324 ₽ | — |
| 1 × RTX 4090 48 ГБ | 48 ГБ | 146,42 ₽ | 106 887 ₽ | 62 700 ₽ |
| 1 × H100 | 80 ГБ | — | — | 245 000 ₽ |
| 1 × RTX PRO 6000 | 96 ГБ | 289,79 ₽ | 211 547 ₽ | 225 000 ₽ |
| 1 × H200 NVL | 141 ГБ | — | — | 415 800 ₽ |
| 4 × A100 40 ГБ | 160 ГБ | — | — | 297 000 ₽ |
| 2 × RTX PRO 6000 | 192 ГБ | 579,58 ₽ | 423 093 ₽ | — |
| 2 × H200 | 282 ГБ | 1 398 ₽ | 1 020 525 ₽ | — |
| 8 × RTX PRO 6000 | 768 ГБ | 2 318 ₽ | 1 692 374 ₽ | — |
| 8 × H200 (HGX) | 1128 ГБ | 5 397 ₽ | 3 940 029 ₽ | 6 500 000 ₽ |