инфра/гид

Сколько видеопамяти нужно для LLM: калькулятор и подбор GPU

Обновлено08.11.2026 Цены проверены08.11.2026Источникselectel.ruЧтение2 мин .md
Коротко

Видеопамять ≈ параметры модели × биты / 8 плюс кэш контекста и 1,5–2 ГБ запаса. Модель на 8 млрд параметров в 4 битах занимает около 5 ГБ и с контекстом 8 000 токенов на 4 запроса помещается в карту на 16–24 ГБ; модели на 70 млрд в 4 битах нужно около 45–55 ГБ — это RTX PRO 6000 на 96 ГБ или две карты.

В этой статье

Калькулятор видеопамяти

Варианты GPU и цены (облако — круглосуточно 730 ч)
ВариантВидеопамятьОблако, ₽/часОблако 24/7, ₽/месВыделенный, ₽/мес
1 × RTX A20006 ГБ50,57 ₽36 916 ₽17 600 ₽
1 × GTX 10808 ГБ33,09 ₽24 156 ₽24 500 ₽
1 × Tesla T416 ГБ58,83 ₽42 946 ₽27 900 ₽
1 × A216 ГБ55,78 ₽40 719 ₽—
1 × L424 ГБ69,52 ₽50 750 ₽58 500 ₽
1 × RTX A500024 ГБ80,05 ₽58 436 ₽40 300 ₽
1 × RTX 4090 24 ГБ24 ГБ——56 900 ₽
1 × A30 (временная скидка)24 ГБ97,19 ₽70 949 ₽—
1 × A100 40 ГБ (временная скидка)40 ГБ244,28 ₽178 324 ₽—
1 × RTX 4090 48 ГБ48 ГБ146,42 ₽106 887 ₽62 700 ₽
1 × H10080 ГБ——245 000 ₽
1 × RTX PRO 600096 ГБ289,79 ₽211 547 ₽225 000 ₽
1 × H200 NVL141 ГБ——415 800 ₽
4 × A100 40 ГБ160 ГБ——297 000 ₽
2 × RTX PRO 6000192 ГБ579,58 ₽423 093 ₽—
2 × H200282 ГБ1 398 ₽1 020 525 ₽—
8 × RTX PRO 6000768 ГБ2 318 ₽1 692 374 ₽—
8 × H200 (HGX)1128 ГБ5 397 ₽3 940 029 ₽6 500 000 ₽

Оценка памяти: веса = параметры × биты / 8; кэш контекста — для плотных моделей с GQA в 16 битах; запас на среду выполнения 1.5 ГБ + 10 %. Цены с НДС, проверено 08.11.2026 · справочник цен

Как считается

Веса модели = число параметров × биты на параметр / 8. Для 4-битного сжатия берём 4,5 бита на параметр: форматы вроде Q4_K_M и AWQ хранят ещё масштабы групп. Для 8 бит — 8,5.

Кэш контекста (KV-кэш) растёт с длиной контекста и числом одновременных запросов. Для плотных моделей с групповым вниманием (Llama 3, Qwen 2.5 и 3, Mistral) один токен занимает от 0,11 до 0,32 МБ в 16 битах, в зависимости от размера модели. У моделей со скользящим окном внимания (Gemma 3, gpt-oss) кэш меньше — калькулятор для них даёт оценку с запасом.

Запас — 1,5 ГБ на среду выполнения (CUDA, библиотеки) плюс 10 % от веса модели на активации и фрагментацию.

Для дообучения: LoRA и QLoRA — веса модели плюс адаптеры, состояние оптимизатора и активации (оценочно 15 % от весов, 0,1 ГБ на млрд параметров и 4 ГБ); полное дообучение со смешанной точностью — около 16 байт на параметр.

Типовые ответы

Модель 16 бит 8 бит 4 бита Что подойдёт (4 бита, 8 000 токенов, 4 запроса)
8 млрд параметров ≈ 23 ГБ ≈ 15 ГБ ≈ 11 ГБ T4 16 ГБ, L4 24 ГБ
14 млрд ≈ 39 ГБ ≈ 24 ГБ ≈ 17 ГБ L4, RTX A5000 24 ГБ
32 млрд ≈ 80 ГБ ≈ 47 ГБ ≈ 30 ГБ RTX 4090 48 ГБ
70 млрд ≈ 166 ГБ ≈ 94 ГБ ≈ 56 ГБ RTX PRO 6000 96 ГБ
120 млрд (MoE) ≈ 275 ГБ ≈ 155 ГБ ≈ 90 ГБ H200 141 ГБ или 2 × RTX PRO 6000

Это наш расчёт по формулам выше; точная цифра зависит от версии модели и движка. Формула консервативна для моделей со скользящим окном внимания: например, gpt-oss-120b в родном 4-битном формате разработчик запускает на одной карте на 80 ГБ. Для своих параметров используйте калькулятор.

Что не учитывает калькулятор

  • Скорость. Модель может поместиться в карту, но отвечать медленно. Для чат-бота под нагрузку важна и пропускная способность памяти: у RTX PRO 6000, H100 и H200 она заметно выше, чем у T4 или A2000.
  • Несколько карт. Модель можно разделить на 2–8 карт (тензорный параллелизм в vLLM), но нужна связь между картами; на серверах с NVLink это работает быстрее.
  • Длинный контекст. На 128 000 токенах кэш может занять больше, чем сами веса, — уменьшайте число одновременных запросов или используйте 8-битный кэш.

Сравнить цену облака и выделенного сервера для выбранной карты — в калькуляторе GPU в облаке или выделенный. Как арендовать и что проверить — в гайде где арендовать GPU для нейросети.

Частые вопросы

Сколько видеопамяти нужно для модели на 7–8 млрд параметров?

В 4 битах веса занимают около 4,5 ГБ, в 8 битах — около 8,5 ГБ, без сжатия — 16 ГБ. С контекстом 8 000 токенов и парой одновременных запросов добавьте ещё 2–4 ГБ. Карты на 16 ГБ хватает для 4 и 8 бит, на 24 ГБ — с запасом.

Влезет ли Llama 70B в одну RTX 4090?

В карту на 24 ГБ — нет: даже в 4 битах веса занимают около 40 ГБ. В RTX 4090 с 48 ГБ модель помещается только впритык, без запаса на контекст; для нормальной работы нужна RTX PRO 6000 на 96 ГБ или две карты.

Почему MoE-модели требуют столько памяти, если активных параметров мало?

В модели со смесью экспертов (MoE) в каждый момент работает только часть параметров, но в видеопамяти должны лежать все. Поэтому память считается по полному размеру модели, а скорость — по активным параметрам.

Можно ли запустить модель частично в оперативной памяти?

Можно: llama.cpp и Ollama умеют выгружать часть слоёв в RAM. Но скорость падает в разы, поэтому для чат-бота или API с нагрузкой модель должна целиком помещаться в видеопамять.

Источники

  1. Облачные серверы с GPU — калькуляторпроверено 08.11.2026
  2. Выделенные серверы с GPUпроверено 08.11.2026
  3. Серверы с GPU — обзор и карточки под задачипроверено 08.11.2026

Связанные гайды