VRAM (видеопамять видеокарты)
VRAM — память самой видеокарты. Для нейросети это главный ограничитель: модель должна целиком поместиться в видеопамять вместе с контекстом запросов, иначе она не запустится или будет работать в разы медленнее. Ориентир — около 1 ГБ на миллиард параметров в 8 битах и 2 ГБ в 16 битах (BF16), плюс запас.
В этой статье
Простыми словами
Обычная оперативная память сервера — это склад, видеопамять — рабочий стол прямо у видеокарты. Модель работает быстро, только когда всё нужное лежит на этом столе: веса модели и кэш контекста, то есть то, что модель «помнит» из текущих диалогов.
Пример. Модель на 8 млрд параметров, сжатая до 4 бит, весит около 4,5 ГБ. С контекстом 8 000 токенов и четырьмя одновременными запросами ей нужна карта на 16–24 ГБ. Модели на 70 млрд параметров в тех же 4 битах нужно уже около 45–55 ГБ — это карта на 96 ГБ или две по 48 ГБ. У моделей со смесью экспертов (MoE) в видеопамяти должны лежать все параметры, даже если в каждый момент работает только часть.
Часть модели можно вынести в обычную память, но тогда ответы замедляются в разы — для чат-бота под нагрузкой так не делают.
Когда это нужно
- Выбираете сервер с видеокартой под языковую модель или генерацию изображений.
- Проверяете, влезет ли модель в карту, которая уже есть.
- Планируете длинный контекст или много пользователей сразу: кэш контекста растёт и может занять больше места, чем сами веса.
Сколько стоит
Цена сервера растёт вместе с объёмом видеопамяти. Облачный сервер с L4 на 24 ГБ стоит 69,52 ₽/час, выделенный сервер с RTX 4090 на 48 ГБ — 62 700 ₽/мес. Сколько памяти нужно вашей модели, посчитает калькулятор видеопамяти; запускают модель обычно через vLLM.
Источники
- Облачные серверы с GPU — selectel.ruпроверено 08.11.2026
- Выделенные серверы с GPU — selectel.ruпроверено 08.11.2026
Связанные гайды
- Инструмент
Сколько видеопамяти нужно для LLM: калькулятор и подбор GPU
Считаем видеопамять под модель: веса, кэш контекста, запас. Llama, Qwen, Gemma, gpt-oss, DeepSeek в 16, 8 и 4 битах — и какие видеокарты подойдут по цене.
- Гайд
Аренда GPU-сервера для нейросети в России: облако, выделенный и цены
Аренда сервера с видеокартой в России: облачные GPU почасово и выделенные посуточно и помесячно, цены и наличие на 8 ноября 2026, что взять под нейросеть.
- Гайд
vLLM на своём GPU-сервере: установка, Docker и OpenAI API
Как поставить vLLM на арендованный GPU-сервер: Docker Compose, OpenAI-совместимый API с ключом и HTTPS, какая карта нужна под Qwen3.8 и сколько это стоит.
- Инструмент
GPU в облаке или выделенный сервер: калькулятор окупаемости
Сколько стоит видеокарта в облаке по часам и в аренду на месяц или сутки. Считаем, с какого числа часов в сутки выделенный сервер с GPU выгоднее облака.