# vLLM (сервер для запуска языковых моделей)

> Что такое vLLM: движок, который запускает открытую LLM на сервере с видеокартой и отвечает по API в формате OpenAI. Когда он нужен и сколько стоит.

Источник: https://infragid.ru/glossarij/vllm/ · Обновлено: 2026-11-09 · Цены проверены: 2026-11-08 · Раздел: Нейросети и GPU

**Коротко.** vLLM — программа с открытым кодом, которая загружает открытую языковую модель в видеопамять сервера и отвечает на запросы в том же формате, что API OpenAI. Код, который работал с ChatGPT, переключается на вашу модель заменой адреса, ключа и имени модели. Это не модель и не VLM (модель «картинка + текст»), а движок для запуска моделей.

## Простыми словами

У компании есть чат-бот, написанный под API OpenAI, но переписку клиентов больше нельзя отправлять за рубеж. Компания арендует Linux-сервер с видеокартой NVIDIA, запускает на нём vLLM из официального Docker-образа и указывает имя открытой модели. В коде бота меняются адрес сервера, ключ и имя модели — и бот отвечает уже своей моделью.

Главная сила vLLM — много одновременных запросов. Он собирает запросы разных пользователей в общие пакеты и экономно раскладывает их контекст по памяти, поэтому одна карта тянет много параллельных диалогов. Для экспериментов одного человека проще Ollama — чем они отличаются, разобрано в статье [vLLM или Ollama](/vllm-vs-ollama/).

## Когда это нужно

- Модель должна работать на своём сервере: данные не покидают ваш периметр.
- Запросов много и они идут одновременно — чат-бот для клиентов, внутренний ассистент на всю компанию.
- Нужна своя или дообученная модель, которой нет в готовых сервисах.

Если запросов немного, свой сервер обычно дороже оплаты за токены — сравните варианты [инференса](/glossarij/inferens/) в калькуляторе.

## Сколько стоит

Сам vLLM бесплатный, платите за сервер. Какой брать, зависит от [видеопамяти](/glossarij/vram/), которая нужна модели: на облачный сервер с L4 24 ГБ за 69,52 ₽/час помещаются модели около 9 млрд параметров, Qwen3.8-27B в FP8 запускают на RTX 4090 48 ГБ за 146,42 ₽/час. Пошаговая установка с Docker и HTTPS — в гайде [vLLM на своём GPU-сервере](/vllm-ustanovka/).


## Источники

- vLLM: установка на GPU — docs.vllm.ai — https://docs.vllm.ai/en/latest/getting_started/installation/gpu/ (проверено 2026-11-08)
- vLLM: запуск в Docker — docs.vllm.ai — https://docs.vllm.ai/en/latest/deployment/docker/ (проверено 2026-11-08)
- Облачные серверы с GPU — selectel.ru — https://selectel.ru/services/cloud/servers/gpu/ (проверено 2026-11-08)