vLLM (сервер для запуска языковых моделей)
vLLM — программа с открытым кодом, которая загружает открытую языковую модель в видеопамять сервера и отвечает на запросы в том же формате, что API OpenAI. Код, который работал с ChatGPT, переключается на вашу модель заменой адреса, ключа и имени модели. Это не модель и не VLM (модель «картинка + текст»), а движок для запуска моделей.
В этой статье
Простыми словами
У компании есть чат-бот, написанный под API OpenAI, но переписку клиентов больше нельзя отправлять за рубеж. Компания арендует Linux-сервер с видеокартой NVIDIA, запускает на нём vLLM из официального Docker-образа и указывает имя открытой модели. В коде бота меняются адрес сервера, ключ и имя модели — и бот отвечает уже своей моделью.
Главная сила vLLM — много одновременных запросов. Он собирает запросы разных пользователей в общие пакеты и экономно раскладывает их контекст по памяти, поэтому одна карта тянет много параллельных диалогов. Для экспериментов одного человека проще Ollama — чем они отличаются, разобрано в статье vLLM или Ollama.
Когда это нужно
- Модель должна работать на своём сервере: данные не покидают ваш периметр.
- Запросов много и они идут одновременно — чат-бот для клиентов, внутренний ассистент на всю компанию.
- Нужна своя или дообученная модель, которой нет в готовых сервисах.
Если запросов немного, свой сервер обычно дороже оплаты за токены — сравните варианты инференса в калькуляторе.
Сколько стоит
Сам vLLM бесплатный, платите за сервер. Какой брать, зависит от видеопамяти, которая нужна модели: на облачный сервер с L4 24 ГБ за 69,52 ₽/час помещаются модели около 9 млрд параметров, Qwen3.8-27B в FP8 запускают на RTX 4090 48 ГБ за 146,42 ₽/час. Пошаговая установка с Docker и HTTPS — в гайде vLLM на своём GPU-сервере.
Источники
- vLLM: установка на GPU — docs.vllm.aiпроверено 08.11.2026
- vLLM: запуск в Docker — docs.vllm.aiпроверено 08.11.2026
- Облачные серверы с GPU — selectel.ruпроверено 08.11.2026
Связанные гайды
- Гайд
vLLM на своём GPU-сервере: установка, Docker и OpenAI API
Как поставить vLLM на арендованный GPU-сервер: Docker Compose, OpenAI-совместимый API с ключом и HTTPS, какая карта нужна под Qwen3.8 и сколько это стоит.
- Гайд
vLLM, Ollama, llama.cpp или SGLang: что ставить на сервер
vLLM, Ollama, llama.cpp и SGLang на своём GPU-сервере: чем отличаются, что ставить для себя, для команды и для продукта, на какой карте и сколько это стоит.
- Решение
Запустить LLM на своём сервере: какую карту взять и сколько стоит
Как запустить свою LLM на арендованном GPU-сервере: карта под модель 8B, 32B и 70B, Ollama или vLLM, API с ключом, копия весов в S3 и цены.
- Инструмент
Сколько видеопамяти нужно для LLM: калькулятор и подбор GPU
Считаем видеопамять под модель: веса, кэш контекста, запас. Llama, Qwen, Gemma, gpt-oss, DeepSeek в 16, 8 и 4 битах — и какие видеокарты подойдут по цене.