Инференс (inference, работа обученной нейросети)
Инференс — это работа уже обученной нейросети: она получает запрос и выдаёт ответ. Обучают модель один раз, а инференс идёт каждый раз, когда человек пишет чат-боту или сервис распознаёт речь. Платят за него тремя способами: за токены по API, за часы готовой модели или за свой сервер с видеокартой.
В этой статье
Простыми словами
Обучение модели похоже на учёбу повара: долго, дорого и один раз. Инференс — это когда повар готовит по заказу, и каждый заказ стоит продуктов и времени. Вы просите чат-бот «составь ответ клиенту», модель читает вопрос (входные токены) и пишет ответ (генерируемые токены) — это и есть инференс.
Маленьким моделям видеокарта нужна не всегда. У нас модель эмбеддингов для поиска по документам работает на процессоре домашнего сервера и отвечает примерно за 0,17 с. Большой языковой модели нужна видеокарта, и чтобы отвечать быстро, модель должна целиком поместиться в её видеопамять.
Когда это нужно
- Встраиваете языковую модель в продукт: чат-бот поддержки, поиск по базе знаний, разбор договоров.
- Данные нельзя отправлять во внешний API — тогда модель запускают на своём сервере, например через vLLM.
- Нужна своя или дообученная модель: готовые сервисы с каталогом моделей её не примут.
Сколько стоит
На старте почти всегда дешевле платить за токены: у Token Factory входные токены модели Qwen-3.8-Flash-Next стоят 20,85 ₽ за 1 млн токенов. Готовая модель qwen3-8b в Dedicated Inference с оплатой по часам — 63,30 ₽/час, и платите вы за время, а не за число запросов. Свой сервер с видеокартой окупается только при очень большом потоке запросов. Где проходит граница для вашей нагрузки, считает калькулятор «LLM по API или свой GPU», а как собрать всё у себя — в решении своя LLM на сервере.
Источники
- Token Factory — selectel.ruпроверено 08.11.2026
- Dedicated Inference — selectel.ruпроверено 08.11.2026
Связанные гайды
- Инструмент
LLM по API или свой GPU: калькулятор стоимости в рублях
Сравниваем оплату нейросети за токены, готовую модель с оплатой по часам и свой сервер с видеокартой: сколько стоит месяц и с какого объёма выгоднее своё.
- Решение
Запустить LLM на своём сервере: какую карту взять и сколько стоит
Как запустить свою LLM на арендованном GPU-сервере: карта под модель 8B, 32B и 70B, Ollama или vLLM, API с ключом, копия весов в S3 и цены.
- Гайд
vLLM на своём GPU-сервере: установка, Docker и OpenAI API
Как поставить vLLM на арендованный GPU-сервер: Docker Compose, OpenAI-совместимый API с ключом и HTTPS, какая карта нужна под Qwen3.8 и сколько это стоит.
- Инструмент
Сколько видеопамяти нужно для LLM: калькулятор и подбор GPU
Считаем видеопамять под модель: веса, кэш контекста, запас. Llama, Qwen, Gemma, gpt-oss, DeepSeek в 16, 8 и 4 битах — и какие видеокарты подойдут по цене.