GPU для инференса LLM: сколько VRAM нужно
Главный параметр при выборе GPU для inference — объём видеопамяти (VRAM). Вычислительной мощности почти всегда хватает; упираются именно в память. В этом гайде — конкретные цифры по размерам моделей и рекомендации карт с актуальными ценами РФ.
Базовая формула
Объём VRAM для инференса ≈ веса модели + KV cache.
- Веса: ~2 байта на параметр в FP16, ~1 байт в INT8, ~0,5 байта в INT4.
- KV cache: зависит от длины контекста и batch size; для Llama 70B при 4k контексте и batch=1 — единицы гигабайт, при 128k — десятки.
Таблица: модель → VRAM → карта
| Размер модели | VRAM (FP16) | VRAM (INT4) | Рекомендуемая карта | Цена (₽/час) |
|---|---|---|---|---|
| 7B | 14 ГБ | ~5 ГБ | RTX 4090 / A5000 | 83–671 / 110–439 |
| 13B | 26 ГБ | ~8 ГБ | RTX 4090 / A6000 | 83–671 / дороже 4090 |
| 30B (MoE/активные) | 60 ГБ | ~18 ГБ | A100 80GB / A6000 | 212–1678 |
| 70B | 140 ГБ | ~40 ГБ | H200 141 ГБ / A100 80GB ×2 | 423–3338 |
| 70B+ / крупные MoE | 200+ ГБ | ~60+ ГБ | Multi-GPU: H100 / H200 | 342–3338 |
Цены — июль 2026, в конфигурациях in_stock. Актуальные данные — на страницах соответствующих карт.
7B: дёшево и влезает везде
Модели вроде Qwen2.5 7B, Llama 3 8B, Mistral 7B в FP16 занимают ~14 ГБ. RTX 4090 (24 ГБ) — оптимальный выбор: дёшево, быстро, с запасом для KV cache.
- В INT4 влезает даже в 8 ГБ (но тогда тесно для контекста).
- Самый дешёвый старт — RTX 4090 от 83 ₽/час.
13B: уже нужен 24 ГБ
Llama 2 13B, Qwen 14B в FP16 — ~26–28 ГБ. В одну 24-ГБ карту в FP16 не влезают, нужны варианты:
- INT8 (~14 ГБ) — влезает в RTX 4090 или A5000, минимальная потеря качества.
- A6000 (48 ГБ) — влезает в FP16 с запасом, см. страницу A6000.
- A100 40GB — также влезает в FP16.
30B и MoE: 40–48 ГБ
Mixtral 8×7B (≈47 ГБ активных параметров в FP16), Qwen 32B — нужен объём 40–48 ГБ.
- A100 80GB — с большим запасом, оптимально для стабильной работы.
- A6000 (48 ГБ) — влезает впритык в FP16, комфортно в INT8.
- H100 80GB — если важна задержка (HBM3 быстрее).
70B: 80+ ГБ или multi-GPU
Llama 3 70B в FP16 — ~140 ГБ. На одной карте не влезает даже в H200.
- INT4 (~40 ГБ) — влезает в одну H200 141 ГБ или A100 80GB с запасом.
- INT8 (~70 ГБ) — в A100 80GB или H200.
- FP16 — multi-GPU: 2× A100/H100/H200 через NVLink.
70B+ и крупные MoE: multi-GPU
Модели вроде Llama 3 405B, DeepSeek V3 (671B MoE) — это всегда multi-GPU и распределённый inference.
- Минимум 4×–8× H100 или H200.
- Это sales-led сегмент: цены на крупные кластеры публикуются не всегда, обращайтесь к сейлам Selectel или immers напрямую.
Квантизация: как снизить требования
| Формат | Байт/параметр | Потеря качества | Когда применять |
|---|---|---|---|
| FP16/BF16 | 2 | нет | Базовый вариант |
| INT8 | 1 | минимальная | Если не влезает в FP16 |
| INT4 (GPTQ, AWQ, GGUF) | ~0,5 | небольшая | Для inference на одной карте |
| FP8 (Hopper) | 1 | минимальная | H100/H200, нативная поддержка |
На Hopper (H100/H200) есть нативный FP8 — почти INT8 по объёму, но точнее. Для inference на этих картах FP8 предпочтительнее INT4.
Практические шаги
- Посчитайте VRAM:
(размер модели в млрд параметров) × (байт/параметр)+ 20–30% на KV cache. - Выберите карту с запасом на странице GPU: 4090, A5000, A6000, A100, H100, H200.
- Для multi-GPU проверяйте наличие NVLink: есть у A100/H100/H200 (8+ GPU), A6000 поддерживает NVLink (до 2 GPU), 4090 — без NVLink.
- Подпишитесь на алерт в Telegram по нужной карте.
Смежные гайды
- Аренда H200 — когда memory-bound inference оправдывает цену
- Аренда A100 — базовый дата-центровый вариант
- GPU для TTS и речи — инференс голосовых моделей рядом с LLM-ассистентами