GPU для обучения моделей
Обучение (training) — самая тяжёлая GPU-задача. В отличие от inference, где нужна только сама модель, при обучении в памяти лежат веса + градиенты + состояния оптимизатора (Adam = 2× параметры) + активации. Реальное потребление VRAM обычно в 4–6 раз больше размера модели в FP16. Выбор карты под обучение — это в первую очередь математика по памяти, а уже потом скорость.
Training vs inference
| Параметр | Inference | Training |
|---|---|---|
| Что в VRAM | Веса модели | Веса + градиенты + оптимизатор + активации |
| Tensor Cores | Желательны | Обязательны (FP16/BF16/TF32) |
| Типичный VRAM на 7B | 8–16 ГБ | 40–80 ГБ (full) / 16–24 ГБ (LoRA) |
| Требования к памяти | Стабильны | Растут с длиной контекста и batch |
| Подходящие карты | RTX 4090, A5000, A100 | A100 80GB, H100, RTX 4090 (LoRA) |
| Время выполнения | Секунды-минуты | Часы-дни |
Для обучения критичны Tensor Cores (FP16/BF16/TF32 матричные операции) и большой HBM на карте. Consumer-карты (RTX 4090) годятся для LoRA и небольших моделей, но для full fine-tune 13B+ нужна дата-центровая карта — не из-за скорости, а из-за памяти.
LoRA / QLoRA vs full fine-tune
Главное решение при дообучении — что именно обновлять:
- Full fine-tune — обновляются все веса модели. VRAM ≈ 4× параметров в FP16. Для 7B модели это ~80 ГБ, для 13B — ~160 ГБ. Реалистично только на A100 80GB / H100 / multi-GPU. Даёт лучшее качество, но дорого и рискует catastrophic forgetting (катастрофическое забывание).
- LoRA (Low-Rank Adaptation) — замораживаем базовые веса, обучаем маленькие адаптеры низкого ранга (rank 8–64). Память падает в 3–10 раз, обучаемые параметры составляют 0.1–1% модели. Качество на большинстве задач близко к full.
- QLoRA — то же, что LoRA, но базовая модель в 4-битном квантовании (NF4). Минимальное потребление памяти, позволяет обучать 70B на одной A100 80GB. Стандарт для больших моделей в 2026 году.
Матрица: задача → карта
| Задача | Рекомендуемая карта | VRAM | Цена (₽/час) |
|---|---|---|---|
| 7B LoRA / QLoRA | RTX 4090 | 24 ГБ | от 83 |
| 7B full fine-tune | A100 80GB | 80 ГБ | 212–1678 |
| 13B LoRA | RTX 4090 / A100 40GB | 24–40 ГБ | от 83 |
| 13B full fine-tune | A100 80GB | 80 ГБ | 212–1678 |
| 30–70B QLoRA | A100 80GB | 80 ГБ | 212–1678 |
| 70B full fine-tune | 8× H100 80GB | 640 ГБ | sales-led |
| Быстрое обучение, любая модель | H100 80GB | 80 ГБ | 342–1404 |
Скорость: H100 против A100
Если бюджет позволяет, H100 быстрее A100 при том же VRAM:
| Операция | A100 80GB | H100 80GB |
|---|---|---|
| BF16 TFLOPS (плотный) | 312 | 989 |
| HBM пропускная способность | 2.0 ТБ/с | 3.35 ТБ/с |
| Transformer training, относит. | 1× | 1.8–2.5× |
Для обучения большого трансформера H100 может закончить работу в 2 раза быстрее — это окупает более высокую почасовую ставку. Для коротких LoRA-экспериментов разница менее существенна, проще взять дешёвую A100 или 4090.
Экономика: считаем время и стоимость
Перед арендой прикиньте, сколько часов реально нужно. Грубые ориентиры для LoRA-дообучения на одной карте:
| Задача | Карта | Датасет | Время | Стоимость (₽) |
|---|---|---|---|---|
| 7B LoRA, 5k примеров | RTX 4090 | 5k × 3 эпохи | 4–8 ч | 330–670 |
| 13B LoRA, 10k примеров | A100 80GB | 10k × 3 эпохи | 6–12 ч | 1300–2500 |
| 70B QLoRA, 5k примеров | A100 80GB | 5k × 2 эпохи | 12–24 ч | 2500–5000 |
| 7B full fine-tune, 50k | A100 80GB | 50k × 2 эпохи | 24–48 ч | 5000–10 000 |
Для full fine-tune больших моделей dedicated-сервер на месяц почти всегда дешевле почасовой аренды, даже если карта простаивает часть времени.
Снижаем VRAM без потери качества
Прежде чем переходить на более дорогую карту, попробуйте технику, которые сокращают потребление памяти:
- Gradient checkpointing — пересчитывает активации на backward pass вместо хранения. Экономит 30–50% VRAM за ~20% замедления.
- Mixed precision (BF16) — почти обязательно, экономит VRAM и ускоряет на Tensor Cores.
- Adam 8-bit (bitsandbytes) — состояния оптимизатора в 8-бит, экономит ~75% памяти под оптимизатор.
- Gradient accumulation — не уменьшает VRAM напрямую, но позволяет эмулировать большой batch при маленьком физическом.
- Packing / последовательности переменной длины — убирает padding, эффективнее использует каждый шаг.
Эти приёмы в сумме часто позволяют запустить full fine-tune 7B на одной A100 80GB вместо 2× A100 — это прямая экономия.
Частые ошибки
- OOM на втором шаге — оптимизатор инициализируется лениво, первый шаг проходит, второй падает. Проверяйте потребление памяти на третьем шаге, не на первом.
- FP16 loss diverge — используйте BF16 вместо FP16, особенно на больших моделях (Ampere и новее).
- LoRA rank слишком большой — rank 64+ съедает почти столько же, сколько full fine-tune, без преимущества в качестве. Достаточно rank 8–32.
- DataLoader без workers — GPU простаивает. Ставьте
num_workers=4–8, иначе training упирается в CPU. - Не проверили
nvidia-smiперед оплатой — иногда на сервере нет драйвера или карта занята другим процессом.
Почасовая или месячная аренда
- Почасовая — для LoRA-экспериментов, разовых прогонов, отладки гиперпараметров. Обычно хватает 2–6 часов на запуск.
- Месячная (dedicated) — для full fine-tune нескольких эпох, постоянного цикла экспериментов. Эквивалентная почасовая ставка в 2–3 раза ниже, чем в пуле.
У Selectel и immers.cloud есть оба формата. HOSTKEY — преимущественно dedicated на месяц.
Практические шаги
- Определите задачу: full fine-tune или LoRA/QLoRA.
- Посчитайте требуемый VRAM: для full ≈ 4× параметров, для QLoRA ≈ 1.2× параметров + adapter.
- Сравните наличие на A100 80GB, H100 80GB или RTX 4090.
- Для LoRA-экспериментов берите почасовую аренду — обычно хватает 2–6 часов.
- Для full fine-tune нескольких эпох — dedicated-сервер на месяц выгоднее.
- Включите gradient checkpointing и mixed precision (BF16) — это уменьшит VRAM в 1.5–2 раза почти бесплатно.
- Подпишитесь на алерт в Telegram — сообщим, когда нужная конфигурация появится в наличии.
Смежные гайды
- Аренда A100 — рабочая лошадка для обучения
- Аренда H100 — новейший ускоритель, быстрее A100
- GPU для LLM-инференса — если нужно не обучать, а запускать
- Многопоточный inference — batch и throughput для production