NVIDIA продемонстрировала ускорение локальных LLM на 50% без смены GPU

В рамках воркшопа NVIDIA GTC Berlin 2026 участники смогли существенно повысить производительность языковой модели Qwen3-32B. Скорость генерации токенов увеличилась с 16,4 до 24,5 токена в секунду, что составило прирост около 50%. Для достижения такого результата была применена квантизация модели с использованием формата FP8 (8-битная плавающая точка) вместо BF16 (16-битная Brain Floating Point).

Эксперимент проводился на кластере Kubernetes, состоящем из четырех графических ускорителей NVIDIA A100 с 80 ГБ памяти каждый. Каждый участник воркшопа имел доступ к собственной выделенной среде, где мог разворачивать модели, изменять их конфигурацию и замерять производительность. Это позволило наглядно продемонстрировать эффект от оптимизации.