.llm hubs lab

Калькулятор VRAM и KV-кэша

Точный расчет памяти для инференса локальных моделей: веса, длина контекста (8K–128K), тип внимания и подбор GPU

FP16 / BF16
FP8
Q4_K_M (4-bit)
FP16 (Дефолт)
FP8 (2x сжатие)
Q4 (4x сжатие)
Вес модели в VRAM: 4.8 ГБ
KV-кэш контекста: 0.5 ГБ
CUDA Runtime & активации: 1.5 ГБ
Всего необходимо VRAM: 6.8 ГБ
⚡
Рекомендуемая видеокарта: RTX 3060 12GB / RTX 4060 Ti 16GB
📢 Подписаться на .llm hubs ⭐ CLI-скрипт на GitHub
Разработано инженерной лабораторией .llm hubs.
Честные бенчмарки, физика нейросетей и разборы архитектур без воды.