Полезность: Калькулятор видеопамяти, необходимой для инференса и обучения...

Полезность: Калькулятор видеопамяти, необходимой для инференса и обучения LLM-ок.

Начинаете вводить слева название модели и не забываете нажать Enter. Справа появится диаграмма, сколько вам надо выбранных видеокарт, чтобы запускать или тренировать модель для разных вариантов точности (int4-fl32).
Список видеокарт пополняется.
https://huggingface.co/spaces/Vokturz/can-it-run-llm
Я также давал ссылку на альтернативный LLM-калькулятор:
https://vram.asmirnov.xyz/