Интересная статья и калькулятор расхода видеопамяти при использовании...

Интересная статья и калькулятор расхода видеопамяти при использовании разных LLM.

Cколько VRAM требуется GPU для обучения и файнтюна языковых моделей? Какие факторы влияют на потребление VRAM? Как оно меняется при различных настройках модели?

НЕ рассматриваются вопросы использования кванитизированных моделей и лор.

Статья: https://asmirnov.xyz/vram
Калькулятор: выбираете LLM и параметры, инференс или обучение и жмете кнопку посчитать.
https://vram.asmirnov.xyz/