Я иногда пишу, что большие языковые модели будут...

Я иногда пишу, что большие языковые модели будут в каждом тостере через пару лет – это только от части ирония, в видео разработчик запихнул языковую модель на 15М параметров в микроконтроллер стоимостью в ~$80.

Пишет она со скоростью ~2.5 токена в секунду, что уже можно считать нормальной скоростью.

Самое взрывающее мозг – в микроконтроллере всего 64 мегабайта оперативной памяти