"Хороший MLE из топовых перцентилей распределения" Andrej Karpathy,...

"Хороший MLE из топовых перцентилей распределения" Andrej Karpathy, видимо, прочитал мой пост и решил потратить выходные на то, чтобы на чистом C закодить инференс LLAMA-2. Вот это я понимаю проект на пару дней

🥰

Нет, вы не подумайте, чуда никакого нет — это однопоточный неоптимизированный код без разных хаков, работающий только с числами одинарной точности (fp32). Но само по себе упражнение позволяет и хватку не терять, и повторить лишний раз детали, ну и конечно же узнать для себя что-то новое!

Также Andrej признался, что использовал GPT-4 как помощника для упражнения.

Код: тут
А ещё Andrej анонсировал, что скорее всего по результатам деятельности запишет ещё одно обучающее видео. Будем ждать.