Llama2.rs

Вы хотели запустить LLaMa2 70B на своем стареньком лэптопе? Ну, вот теперь можете.

Чел переписал Карпатовскую llama2.c на Rust, оптимизировал загрузку весов в память (memmap), реализовал Grouped Query Attention и добавил квантизацию.

70B LLaMa2, которая в обычной жизни влазит только в A100, теперь бегает на лаптопе! Кхм, ну как, бегает... скорее ходит. 5 токенов в минуту.

GitHub

@ai_newz