OpenLLaMA: An Open Reproduction of LLaMA. Полундра! Тут...

OpenLLaMA: An Open Reproduction of LLaMA

Полундра! Тут челы из университета Berkeley зарелизили полностью опен-соурсную репродукцию LLaMA 7B с лицензией Apache 2.0. Пока натренировали модель на 200 миллиардах токенов из датасета RedPajama, о котором я недавно рассказывал.

Чекпоинт, который доступен уже сейчас, выдает результаты на различных бенчмарках как минимум не хуже оригинальной LLaMA от Meta. И ребята продолжаю тренить, чтобы модель увидела хотя бы триллион различных токенов, как это было у оригинальной LLaMA. Ожидают, что когда полностью закончат тренировку на триллионе токенов из RedPajama, OpenLLaMA превзойдет оригинал.

Скачать веса на PyTorch и JAX

@ai_newz