И последняя на сегодня новость по LLAMA-3. Вечером...

И последняя на сегодня новость по LLAMA-3

Вечером пока читал, казалось, что где-то это видел, но потерял, и не стал без источника указывать. Сейчас наткнулся снова, понял, что это были не галлюцинации (я всё таки не LLM!).

Дообучение LLAMA-3 после этапа предтренировки производилось на 10M (!) вручную размеченных людьми примеров. Это ОЧЕНЬ много — я не видел ни одной работы по LLM, где было бы существенно больше 200 тысяч. Ну, миллион, ну, полтора, но не десять же!

Вообще в META любят подразметить — в паре предыдущих работ, особенно по картиночным моделям, тоже были немаленькие датасеты, прошедшие через людей.

Очень ждём появления LLAMA-3-70B-Instruct на LMSYS Arena, посмотрим на этого храброго воина!