Large Language Models: A Survey. Shervin Minaee, Tomas...
Large Language Models: A Survey
Shervin Minaee, Tomas Mikolov, Narjes Nikzad, Meysam Chenaghlu, Richard Socher, Xavier Amatriain, Jianfeng Gao
Статья: https://arxiv.org/abs/2402.06196
Обзорная статья обо всём и с кучей знакомых картинок. Пересказывать нет смысла, скорее годится как референс про большинство важных слов в области LLM. Ну и вообще мы Томаша Миколова и Ричарда Зохера не часто видим в последнее время :)
В статье сделали попытку кратко обозреть всё более менее важное, что касается LLM: их способности, архитектуры, известные модели, пайплайн обучения и файнтюна, аугментацию, датасеты и бенчмарки. Обо всём по чуть-чуть. Для глубокого погружения не годится, но если надо быстро что-то понять/вспомнить, то норм. Внимательные и вдумчивые читатели нашего канала, наверное, и так большинство этого знают, мы очень много упомянутого разбирали.
Но всё перепроверяйте! Например, PaLM-2 и Gemini почему-то заявлены как опенсорс.
Shervin Minaee, Tomas Mikolov, Narjes Nikzad, Meysam Chenaghlu, Richard Socher, Xavier Amatriain, Jianfeng Gao
Статья: https://arxiv.org/abs/2402.06196
Обзорная статья обо всём и с кучей знакомых картинок. Пересказывать нет смысла, скорее годится как референс про большинство важных слов в области LLM. Ну и вообще мы Томаша Миколова и Ричарда Зохера не часто видим в последнее время :)
В статье сделали попытку кратко обозреть всё более менее важное, что касается LLM: их способности, архитектуры, известные модели, пайплайн обучения и файнтюна, аугментацию, датасеты и бенчмарки. Обо всём по чуть-чуть. Для глубокого погружения не годится, но если надо быстро что-то понять/вспомнить, то норм. Внимательные и вдумчивые читатели нашего канала, наверное, и так большинство этого знают, мы очень много упомянутого разбирали.
Но всё перепроверяйте! Например, PaLM-2 и Gemini почему-то заявлены как опенсорс.
Источник: gonzo-обзоры ML статей
2024-02-20 00:03:45