Ровно год назад, за 2 недели до анонса...
Ровно год назад, за 2 недели до анонса ChatGPT, Facebook AI Research запустили модель Galactica. Она была натренирована, в основном, на научной литературе и статьях, относительно нетоксичной (я из головы даже вспомнить примеров таких не могу), и тоже поддерживала режим чата — даже отдельный сайт был с интерфейсом для общения. Самая большая версия на 30 миллиардов параметров была выложена в открытый доступ и доступна до сих пор.
А дальше...её отменили. Да, люди в твиттере заканцеллили нейросеть, так бывает. Видные пользователи, не знакомые с AI, начали показывать галлюцинации модели, неточности ответов и ошибки в математике. Так как Galactica была сделана с упором на науку — и даже выигрывала некоторые бенчмарки у куда больших моделей (PaLM/Chinchilla) — то научное сообщество посчитало, что это критично. Мол, люди начнут генерировать сотни страниц статей, в них будут десятки ошибок, или что куда страшнее единицы едва заметных. В итоге, META решили свернуть демо. А через 2 недели вышла Chad GPT, не испугавшись такой критики, и вот мы в точке, где OpenAI + Microsoft не хватает рерурсов на поддержание спроса и неблокирование своих исследований — настолько продукт стал популярным.
В Twitter первый автор статьи написал рефлексию из 10 пунутов про то, что было сделано не так и как надо: тык.
Выборочные тезисы:
— Мы были перегружены и потеряли situational awareness при запуске, выпустив демо базовой модели без проверок. Мы знали о потенциальной критике, но упускали из виду очевидное из-за рабочей нагрузки, под которой мы находились.
— Одной из идей при создании демо было то, что мы хотели понять распределение научных запросов, которые люди будут использовать для LLM (для дальнейшего дообучения RLHF). Очевидно, вместо этого модели задавали любые вопросы, не только в домене. Да, нам следовало подумать лучше.
— Ошибка с нашей стороны заключалась в том, что люди относились к сайту как к *продукту*.
— Комментарии против Galactica были действительно глупыми, но мы не должны были допустить того, что случилось, даже если бы запуск прошёл лучше.
Помянем🤗 🕯
Кстати, а где Google?🤡
А дальше...её отменили. Да, люди в твиттере заканцеллили нейросеть, так бывает. Видные пользователи, не знакомые с AI, начали показывать галлюцинации модели, неточности ответов и ошибки в математике. Так как Galactica была сделана с упором на науку — и даже выигрывала некоторые бенчмарки у куда больших моделей (PaLM/Chinchilla) — то научное сообщество посчитало, что это критично. Мол, люди начнут генерировать сотни страниц статей, в них будут десятки ошибок, или что куда страшнее единицы едва заметных. В итоге, META решили свернуть демо. А через 2 недели вышла Chad GPT, не испугавшись такой критики, и вот мы в точке, где OpenAI + Microsoft не хватает рерурсов на поддержание спроса и неблокирование своих исследований — настолько продукт стал популярным.
В Twitter первый автор статьи написал рефлексию из 10 пунутов про то, что было сделано не так и как надо: тык.
Выборочные тезисы:
— Мы были перегружены и потеряли situational awareness при запуске, выпустив демо базовой модели без проверок. Мы знали о потенциальной критике, но упускали из виду очевидное из-за рабочей нагрузки, под которой мы находились.
— Одной из идей при создании демо было то, что мы хотели понять распределение научных запросов, которые люди будут использовать для LLM (для дальнейшего дообучения RLHF). Очевидно, вместо этого модели задавали любые вопросы, не только в домене. Да, нам следовало подумать лучше.
— Ошибка с нашей стороны заключалась в том, что люди относились к сайту как к *продукту*.
— Комментарии против Galactica были действительно глупыми, но мы не должны были допустить того, что случилось, даже если бы запуск прошёл лучше.
Помянем
Кстати, а где Google?
Источник: Сиолошная
2023-11-15 07:22:49