К сожалению, увидел только сейчас:

К сожалению, увидел только сейчас: Neel Nanda, ведущий исследователь в DeepMind, ищет себе студентов на программу по mechanistic interpretability. Это один из самых горячих топиков, в рамках него исследователи пытаются понять, как учится трансформер, что именно он понимает, как работают отдельные механизмы. Вы наверняка слышали, что нейронки — это чёрные ящики, которые мы не понимаем, и вот потихонечку это перестаёт быть правдой на 100%.

Область находится на очень раннем этапе развития, в ней всё ещё много низковисящих фруктов. Если вы уже знаете, что такое трансформер и как примерно он работает, то можете полистать вот эту страницу, чтобы понять, что вообще происходит. У самого Neel крутые видео на YouTube, но я всего лишь парочку успел посмотреть.

Программа состоит из 3 этапов:
— 3 недели обучения
— 2 недели зачаточной работы над исследованиями
— и, если всё срастается, 10 недель работы один-на-один над каким-то конкретным исследованием (с возможным продолжением и ведением до публикации). Несколько прошлых студентов по итогам закинули статью на тир-1 конференции. Эта часть может проходить в Berkeley, но возможно и удалённо, так что никаких ограничений нет.

Набор открылся недели 2-3 назад, и заканчивается 12-го апреля. Помимо короткой анкетки нужно сделать собственный проект (список тем есть в документе ниже) по интерпретируемости, например, воспроизведя одну работу в рамках другой модели с нахождением новых свойств. На проект стоит выделить 10-16 часов, но это не включая самообучение по доступным материалам, чтобы вкатиться. Так что реалистично часов 30-35. Нужно будет послать док с заметками + Colab-ноутбук для воспроизведения.

У меня в ближайшие 2 недели к БОЛЬШОМУ сожалению столько времени нет, но хочу верить, что кто-то увидит этот пост, попробует себя и попадёт на обучение. Желаю всем удачи!

Почитать подробнее: тут. Здесь же и ссылки на работы прошлых студентов, и на предлагаемые к изучению и подготовке материалы.

Бонус: ссылка с курсом, чтобы начать (оказывается, даже не нужно знать про трансформер!)