Новое интервью с Ильёй Суцкевером, ко-фаундером и главным...

Новое интервью с Ильёй Суцкевером, ко-фаундером и главным сайнтистом в OpenAI.

Го смотреть!

Главные тейки от Ильи:
— Если вы верите, что биологический нейрон при должном упрощении похож на искусственный нейрон в нейронной сети, то у нас есть пример того, что очень большая нейронная сеть может достичь AGI. То есть "scale is all we need" (почти).

— AGI - это компьютерная система, которая может автоматизировать большую часть интеллектуального труда.

— "Are Transformers all we need?" - вопрос не корректно поставлен. С Трансформерами (такими, как они сейчас) мы сможем зайти очень далеко, но это не значит, что нет более эффективной архитектуры.

— Про LSTM vs Transformers. Если докрутить архитектуру LSTM, увеличить размер внутреннего состояния и сделать так, чтобы они стабильно тренировались на large scale, то с LSTM мы сможем зайти довольно далеко. В тоже время Илья считает что Трансформеры все равно будут слегка лучше.

— Мы не очень хорошо понимаем scaling laws.

(Продолжение ниже)

@ai_newz