А вот, собственно, и амбициозное предсказание умельцев из...

А вот, собственно, и амбициозное предсказание умельцев из Tesla касательно их мощностей для тренировки Foundational Models. Старт массового производства ускорителей Dojo намечен на июль 2023го, то есть уже вот-вот!

Также к концу 2024го Tesla хочет достичь мощностей 100 Exa-Flops. Много это или мало? Ну, человечество только вошло в экзафлопсную эру — самый мощный суперкомпьютер на данный момент (Frontier) обладает менее чем 2 экзафлопсами, то есть в 50 раз слабее (и запущен в мае 2022го, год назад). Правда можно взять другой бенчмарк, связанный с обучением AI (HPL-AI), и там Frontier выдает 8 экзафлопс (в 12 раз меньше сотни от Tesla). То есть оценивать можно по разному, и что мерили тут в Tesla и отображали на графике мы не знаем.

И теперь подумайте, что аналогичный план есть и у OpenAI, и что в 2025м мы увидим модель, которая посмотрела как минимум половину видео в интернете, и обучалась в 10 раз дольше GPT-4...