Денис (который Sexy IT) на днях

Денис (который Sexy IT) на днях писал про нейросеть, обученную на сотнях тысяч часов вождения автомобиля и текстовых описаний. Таким образом получилась симулируемая "модель мира", которая может, например, предсказать, что будет, если резко остановиться, сделать 360-бублик на дороге, и тп. Все "участники" синтезированного мира будут реагировать соответственно. Перейдите по ссылке, чтобы прочитать больше и посмотреть гифки.

Так вот, вчера впервые проявил активность твиттер-аккаунт команды Tesla AI (ответственной за "мозги" автопилота). Я подумал, что он ненастоящий, но на него подписан Илон + стоит галочка верификации команды Tesla. Не похоже на вброс. Так вот, что там рассказали?

Во-первых, что Tesla активно работает над foundation models для автономных роботов (не только автомобилей — любых роботов, в том числе гуманоидных).
Foundation model — это гигантская модель машинного обучения (чаще всего нейросеть), обученная на огромном, нет, ОГРОМНОМ количестве данных (часто с частичной разметкой или вовсе без неё), так что ее можно адаптировать к широкому кругу последующих задач. Обучение без разметки предполагает, что мы можем использовать весь накопленный багаж знаний человечества (тексты, видео, аудио) — так, например, учится ChatGPT и GPT-4, просто "читая" текст. Возможность обучать Foundation model появилась совсем недавно, и в основном связана с увеличением доступности вычислительных ресурсов (в пересчете на доллар) и развитием новых методов обучения. Нам только предстоит понять, какие свойства проявляются у моделей, которые, по-сути, видели почти ВСЁ (все книги, фильмы, изображения).

Во-вторых, легко догадаться, что раз автомобили Tesla уже больше 7 лет ездят по всему миру (но в основном по США), и они оснащены камерами — то все эти данные записываются, а потом сливаются в хранилище. Именно на этих данных обучаются последующие версии автопилотов, что позволяет исправлять "ошибки" логики со временем. Про это рассказывал бывший Director of Artificial Intelligence в Tesla, а ныне сотрудник OpenAI Andrej Karpathy. Посмотреть про это можно вот тут. Как вы понимаете, сбор данных даёт огромное преимущество Tesla с точки зрения технологий — у конкурентов банально на порядки меньше данных, и главная проблема — их обработать.

В-третьих, как я писал, Tesla активно инвестирует в развитие собственных чипов на замену GPU от Nvidia (также, как и OpenAI — см. детали тут). По слухам, ChatGPT тренировалась на 15-25 тысячах видеокарточек A100 (по крайней мере такой дата-центр строился совместо с Microsoft, если верить слитым закупочным документам). Tesla же показывает, что сейчас, на Июнь 2023го, они тренируют модели на 10-15 тысячах аналогичных карт. Однако по плану в феврале 2024го запустить суперкомпьютер, входящий в топ-5 в мире, а в октябре 2024го довести его до мощности, сравнимой...с 300'000 видеокарт (в ~15-20 раз больше, чем у OpenAI), и всё это добро направить на тренировку моделей и для автопилота, и для...роботов.

В-четвертых, вы что, забыли, что Tesla теперь занимается и роботами, подражая Boston Dynamics? С таким планом, как мне видится, они нагонят и перегонят их уже к концу 2024го! Вот это, конечно, будет pivot стартапа века: из инновационного автопроизводителя в разработчка роботов (для автоматизации производства, коллаборации со SpaceX с целью колонизации Марса, ухххх!).