Да шучу я) Пока Маск ищет виновных — мы...

Да шучу я) Пока Маск ищет виновных — мы продолжаем!

Если верить последним документам Nvidia, то они планируют отгружать (производить + продавать) по 200'000 видеокарт H100 в квартал. То есть таких кластеров, как хотят сделать в Inflection.AI из поста выше, можно будет делать почти по 10 штук. Хотя есть новость от Oracle, что они будут тратить "миллиарды" долларов на GPU от Nvidia...В ЭТОМ ГОДУ, в 2023м. Если брать по нижней планке, то это 2 миллиарда, или 80 тысяч карт для своих датацентров. Я даже затрудняюсь сказать, что можно тренировать на таких объемах...

Давайте пофантазируем — на что будут тратиться ресурсы? Тренировка ещё бОльших моделей? Навалят кучу данных, не только текста, но и видео, спарсив весь YouTube? Или просто хотят обслуживать запросы пользователей, и разворачивать инференс моделей?

Посмотрел два видео (раз, два, спасибо @bogdanisssimo за ссылки) Ilya Sutskever, ко-фаундера OpenAI, и он достаточно уклончиво отвечает на вопросы про данные. Общий посыл таков, что пока есть куда расширяться, и несколько лет мы (они) будем избегать проблемы исчерпаемости интернета.

P.S.: 200 тысяч видеокарт H100 дают производительность в операциях двойной точности примерно в 2 раза выше, чем все суперкомпьютеры рейтинга Top-500 вместе взятые (500 самых мощных, как можно догадаться по названию). И человечество может просто за квартал р-р-р-раз! и умножить цифру на три.

P.P.S.: помимо этого напомню, что и OpenAI (пруф), и Google (пруф), и Tesla (пруф) думают над своими чипами для ускорения работы нейросетей, чтобы не зависеть от общего рынка и одного поставщика (Nvidia).

Короче, как сказал один умный человек: "мы еще находимся на очень ранней стадии развития LLM-ок". Давать прогнозы по тому, чего они смогут, чему научатся, а что пойдет в разрез с принципом их устройства — дело почти бесполезное. Представьте, что через 2 года у нас будет 2-3 разных модели, каждая из которых в 10 раз больше GPT-4, или тренировалась в 10 раз дольше, ещё и на всех видео.