🔥Microsoft анонсировал два новых кастомных AI чипа - Maia и Cobalt:
1️⃣Maia - это AI accelerator, разработанный специально для обучения и инференсаLLM, таких как GPT-3/4. Он был спроектирован совместно с OpenAI (к слову о нехватки серверов из предыдущего поста).
2️⃣ Cobalt - это CPU на базе ARM для общих облачных вычислительных, ну, и для того чтобы гонять LLM CPU все равно нужен. Он болеее экономичный по сравнению с традиционными x86 CPU.
3️⃣ Подробностей очень мало, но известно, что оба чипа изготавливаются по 5-нм техпроцессу TSMC [не самый свежий процесс, H100, например, использует 4-нм].
4️⃣ Новые чипы начнут развертывать в датацентрах Azure в 2024 году. Продавать их не планиуют. По той же схема как и с гугловскими TPU - можно будет только арендовать.
5️⃣В Maia примерно на 30% меньше транзисторов (105 млрд), по сравнению с GPU AMD MI300X (153 млрд).
6️⃣ Интересно, что Microsoft использует мощности TSMC, несмотря на дефицит и полную загрузку мощностей фабрик TSMC со стороны других крупных разработчиков чипов, таких как Apple, AMD, Intel и Nvidia. Это только подчеркивает уникальное положение TSMС на рынке чипов и, вероятно, его основное узкое место.
Количество конкуренции у NVIDIA возрастает с каждым месяцем. Все хотят контролировать технологию, начиная от собственных чипов и заканчивая своей собственной нейросетью. What a time to be alive 🤣
П.с. на картинках - живые серверные рэки с чипами Maia.