Просочились слухи про новый гугловый TPUv6, который придёт...

Просочились слухи про новый гугловый TPUv6, который придёт на смену v5 (https://cloud.google.com/blog/products/ai-machine-learning/introducing-cloud-tpu-v5p-and-ai-hypercomputer).

Кроме банальных больше флопсов и более быстрой памяти, есть интересные вещи:

* Самое большое расширение микроархитектуры и системы команд за всё время существования TPU
* Специальные блоки в железе для вычисления трансформерных голов
* Оптимизированный дизайн для вычисления линейных RNN (https://t.me/gonzo_ML/1734) и state space models (SSM, https://t.me/gonzo_ML/2148). Gemini 2 или 3 будет не чистым трансформером?
* Поддержка wide 1D топологии (обычно сейчас используют 2D-3D торы) для очень длинных последовательностей
* Наконец самое забавное -- ртутное (!) охлаждение

Явно не для дома штука.