Cerebras выпустил новую версию своей системы с гигантским...
Cerebras выпустил новую версию своей системы с гигантским чипом-вафлей, WSE-3.
Можно обучать модели до 24T параметров :)
https://www.cerebras.net/press-release/cerebras-announces-third-generation-wafer-scale-engine/
Key Specs:
* 4 trillion transistors
* 900,000 AI cores
* 125 petaflops of peak AI performance
* 44GB on-chip SRAM
* 5nm TSMC process
* External memory: 1.5TB, 12TB, or 1.2PB
* Trains AI models up to 24 trillion parameters
* Cluster size of up to 2048 CS-3 systems
Можно обучать модели до 24T параметров :)
https://www.cerebras.net/press-release/cerebras-announces-third-generation-wafer-scale-engine/
Key Specs:
* 4 trillion transistors
* 900,000 AI cores
* 125 petaflops of peak AI performance
* 44GB on-chip SRAM
* 5nm TSMC process
* External memory: 1.5TB, 12TB, or 1.2PB
* Trains AI models up to 24 trillion parameters
* Cluster size of up to 2048 CS-3 systems
Источник: gonzo-обзоры ML статей
2024-03-13 19:02:06