AI21 от которых давненько ничего не слышали, выпустили...

AI21 от которых давненько ничего не слышали, выпустили гибрид трансформера и мамбы (https://t.me/gonzo_ML/2148) под названием Jamba (https://www.ai21.com/blog/announcing-jamba).

Окно контекста 256K, MoE SSM-Transformer гибрид. Модель под лицензией Apache 2.0

HF: https://huggingface.co/ai21labs/Jamba-v0.1

Уверен, скоро будут SSM гибриды и от других игроков.