За пределами языковых моделей: Байтовые модели - симуляторы...

За пределами языковых моделей: Байтовые модели - симуляторы цифрового мира.
Ох ничего себе заявочка!

Идея простая, коль скоро у нас все оцифровано и валяется на серверах, компах и телефонах в цифре, то есть в байтах, то давайте будем пробовать предсказывать не следующее слово или вектор, а следующий байт!
Азиатский микрософт вкупе с китайской консерваторией замахнулись на то, чтобы засимулировать весь мир, коль скоро он уже все равно оцифрован.
Ловче всего у них получилось с переводом нотной записи в МИДИ и обратно. С текстом результаты на уровне GPT-2. С картинками - примерно на уровне пост диско дифьюжен.

Но сам подход!!

Если так пойдет, что ИИ будет писать или продолжать сразу экзешники или байт-код, а мы получим универсальный продолжатель ВСЕГО!

Одна проблемка - ресурсоемкая зараза.
https://byte-gpt.github.io/
Даже код для симуляции мира есть.
https://github.com/sanderwood/bgpt