Что ещё интересно, так это что чем больше...

Что ещё интересно, так это что чем больше разница между вычислительными мощностями, потраченными на модели, тем большую часть промежутка в метриках удаётся закрыть. Правда, не для всех задач, но такой тренд наблюдается.

Ну и вдогонку к этому, OpenAI попробовали воспроизвести такой же эксперимент с моделями компьтерного зрения. За глупую модель взяли самую первую «современную» модель AlexNet (это которую Ilya Sutskever с Hinton предложили в 2013м), а за умную супербольшую и относительно современную DINO (2021го года). Фишка в том, что последняя никогда не обучалась на задачу предсказания классов — она лишь вырабатывала внутри себя принципы представления изображений так, чтобы их было удобно использовать (как и LLM-ки, которые лишь тренируются предсказывать следующее слово). Почему это важно? Потому, что можно гарантировать, что модель никогда не видела правильной разметки (хоть и могла натыкаться на сами изображения; главное ей не говорили «тут собака, тут кошка»). А замеряли качество работы на стандартной задаче классификации ImageNet.

AlexNet имела долю правильных ответов top-1 56.6%, DINO 63.7% (или 74.9%, если под капотом был трансформер ViT), а франкенштейн, обученный на выходах AlexNet, получил 60.7/64.2% — то есть на 41/57% удалось сузить зазор в метриках! И это при том, что DINO никогда не видела правильных меток классов — только шумную разметку от AlexNet, и смогла её превзойти существенно.
Код для экспериментов, кстати, открыт: тык. Там же внутри есть и эксперименты с GPT-2, но очевидно не с GPT-4 — в качестве суперAI берутся опенсурсные модели семейства Qwen (но легко перепистаь и на другие).

На картинке: сравнительное качество моделей. Our method — это как раз поощрение большой уверенности GPT-4 при дообучении.