Для того, чтобы обучить модель, был введен общий...

Для того, чтобы обучить модель, был введен общий формат для каждого этапа: он включает в себя некоторое состояние (файл кода), некоторое намерение или описание (аннотации, характерные для действия, такие как комментарии или ошибки компилятора) и финальное действие (операцию, предпринятую для решения задачи). В Google для этого даже отдельный язык программирования забабахали, DevScript.

Собственно, предсказывая действия, которые люди предпринимают, можно и оптимизировать их работу. Более того, Google хвастается, что если брать большую языковую модель для дообучения и задать ей специальный промпт, передав туда историю последних действий с файлом, то модель предскажет, какие потенциальные намерения могут быть дальше (называется "history-augmented code completion"). На приложенной GIF'ке можно увидеть последовательный процесс работы над файлом как раз.

Жаль, что в статье не упоминаются никакие цифры по улучшению эффективности работы, однако пишут, что проводились эксперименты на тысячах разработчиков Google, и результаты очень впечатляют и воодушевляют на будущую работу. Более того, как я понял, этап тестирования закончился, и теперь фичи используются разработчиками Google каждый день во всех командах (ну, по крайней мере доступна такая возможность, выбор инструментов остаётся за инженерами).

Ждём какой-нибудь обзор внутренних инструментов от OpenAI, где они расскажут, ну не знаю, что у них теперь AI составляет план исследования и сам проверяет гипотезы...


Best prompt for the DIDACT model: propose comments and changes for this code like if you were Jeff Dean