И вдогонку другой тип теста (

И вдогонку другой тип теста (источник). Там автор брал простые предложения в духе "Я Игорь и я из Екатеринбурга и у меня есть кот-бенгал" (см. тут). Но для 10 предложений из тысяч животное меняют на фрукт, а в конце просят назвать каждого выделяющегося. Поистине поиск иголки в стоге сена!

Соответственно, меняется длина контекста (но "иголок"-фруктов остаётся всегда 10) и замеряется качество модели. GPT-4-Turbo существенно уделывает 4-ку, однако тут качество просаживается гораздо сильнее — даже на 16000 токенов модель находит всего половину фруктолюбов (хотя старая модель теряла вообще 80%).

Интересно, в OpenAI изобрели новый тип аттеншен-механизма? 😱