А получился вот такой график результатов

А получился вот такой график результатов. Я сначала не понял, почему синяя линия имеет обратную тенденцию, но это логично: те, кто видел ответы, не прилагал усилий к пониманию задачи, и сразу их выбирал. Правда кто-то тыкал наугад, поэтому качество не 100%.

Что нужно заметить:
— если не было объяснения от ChatGPT (левая часть, Answer Only), то те, кто видел ответ, и те, кто решал самостоятельно, имеют одинаковое качество. Плюс минус логично, задачки не из квантовой физики, а школьные.
— те, кому давали и ответ, и детальное объяснение сразу (синяя линия на правой трети), стали чуть лучше, чем те, кто видел просто ответы (слева).
— самый большой и главный эффект: те, кто получал объяснение от LLM в любом виде, и при этом попытался решить задачу самостоятельно без готового ответа, существенно улучшили свои показатели: с 53% до 69% правильных ответов. По-хорошему, конечно, стоит перепроверить ещё через недельку, что там запомнилось.

Чего не хватило мне — это более широкого анализа долгосрочного эффекта (хотя бы через час/в конце дня), а также большего разнобразия задач. 4 типа проблем из SAT по математике — не настолько богатая выборка, чтобы делать общие выводы, though, я не сомневаюсь, что эффект от LLM будет везде. Особенно если у студента есть желание. И последнее — не было анализа того, как часто ChatGPT генерировала ошибочные решения, и как это влияло на просадку навыка "учащегося".

Помню, в комментариях подписчик писал, что делает бесплатную плафторму подготовки к ЕГЭ с ChatGPT, вот собственно разбор для него :)