Math Education With Large Language Models: Peril or Promise?

Для меня образование с применением LLM — один из самых интересных топиков в AI. При этом, как показал 2023й, широкое распространение больших языковых моделей вызывает у педагогов как страх, так и возбуждение. С одной стороны, существует опасение, что студенты будут перекладывать свою домашку на LLM, не изучая ничего самостоятельно. С другой стороны, есть надежда, что LLM могут служить масштабируемыми, персонализированными преподавателями. Про то, насколько большой прирост даёт именно персонализированное обучение, я писал ранее.

И вот свежая статья от иследователя из University of Toronto и ребят из Microsoft Research. Здесь проводится эксперимент с участием 1200 людей, чтобы выяснить, как объяснение на основе LLM влияет на обучение. Более конкртено, берутся задачи 4 типов, аналогичные тем, что встречаются в SAT (аналог ЕГЭ в Америке) по математике. Это задачи с выбором ответа из четырёх опций, то есть самый простой вариант.

На первом этапе эксперимента авторы давали участникам 2 "practice" задачи (аналог домашней самоподготовки) и изменяли два ключевых фактора:
— видят ли они ответ до того, как отправляют свой (велик соблазн просто ответ вставить и не думать, "да там и так ясно");
— что показывали в качестве решения: ничего, краткое объяснение решения или детальное пояснение с рассказом общей формы решения задачи.

После этого тестируемые отвлекались на одну минуту (играли в змейку в браузере (не шутка)), а затем решали 2 схожие задачи, по которым и оценивался эффект.

Промпт для детального объяснения GPT-хой в первом комментарии.

Итак, что же обнаружили авторы?