Я уже

Я уже писал в канале, почему мне не так интересно участвовать в типовых соревнованиях по ML — мне больше нравятся новые челленджи, в которых можно научиться сразу большому количеству вещей. Вот тут я делал обзор задачек на ближайшие полгода, в которые было бы интересно вкатиться в рамках конференции NeurIPS.

А пару дней назад на Kaggle запустили "LLM Science Exam". Цель — обучить такую модель, которая из 5 предлагаемых вариантов ответа на какой-то вопрос выбирает 3 наиболее правильных с её точки зрения (в порядке корректности, то есть среди этих трёх всё равно хочется правильный ответ выдавать первым).

Интересно, что данные для этой задачи был созданы путем предоставления gpt3.5 фрагментов текста по ряду тем, взятых из Википедии, и просьбы написать вопрос с несколькими вариантами ответов (при этом ответ был в контексте). Конечно, процесс не был лишён шага ручной фильтрации, но вообще это же почти автоматический генератор данных для обучения схожих моделей. Вот, мол, абзац с Википедии, придумай вопрос, придумай правдоподобные ответы, проверь себя, что ничего не напутала. Повторить раза 3 эту цепочку — и можно нагенерировать десятки тысяч "задачек" для тестов.

Соответственно, авторы предлагают всего 200 размеченных примеров, чтобы дать общее представление о задаче и домене. Добыть остальные данные, обучить модель и даже обернуть её в контейнер, чтобы отправить на Kaggle - это уже задача участников соревнования. Можно где развернуться — и ускорять работу моделей, беря чекпоинты побольше и поумнее. Можно упороться по качеству данных для дообучения, используя GPT-4 и огромные базы знаний в интернете. Можно вспомнить про цепочки рассуждений и придумывать разные промпты. Можно обучать модель рассуждать от обратного, выбирая наиболее неправильные варианты. Возможностей очень много, и я рекомендую попробовать свои силы в этом соревновании тем, кому реально интересно заниматься LLM — это отличный шанс получить огромное количество знаний.

Из интересного — вам нужно отправить свою обученную модель, где она за 9 часов должна ответить на 4'000 вопросов. Не скажу, что у всех условия равны — если у вас есть 10 видеокарт дома, то вы всё равно сможете поставить больше экспериментов и получить модель получше, однако гэп из-за ресурсов сокращается.