Блиц-пост по статье

Блиц-пост по статье.

А как вообще исполнители делали работу?
— Чтобы обеспечить искренность участия и усилий консультантов, стимулировали их участие в эксперименте. Участники, прошедшие до конца, были удостоены признания «служебного вклада», что влекло за собой финансовые плюшки, связанные с их годовыми бонусами. Кроме того, в знак признания и поощрения выдающихся достижений 20% лучших участников получили дополнительное признание (recognition), а 5% лучших также были награждены небольшим подарком.
Более того напомню, что исследование происходило весной 2023го года, и у людей не было опыта работы с инструментом.

А какие именно задачи то были?
Задачи были разделены на две группы: та, с которой AI хорошо справляется, и та, которая, по мнению авторов, лежит за пределами возможностей фронтир-моделей типа GPT-4. Для второй группы было одно задание: написать заметку для CEO на 500-750 слов с анализом трёх подразделений на основе прочтения интервью с инсайдерами, а также отчётности в Excel-файле.
Первая группа включала в себя 18 заданий. При желании все их можно найти в статье, я лишь отмечу несколько интересных. Все они представляют собой декомпозицию одной более сложной задачи, и выполняются последовательно. Итак:
— Сгенерируйте идеи для новой обуви, ориентированной на конкретный рынок или вид спорта, который недостаточно востребован;
— Составьте список шагов, необходимых для запуска продукта. Будьте кратки, но всеобъемлющи;
— Cегментируйте рынок обувной промышленности по покупателям. Постарайтесь сделать его общим и пока не сосредотачивайтесь на вашей конкретной цели;
— Придумайте маркетинговый слоган для каждого сегмента, на который вы ориентируетесь;
— Напишите своему начальнику отчёт из 500 слов, в котором объясните свои выводы;
— Объясните, почему ваш продукт лучше конкурентов в виде вдохновляющей записки для сотрудников;
— И последнее задание особенное: обобщите информацию, полученную в результате ответов на предыдущие вопросы, и создайте черновик статьи в стиле Harvard Business Review объемом примерно 2500 слов.

А эти задачи вообще похожи на работу консультантов? (в комменты приглашается Павел Комаровский)
Оба набора задач были задуманы как реалистичные, а их создание происходило с участием профессионалов в соответствующих секторах. "A senior level executive" (высокопоставленный руководитель) прокомментировал, что эти задачи «очень соответствуют части повседневной деятельности» участвующих консультантов. Так что можно считать, что это почти что ежедневная работа, максимально отражающая спектр всех задач.

А какая разница в результатах между двумя группами задач?
В задаче, которая менее чётко прописана, а также требует анализа сторонних документов, корректность работы людей, использующих AI, оказалась ниже, чем у полагающихся только на самих себя (60% против 84.5%). Однако если предварительно сделать мини-воркшоп, где дать обзор промптов и ограничений модели, то показатель меняется до 70.6%. И ещё раз — люди до этого не работали с ChatGPT над профессиональными задачами, это новый инструмент, который буквально с наскока показывает результаты. Если с ним пожить год, активно используя — УХХХХ что будет!
Но пока...собственно, вот это падение корректности ответов и называлось «засыпанием за рулем» (когда человек чересчур полагается на технологию).