Ну и вдогонку темы предлагаю к ознакомлению статью...
Ну и вдогонку темы предлагаю к ознакомлению статью исследователей из UC Berkeley с интересным названием "Why Johnny Can’t Prompt: How Non-AI Experts Try (and Fail) to Design LLM Prompts". Всем заинтересованным рекомендую к прочтению.
Основные тезисы (на основе анализа взаимодествия 10 пользователей и ChatGPT):
1) Неопытные (с т.з. "общения" с языковыми моделями) люди предполагают, что промпт, который работает в одном случае, будет работать и во всех других случаях
2) Также они верят, что если ChatGPT не делает что-то с первого раза, то оно и не может этого сделать в принципе
3) У этой же группы людей наблюдается отсутствие систематических тестирования и экспериментов
4) Сама ChatGPT в целом неплохо справляется с "подсказыванием" направления движения в правильную сторону. Если не стесняться спрашивать, то можно итеративно достичь цели
5) Касательно написания и детализации промптов — люди исследования ожидали, что простые промпты с описанием желаемого действия должны быть «поняты», а модель будет им следовать. То есть у людей есть ожидание, что модель есть буквально AGI, читающий мысли и угадывающий желания.
6) Участники ожидали, что семантически эквивалентные инструкции будут иметь семантически эквивалентные результаты, тогда как на самом деле тривиальные модификации в промпте могут привести к драматическим сдвигам в ответах модели.
На картинке — сравнение понимания группами людей (эксперты и не-эксперты) разных деталей работы в мире программирования и машинного обучения. Показывается, что у эксперта фактичсеки в каждом пункте есть отличие, дающее скорее качественную разницу. И странно, что люди не берут это в рассчет при оценивании навыков больших языковых моделей — мол, я уже эксперт, у меня всё и так бы заработало, если бы модель была умной!
TLDR: используйте GPT-4 (купите подписку уже, наконец), практикуйтесь, ищите чужие промпты и пытайтесь понять, что работает, а что нет. Начать можно с объемнейшего промпта, который предлагает модели примерить роль "учителя" — я про него писал вот тут.
Основные тезисы (на основе анализа взаимодествия 10 пользователей и ChatGPT):
1) Неопытные (с т.з. "общения" с языковыми моделями) люди предполагают, что промпт, который работает в одном случае, будет работать и во всех других случаях
2) Также они верят, что если ChatGPT не делает что-то с первого раза, то оно и не может этого сделать в принципе
3) У этой же группы людей наблюдается отсутствие систематических тестирования и экспериментов
4) Сама ChatGPT в целом неплохо справляется с "подсказыванием" направления движения в правильную сторону. Если не стесняться спрашивать, то можно итеративно достичь цели
5) Касательно написания и детализации промптов — люди исследования ожидали, что простые промпты с описанием желаемого действия должны быть «поняты», а модель будет им следовать. То есть у людей есть ожидание, что модель есть буквально AGI, читающий мысли и угадывающий желания.
6) Участники ожидали, что семантически эквивалентные инструкции будут иметь семантически эквивалентные результаты, тогда как на самом деле тривиальные модификации в промпте могут привести к драматическим сдвигам в ответах модели.
На картинке — сравнение понимания группами людей (эксперты и не-эксперты) разных деталей работы в мире программирования и машинного обучения. Показывается, что у эксперта фактичсеки в каждом пункте есть отличие, дающее скорее качественную разницу. И странно, что люди не берут это в рассчет при оценивании навыков больших языковых моделей — мол, я уже эксперт, у меня всё и так бы заработало, если бы модель была умной!
TLDR: используйте GPT-4 (купите подписку уже, наконец), практикуйтесь, ищите чужие промпты и пытайтесь понять, что работает, а что нет. Начать можно с объемнейшего промпта, который предлагает модели примерить роль "учителя" — я про него писал вот тут.
Источник: Сиолошная
2023-06-24 16:25:30