Вот такие метрики
Вот такие метрики. Первые 4 строчки - это открытые модели, включая хайповую LLAMA. Ну и цифра, соответственно, доля решенных задач: 0.48 = 48%
FS - это как раз Few-Shot, когда среди 90% вопросов мы превентивно находим максимально похожие и добавляем в промпт как примеры, чтобы она "научилась"
CoT - это фраза "let's think step by step"
Self-critique - это итеравно просить найти и исправить ошибки
ну и Experts, как написано выше, добавление еще одной волшебной фразы
FS - это как раз Few-Shot, когда среди 90% вопросов мы превентивно находим максимально похожие и добавляем в промпт как примеры, чтобы она "научилась"
CoT - это фраза "let's think step by step"
Self-critique - это итеравно просить найти и исправить ошибки
ну и Experts, как написано выше, добавление еще одной волшебной фразы
Источник: Сиолошная
2023-06-17 19:41:50