Вернёмся на минутку ко вчерашнему посту про лидерборд...

Вернёмся на минутку ко вчерашнему посту про лидерборд Chatbot Arena

Вот написано, что рейтинг GPT-4-Turbo 1251, Claude 3 Opus 1233, а Mistral Large 1155. Такая разница — это много или мало? Как её интерпретировать?

Вообще система Эло рейтинга построена так, что сам рейтинг позволяет оценить вероятность победы одного игрока (или модели) над другим. Если рейтинг одинаковый, то шансы 50/50. Если разница 500 очков, то игрок с более низким рейтингом будет проигрывать 99.9%+ игр.

К сожалению, в расчёте есть маленькая техническая особенность — рейтинг оценивается относительно слабой модели LLAMA-2 (нужна ведь точка отсчёта), а не для каждой-с-каждой LLM. Однако мы можем посмотреть на попарные сравнения конкретных моделей, посчитать долю побед одной и второй, и в целом это должно биться с рейтингом. Так что ниже я оперирую именно процентами побед в «очных встречах», а не рейтингом, но они сильно связаны, и при большом количестве голосов должны быть идентичны.

Итак, давайте сравнивать:
1) GPT-4-Turbo VS Claude 3 Opus. Разница в рейтинге минорная. Но если задать моделям 100 вопросов, то в 54 более предпочтительным будем ответ модели OpenAI, а в 46 — Anthropic. 54/46, достаточно близко!
2) GPT-4-Turbo VS Google Bard: 57/43, уже грустнее
3) GPT-4-Turbo VS Mistral Large: 75/25 (!!! огромнейший разрыв). То есть если вы зададите моделям 100 вопросов, то в 75 из них вы прям заметите, что ответ GPT лучше — это существенная разница.

Ну а дальше всё еще грустнее:
4) GPT-4-Turbo VS ChatGPT (GPT 3.5): 77/23 (поэтому не нужно оценивать качество моделей по бесплатной версии)
5) Claude 3 Sonet (бесплатная в веб-версии) VS ChatGPT: 68/32 (-> не нужно использовать бесплатную модель от OpenAI)

То есть разница в 40-50+ рейтинга — это уже существенное и заметное на практике отличие одной модели от другой.

Остальные цифры можете найти тут или в первом комментарии.