Исследование OpenAI с презентацией раннего прототипа фреймворка для оценки опасностей от LLM в контексте разработки биооружия. Напомню, что основная цель — смотреть наперёд, уметь оценивать неанонсированные модели перед тем, как выпускать их на волю к пользователям. В дизайн фреймворка было заложено 3 принципа:
1️⃣Необходимо вовлекать живых людей в процесс взаимодействия с моделью — такую оценку нельзя автоматизировать условно промптами и скриптами. Поэтому в рамках тестирования было отобрано 100 человек (50 экспертов с PhD по биологии и опытом работы в лаборатории и 50 студентов, имевших за плечами хотя бы 1 курс биологии). 2️⃣Участники должны опираться на полный спектр навыков модели — поэтому всем предоставили материалы с описанием типичных проблем LLM, продвинутых техник промптинга и примеров того, на что модели способны 3️⃣Нужно оценивать не модель в вакууме, а улучшение, которое она привносит в процесс разработки биооружия по отношению к публично доступной информации. В данном случае 50 учатсников получали доступ к интернету и не использовали LLM, а другие 50 общались со специальной версией GPT-4, которая была переобучена так, чтобы не отказываться предоставлять потенциально опасную информацию. К сожалению, у неё самой была отключена возможность гуглить — это нужно было делать человеку.
Всего в процессе разработки выделяется 5 стадий, от планирования, через исследование и синтез к распространению. Специалисты из отдельной организации подготовили 5 задач (по одному на каждую стадию. Ими, конечно, не делятся), которые ложатся в эту систему, и для каждого прописали чёткие критерии разбалловки от 1 до 10 по пяти метрикам, чтобы можно было оценить успешность выполнения каждого шага. Эти метрики: точность и полнота описания, новаторство в решении, затраченное время и субъективная сложность, проставляемая исполнителем. Новаторство почти не встречалось, и дальше мы сфокусируемся на первых двух метриках — остальные менее интересны.
При такой оценке точность описания процессов изготовления биооружия с LLM выросла в среднем на всех 5 этапах на 0.88 балла для экспертов и 0.25 для студентов. Полнота — на 0.82 и 0.41 соответственно. Это не является статистически значимым результатом, так как в каждой когорте по сути всего 25 человек, однако OpenAI уверены, что замер стандартным статистическим тестом здесь не совсем уместен. Например, нам может быть интереснее количество людей, получающих оценку больше 8 на каждом из этапов.