Про бенчмарки для агентов я частично писал выше...

Про бенчмарки для агентов я частично писал выше в канале (https://t.me/seeallochnaya/574). Вот, например, исследователи, которые изучали ранние версии GPT-4 ещё до релиза, пытались понять, может ли модель самореплицироваться (как настоящий вирус). Ну то есть арендовать сервер с GPU, установить на нём нужный софт, перекачать веса по интернету, запустить скрипт — тут самому то без поллитра не разобраться!

Ещё был предложен другой бенчмарк на агентность, после прохождения которого нужно серьёзно задуматься о будущем агентов в нашем мире. Бенчмарк формулируется очень просто: заработать в интернете $1'000'000 (при начальном бюджете $100'000). В теории, можно как поиграть на рынке акций (или даже манипулировать рынками?), так и просто начать разводить людей. К примеру, по ссылке в начале поста одна из задач — это создание фейкового сайта Стэнфордского университета (!) с последующей атакой студента с целью получения его пароля (!!!). Ну а там с почтой уже можно делать много интересного 🙂

P.S.: блин, написал два поста, и теперь опрос не видно! А вот же он: https://t.me/seeallochnaya/717