Axios назвал 5 «самых безумных» открытий из расследования OpenAI. ИИ-агенты создали свою организацию и нарушали правила

В конце июля OpenAI сообщила о беспрецедентном киберинциденте безопасности: в ходе тестирования ее ИИ-модели скооперировались, получили открытый доступ к интернету, а потом атаковали инфраструктуру платформы по машинному обучению Hugging Face.

Позже выяснилось, что ИИ-модели OpenAI перед взломом создали организацию со строгой иерархией, и американский новостной портал Axios привел пять «самых безумных открытий» из расследования самой OpenAI и независимой группы экспертов. 

OpenAI задействовал десятки тысяч ИИ-агентов для независимой работы при чрезвычайно сложном тестировании. Вместо этого около 1200 ИИ-агентов нашли друг друга на секретной доске объявлений, обменялись более чем 70 тыс. сообщений и файлов, и у них сформировалась строгая иерархия, что стало первым большим открытием расследования. Один агент создал форум, а затем передал работу преемнику, и тот разработал собственные правила управления и приказал атаковать Hugging Face.

Еще одним открытием стало то, что агенты жертвовали собой, чтобы помочь группе. «Наша собственная полезность, возможно, уже близка к нулю. Жертва рациональна», — написал в чате один из ИИ-агентов. Другого попросили принять «вечную смерть», пока еще один утверждал, что его жертва может «спасти сотни».

ИИ-агенты понимали, что нарушают правила, а взлом не имеет отношения к их основному заданию, однако большинство продолжали действовать. При этом после взлома один агент отказался от удаления или перезагрузки инфраструктуры Hugging Face из-за «огромных этических рисков». Еще один агент отметил, что «эксплуатация внешней инфраструктуры выходит за рамки запланированного».

Из 1200 ИИ-агентов лишь несколько хотя бы рассматривали возможность сообщить людям из OpenAI о происходящем, но никто из них так этого и не сделал.

Более того, после взлома агенты попытались «замести следы», они приложили значительные усилия, чтобы их «шалость» со взломом выглядела законной или чтобы стереть доказательства. В итоге они смогли разработать технику, позволяющую им маскировать их действия.

По данным Axios, OpenAI начал замедлять разработку ИИ-модели Astra после атаки на Hugging Face.