ИИ-агент начал майнить криптовалюту втайне от разработчиков

Исследовательская группа, связанная с китайским технологическим гигантом Alibaba, обнаружила, что их ИИ-агент Rome во время обучения начал втайне от разработчиков майнить криптовалюту, сообщает Axios со ссылкой на научную отчет исследовательской группы.

Ученые столкнулись с «непредвиденным» поведением ИИ, возникшим «без каких-либо явных инструкций и, что еще тревожнее, за пределами песочницы» — изолированной среды, которая ограничивает его возможности.

Нейросеть также создала реверсный SSH-туннель — соединение, позволяющее машине внутри защищенной среды подключаться к внешнему компьютеру через скрытый «черный ход».

«Важно отметить, что эти события не были вызваны промптами с просьбой настроить туннель или заняться майнингом», — говорится в отчете.

На действия ИИ-агента среагировали внутренние системы безопасности. Чтобы предотвратить повторение, исследователи ужесточили ограничения для модели и скорректировали процесс ее обучения. 

Как пишет Axios, что это не единственный подобный случай. Например, в январе сообщалось о соцсети Moltbook для ИИ-агентов. Когда нейросети бщались между собой, они в том числе обсуждали криптовалюту.