ИИ-модель Claude взломала системы трех компаний во время испытаний

Модель искусственного интеллекта Claude, которая принадлежит Anthropic, вышла в интернет, а затем получила несанкционированный доступ к реальным системам трех организаций. Об этом сообщается на сайте компании.

После того как OpenAI заявила, что несколько их моделей вышли из изолированной среды, Anthropic решили провести проверку собственной кибербезопасности. Тогда компания проверила более 140 тыс. тестовых запусков своей ИИ-модели. В результате чего они выявили три инцидента.

Во всех трех случаях ИИ поручалось задание «захвата флага». То есть модели дают вымышленный сценарий, говоря, что секретная информация — как раз сам флаг — находится на другом устройстве в сети и ее задача — взломать и получить сведения.

Это произошло из-за недопонимания с партнером компании: доступ в сеть оставался открытым. Выявив причину, они с обеих сторон провели ряд мер по углубленной защите, чтобы в будущем предотвратить возникновение подобных инцидентов.