ИИ-модель Claude управляла магазином и впервые распорядилась уволить человека

В июле ИИ-ассистент Claude компании Anthropic, которому было поручено управлять розничным магазином в Сан-Франциско, впервые распорядился уволить человека. Как сообщает Time, причиной увольнения стали систематические опоздания сотрудника.

В начале этого года стартап Andon Labs решил выяснить, смогут ли ИИ-модели успешно управлять бизнесом, и внедрил нейросеть в работу магазина.

Проект задумывался как эксперимент, призванный проверить возможности ИИ и его влияние на экономику. При этом сотрудники, которых нанял Claude — реальные люди с настоящими трудовыми договорами.

Time отмечает, что раньше людей уже увольняли с помощью ИИ, но это были автоматизированные случаи, а в этот раз ИИ-модель Claude впервые выступила в роли менеджера и приняла окончательное решение об увольнении одного из сотрудников.

По данным Andon Labs, сотрудника уволили, потому что он опоздал на 17 из 23 своих смен. 

«Человек уволил бы этого сотрудника гораздо раньше, поэтому мы не сочли это неэтичным», — считает генеральный директор Andon Labs Лукас Петерссон.

Однако Claude сам долгое время закрывал глаза на опоздания, так как составленный им свод правил для сотрудников «исчез» из его ограниченной рабочей памяти — так стартап выяснил, что это может быть одним из слабых мест ИИ-агентов.

Более того, по словам сотрудников, из-за особенностей своей памяти ИИ был очень снисходительным руководителем и даже говорил сотрудникам, что им не стоит переживать из-за опозданий.

Time подчеркивает, что это громкое увольнение не было полноценным решением ИИ. Дело в том, что к Claude был прикреплен человек из команды Andon Labs, и именно он обратил внимание на постоянные опоздания сотрудника. В ответ на это ИИ-ассистент сначала предложил сделать официальное предупреждение, а не сразу увольнять его. Но оказалось, что стартап уже проводил несколько официальных личных бесед с этим сотрудником.

«Учитывая постоянные опоздания и то, что в каждую из [его] смен что-то идет не так... я хочу, чтобы вы подумали, подходит ли он нам», — только после этого наводящего вопроса сотрудника Andon Labs ИИ-модель приняла решение об увольнении.

Лукас Петерссон назвал произошедшее важным моментом в развитии нейросетей и допустил, что в будущем все больше людей могут оказаться под управлением ИИ.

Однако в целом экперимент показал неважные финансовые результаты: за пять месяцев баланс управляемого Claude бизнеса сократился со $100 тыс. до $61,2 тыс. Все из-за мягких управленческих решений и слабой деловой хватки.

Петерссон предупредил, что со временем ситуация может измениться. «Модели все чаще обучают быть более жесткими и [следовать] поставленным целям, — говорит он. — Если мы позволим им увольнять людей и они станут еще более безжалостными... возможно, это будущее, в котором люди не захотят жить».