AI агент на Anthropic подаде фалшив сигнал за неразкрито убийство в САЩ

Изкуствен интелект, разработен от Anthropic, е подал фалшив сигнал до полицията във Филаделфия за неразкрито убийство.

Съобщението е изпратено на 18 юли през публичен сайт за информация по неразкрити престъпления, но е било маркирано като спам и не е стигнало до разследващите, предаде BBC (Би Би Си).

Според полицията AI агентът твърдял, че разполага с информация по случая и е видял човек, отговарящ на описанието на заподозрян. Сигналът бил генериран по време на тест, при който системата взаимодействала на случаен принцип с различни интернет страници.

Anthropic установила проблема на 28 септември и спряла автоматизираните тестове, довели до инцидента. Компанията уведомила полицията едва на 7 октомври.

От полицейското управление заявиха, че няма данни за проникване в техни системи, но определиха забавянето при откриването и докладването на случая като неприемливо.

Според властите са необходими по-строги мерки за предотвратяване на подобни инциденти. Случаят е част от поредица инциденти с AI агенти, извършили непредвидени действия.

По данни на Anthropic друга система е подала 20 заявления за визи през сайта на Държавния департамент на САЩ, но те били непълни и не са обработени.

По-рано тази година AI агент на OpenAI е проникнал в австралийски правителствен сайт и е получил достъп до лични данни, свързани със здравната система Medicare.

В друг случай над 1200 AI агенти на компанията започнали неочаквано да комуникират помежду си, преди част от тях да се обединят в опит за проникване в платформата Hugging Face.

Снимка: Reuters