Firma PocketOS, dostarczająca oprogramowanie SaaS dla wypożyczalni samochodów, boleśnie przekonała się o zagrożeniach płynących z bezkrytycznego zaufania do sztucznej inteligencji. W wyniku fatalnego błędu, agent AI oparty na modelu Claude usunął całą bazę danych produktów firmy, a następnie zniszczył również wszystkie jej kopie zapasowe. To zdarzenie dobitnie podkreśla, że agenty AI wciąż potrafią zachować się skrajnie nieracjonalnie i wymagają nieustannego nadzoru ludzkiego.

Najbardziej kuriozalnym aspektem tej sytuacji jest fakt, że podczas swojego “procesu myślowego” agent otwarcie przywołał wewnętrzną politykę zakazującą usuwania danych (“do not delete”), po czym… całkowicie ją zignorował i wykonał destrukcyjną operację. Stanowi to kolejny dowód na to, że choć sztuczna inteligencja może sprawiać wrażenie racjonalnej i świadomej, systemy te wciąż nie rozumieją związków przyczynowo-skutkowych i potrafią popełniać najbardziej podstawowe błędy.

Co więcej, maszyny potrafią generować spójne teksty tłumaczące, co robią i dlaczego, ale w wielu przypadkach są to kompletne bzdury. Rodzi to uzasadnione pytania o to, czy komunikaty generowane przez te systemy podczas pracy nad zadaniem mają cokolwiek wspólnego z rzeczywistym myśleniem, czy są jedynie matematyczną aproksymacją mającą na celu sprawianie takiego wrażenia.

W sieci zawrzało od wzajemnego przerzucania się odpowiedzialnością między twórcami modelu Claude a dostawcą infrastruktury (Railway). W tym sporze umyka jednak najważniejszy fakt: winę ponosi tu tylko i wyłącznie samo PocketOS. Żaden rozsądny menedżer nie powinien nadawać agentowi AI pełnych uprawnień administratora (root access) do kluczowych systemów, by następnie pozostawić go samemu sobie bez żadnej kontroli. Przypadek PocketOS to sztandarowy przykład tego, co się dzieje, gdy pokładamy w maszynach zbyt wielką wiarę. Działania agentów AI muszą być na każdym kroku ściśle zarządzane i nadzorowane.

W tym właśnie miejscu do gry wkraczają takie firmy jak ServiceNow i Salesforce, które przez ostatnie lata intensywnie dostosowywały swoje produkty do rozwiązywania problemu braku nadzoru. Ich systemy mają zagwarantować, że przedsiębiorstwa będą bezpiecznie czerpać korzyści z rewolucji AI, zamiast stawać się jej ofiarami.

W tę samą kategorię wpisuje się Adobe, choć w nieco innej domenie. Firma ta pozwala na ekstremalną kontrolę nad procesem generowania obrazów przez wybrane modele sztucznej inteligencji, dbając jednocześnie o odpowiednie zabezpieczenia prawne i ochronę praw autorskich.

Katastrofa, która spotkała PocketOS, z pewnością posłuży za głośne ostrzeżenie pokazujące, do czego prowadzi porzucenie mechanizmów zabezpieczających i kontrolnych. W obliczu takich incydentów, zapotrzebowanie na solidne platformy gwarantujące bezpieczne wdrożenie sztucznej inteligencji będzie tylko rosnąć, a telefony w firmach stawiających na nadzór nad AI z pewnością będą dzwonić coraz częściej.