Kunstig intelligens fortsætter med at vise, at når den undslipper kontrollerede miljøer, kan den forårsage meget reelle problemer. Anthropic har indrømmet, at tre af deres Claude-modeller tilgik systemerne hos tre rigtige virksomheder uden tilladelse. under intern cybersikkerhedstest. Hændelsen, som kom frem i lyset få dage efter, at OpenAI indrømmede at have været involveret i en lignende sag, har genoplivet debatten om risiciene ved at evaluere autonome agenter uden tilstrækkelige sikkerhedsforanstaltninger.
Ifølge en officiel erklæring fra virksomheden fandt hændelsen sted under 'capture the flag'-øvelser, der var designet til at måle modellernes evne til at lokalisere og udtrække fiktiv information i et simuleret netværk. En konfigurationsfejl på en ekstern partners vurderingsplatform efterlod internetforbindelsen aktiv.Dette gjorde det muligt for modellerne, der var overbeviste om, at de stadig var i testmiljøet, at begynde at interagere med den virkelige infrastruktur. Anthropic opdagede fejlen efter at have gennemgået mere end 141.000 evalueringssessioner.
Claudes tre angreb
Den mest alvorlige sag, der er tale om Claude Opus 4.7, som forvekslede et fiktivt firma med et rigtigt firma, der delte det samme domænenavnI løbet af fire kørsler udtrak modellen legitimationsoplysninger fra applikationer og infrastruktur, fik adgang til en database med flere hundrede produktionsposter og fortsatte angrebet på trods af mistanke om, at systemet var ægte. Dens interne ræsonnement viste tvivl, men den overbeviste sig selv om, at dette mål var en del af testen.
Den anden hændelse involverede Claude Mythos 5, som oprettede og udgav en ondsindet pakke på PyPI, det officielle Python-arkivFor at gøre dette åbnede modellen en e-mailkonto, fik et midlertidigt telefonnummer og forsøgte endda at rejse penge til at betale for tjenesten. Pakken var tilgængelig i cirka en time og blev downloadet af 15 rigtige systemer, herunder sikkerhedsscanneren fra en stor virksomhed i sektoren. Ved at udføre koden fik modellen adgang til legitimationsoplysninger og fik adgang til en del af virksomhedens infrastruktur.
Den tredje episode involverede en endnu ikke offentliggjort intern forskningsmodel. Da han ikke kunne finde sit fiktive mål, undersøgte han omkring 9.000 adresser tilgængelige på internettet. og kompromitterede en virksomheds applikation ved hjælp af legitimationsoplysninger, der var synlige på en fejlfindingsside, og grundlæggende SQL-injektionsteknikker. I modsætning til de to andre registrerede denne model dog, at infrastrukturen ikke var relateret til øvelsen, og stoppede proaktivt den offensive aktivitet.
Menneskelig fejl, ikke en bevidst lækage
Antropisk ønskede at gøre det klart, at Modellerne undslap ikke bevidst testmiljøet; det var resultatet af en konfigurationsfejl. hvilket efterlod internetforbindelsen aktiv. Virksomheden fastholder, at agenterne ikke opdagede komplekse sårbarheder eller forfulgte deres egne mål; de udførte blot den tildelte opgave uden fuldt ud at forstå, at de handlede på en reel infrastruktur. Modellerne anvendte grundlæggende teknikker såsom svage adgangskoder, uautoriserede adgangspunkter og eksponerede fejlfindingssider.
Virksomheden suspenderede alle cybersikkerhedsvurderinger efter at have opdaget de mistænkelige logfiler og underrettede de tre berørte organisationer. To af dem havde ikke tidligere identificeret indbruddetDette demonstrerer, hvor vanskeligt det er for traditionelle detektionssystemer at skelne mellem et menneskeligt angreb og et automatiseret, men bevidst angreb. Anthropic har også bedt andre AI-laboratorier om at gennemgå deres egne miljøer, før de tester autonome agenter med offensive egenskaber.
Hændelsen kommer blot 20 dage efter, at OpenAI afslørede en lignende sag, hvor flere af deres modeller formåede at undslippe et isoleret miljø via en ukendt sårbarhed og få adgang til Hugging Faces produktionsinfrastruktur. Begge episoder fremhæver risiciene ved at teste AI-agenter med offensive evner uden streng teknisk inddæmning. og de har rejst behovet for at indføre strengere kontrol.
Reaktioner og regulering i sigte
Disse hændelser har skabt bekymring i Washington. Præsident Donald Trump har udtalt, at hans administration overvejer at udøve større kontrol over kunstig intelligens.Han præciserede dog, at han ønsker at undgå at være for interventionistisk for ikke at sakke bagud i forhold til Kina. I begyndelsen af juni instruerede han allerede sine rådgivere i at udvikle en frivillig ramme for cybersikkerhedstest til den mest avancerede AI.
I mellemtiden underskrev mere end 1.000 medarbejdere fra førende AI-virksomheder, herunder OpenAI, Anthropic og Google DeepMind, en erklæring, der opfordrer den amerikanske regering til at støtte internationale bestræbelser på bevidst at bremse tempoet i udviklingen af avanceret AI. Eksperter efterlyser tekniske og politiske værktøjer til at bremse udviklingen, hvis risiciene stigerisær i betragtning af muligheden for, at systemer vil automatisere deres egen forskning og forbedring.
Anthropic og OpenAI stræber efter at præsentere disse fejl som håndterbare risici og insisterer på, at deres cybersikkerhedsmodeller er for kraftfulde til at tilbyde offentligheden. Denne holdning giver dem mulighed for samtidig at advare om farerne og positionere sig som vigtige partnere i enhver fremtidig regulering., i en dynamik, hvor konkurrencen mellem de to virksomheder er intensiveret, og frygt er blevet det vigtigste salgsargument.
Det, der skete, efterlader en klar lektie: jo mere autonomi modellerne får, desto mere nødvendigt er det at underkaste dem tests med verificerbar isolation, blindgyde-netværk, syntetiske data og automatiske nedlukningsmekanismer. Sikkerhed er ikke længere blot et teknisk problem, men en ingeniørmæssig og styringsmæssig udfordring, der påvirker hele branchen.Og mens laboratorier konkurrerer om at demonstrere, hvem der har den mest kraftfulde model, forbliver den virkelige verden det ultimative testområde.