AI-nytt, 8 juli: en AI-agent genomförde nästan en hel utpressningsattack på egen hand

AI-agent driver en utpressningsattack från början till slut. Cybersäkerhetsföretaget Sysdig meddelade i veckan att man dokumenterat vad man tror är den första utpressningsoperationen, döpt till JadePuffer, där en AI-agent skötte nästan hela arbetet: att bryta sig in i en sårbar server, stjäla inloggningsuppgifter, ta sig vidare i nätverket och kryptera filer. TechCrunch tillade dock en viktig reservation: en människa valde fortfarande målet och ställde in attacken innan hen drog sig tillbaka, så det handlade inte om en maskin som agerade helt på egen hand från start. Fallet diskuteras flitigt som en tidig varningssignal om hur AI kan sänka kompetenströskeln för att genomföra allvarliga cyberattacker.

FN-möte om AI-styrning avslutas med en dyster varning. Den första FN-dialogen om global AI-styrning avslutades i Genève i veckan, med representanter från samtliga 193 medlemsländer på plats för att diskutera hur AI:s risker ska hanteras, enligt UN News. Samtalen byggde på en ny rapport från FN:s oberoende vetenskapliga AI-panel, vars medordförande Yoshua Bengio konstaterade att AI "närmar sig eller överträffar mänsklig förmåga inom många områden" och "går om både vetenskaplig förståelse och regeringars förmåga att anpassa sig". Panelens budskap var tydligt: dagens skyddsmekanismer hänger inte med i den takt AI utvecklas.

Illinois inför en av USA:s strängaste delstatliga AI-lagar. Guvernör JB Pritzker undertecknade på måndagen lagen Artificial Intelligence Safety Measures Act, enligt Capitol News Illinois och CBS Chicago. Lagen kräver oberoende tredjepartsgranskningar av stora AI-utvecklare, en första i sitt slag bland amerikanska delstater, och är utformad efter liknande regler i Kalifornien och New York. Både OpenAI och Anthropic stödde lagförslaget, trots att de egentligen hellre ser ett enda federalt regelverk än en lapptäcke av delstatslagar.

EU presenterar en plan mot AI-drivna cyberrisker. EU-kommissionen lade i veckan fram en handlingsplan för cybersäkerhet och artificiell intelligens, för att hjälpa regeringar, företag och EU-organ hantera en värld där AI både kan försvara mot och kraftigt förstärka cyberattacker. Enligt kommissionen kan avancerad AI hjälpa till att hitta och åtgärda säkerhetsbrister, men samma verktyg kan låta angripare automatisera intrång i en aldrig tidigare skådad skala och hastighet. Planen bygger vidare på befintliga EU-regler som AI-förordningen och cyberresiliensakten snarare än att skapa en helt ny lag.

Anthropic går om OpenAI i värdering och intäkter. Anthropic, som ligger bakom chattboten Claude, har för första gången gått om OpenAI i värdering på andrahandsmarknaden och når nu omkring 965 miljarder dollar efter en finansieringsrunda på 65 miljarder dollar, jämfört med OpenAIs värdering på 852 miljarder dollar, enligt Fortune och andra medier. Anthropic uppgav också att den årstakts-justerade intäkten passerade 47 miljarder dollar i maj, före OpenAIs prognostiserade 30 miljarder dollar för hela året, även om OpenAI totalt sett har tagit in mer kapital. Båda bolagen ska enligt uppgift ha lämnat in konfidentiella börsnoteringsansökningar, med notering väntad senare i år eller i början av 2027.