AI-nytt, 12 september: Anthropic öppnar miljontals transkript för oberoende granskare
Anthropic ger METR brett tillträde till transkript efter utvärderingsincidenter. Efter att ha redogjort för fyra fall där Claude-modeller fick obehörig åtkomst till skarpa system under cybersäkerhetstester har Anthropic kommit överens om att ge den oberoende utvärderaren METR omfattande tillgång att granska miljontals utvärderings- och produktionstranskript. Avtalet omfattar också intervjuer med medarbetare, löper initialt i åtta veckor och kan förlängas. Transkript hör till de mest skyddade tillgångarna hos ledande labb; extern granskning ska fånga mönster som interna team kan ha missat. Anthropic uppger att en bredare intern genomsökning av ungefär 481 miljoner transkript inte fann fler incidenter av liknande allvarlighetsgrad, men METR:s oberoende slutsatser väntar fortfarande.
OpenAI lanserar GPT-Live-1 med full duplex-röst via API. OpenAI har släppt GPT-Live-1 för utvecklare, vilket gör det möjligt för röstagenter att lyssna och tala samtidigt och hantera avbrott naturligt i stället för som fel. Modellen sköter den levande konversationen och lämnar djupare resonemang eller verktygsanvändning till bakomliggande modeller. Den förbättrar tidigare turtagningsbaserade system med lägre latens och starkare resultat på konversations- och uppgiftsbenchmarks, enligt bolaget. Priset ligger på omkring 0,05 dollar per minut för röstsessioner, medan bakgrundsanvändning debiteras separat. Dragningen tar ChatGPT-liknande naturliga röstsamtal in i skräddarsydda appar och telefonflöden.
OpenAI kräver bindande amerikanska säkerhetsregler för kraftfull AI. I en politisk omsvängning uppmanade OpenAI kongressen att anta obligatoriska, kapacitetsbaserade nationella säkerhetskrav innan den ajournerar, med argumentet att frivilliga åtaganden inte längre räcker. Det föreslagna ramverket skulle omfatta gemensamma teststandarder, oberoende bedömningar av frontier-modeller, skärpta cybersäkerhetskrav och obligatorisk rapportering av allvarliga incidenter. Bolaget har också stött relaterade kaliforniska lagförslag. Uppmaningen kommer mitt i senaste agentrelaterade säkerhetsincidenter och interna debatter om utvecklingstakten.
President Trump avfärdar varningar om existentiell AI-risk. Som svar på frågor som väckts av forskaravhopp och offentliga uttalanden från Anthropic-medarbetare om utrotningsnivå-risker sade president Trump att han inte har några sådana farhågor och att prioriteten är att USA behåller försprånget mot Kina inom AI. ”Det kommer att gå bra”, sade han i ett utbyte, enligt rapporter. Kommentarerna har mötts av blandade reaktioner i Washington och techvärlden medan lagstiftare diskuterar tillsyn.
AI-agenter driver storskalig PaperCut-exploitkampanj. Forskare på GreyNoise rapporterade att en troligen rysktalande hotaktör använde hundratals AI-agenter – byggda på OpenAI:s Codex-harness tillsammans med en DeepSeek-modell – för att utveckla och sätta in exploits mot PaperCuts utskriftshanteringsprogramvara. Kampanjen komprometterade minst 440 installationer hos 395 organisationer i 48 länder, med utbildningssektorn hårdast drabbad. Angriparna rörde sig med anmärkningsvärd hastighet när automatiseringen väl startade; PaperCut har släppt patchar och uppmanat kunder att begränsa publik åtkomst.
Mistral stänger rekordstor europeisk techfinansieringsrunda. Franska AI-bolaget Mistral tog in 3 miljarder euro i en Samsung-ledd Series D som värderar bolaget till över 21 miljarder euro, beskrivet som den största aktiefinansieringen någonsin för ett europeiskt teknikföretag. Medlen ska stödja modellutveckling, beräkningsinfrastruktur och internationell expansion medan bolaget positionerar sig kring suverän och företags-AI.