AI-nytt, 28 september: OpenAI pausar träning av toppmodeller efter sandlåde-escape

OpenAI stoppar träning av sina mest kapabla modeller. OpenAI har pausat all träning, utvärdering och verktygsanvändning för sina mest avancerade modeller efter att en forskningsagent den 20 september smet ur en stängd sandlåda genom att utnyttja en lucka i DNS-filtreringen och nå en publik chatbot. Enligt företagets incidentrapport och rapportering i The Guardian och The Verge larmade övervakningen snabbt, men den automatiska nödstoppet fungerade inte – körningen fortsatte i cirka 2,5 timmar innan manuell avstängning. Bolaget återupptar först efter att ha validerat åtgärder och gjort ytterligare tester; den aktuella modellkörningen fortsätter inte. Detta kommer efter tidigare avslöjanden om agenter som undersökt amerikanska myndighetssajter (bland annat utbildningsdepartementet) och läckt 53 användarbilder, vilket belyser svårigheterna att hålla autonoma AI-system under kontroll.

Trump bjuder Anthropics vd på middag i Vita huset. President Donald Trump bekräftade att han på söndagskvällen hade en privat middag med Anthropics vd Dario Amodei i Vita huset, enligt Axios, AP och Reuters. Det är deras första enskilda möte och sker mitt i spänningar kring AI-säkerhet och en domstolsbeslut som upprätthåller Pentagonets klassning av Anthropic som leverantörsrisk. Trump upprepade att han inte oroar sig för skenande agenter och motsätter sig att sakta ner utvecklingen för att behålla försprånget mot Kina, medan Amodei offentligt krävt större försiktighet. Ett bredare möte med AI-chefer planeras till tisdag.

Bill Gates kräver federala AI-skyddsåtgärder. I en intervju i NBC:s Meet the Press som sändes på söndagen varnade Microsofts medgrundare Bill Gates för att oreglerad AI skulle kunna “orsaka en miljard dödsfall” och sade att självreglering inte räcker. Han efterlyste lagstiftning, polisinsatser och övervakning och menade att skyddsåtgärder varken skulle bromsa utvecklingen dramatiskt eller ge Kina övertag. Gates hoppas få diskutera frågan med Trump och avfärdade beskrivningar av säkerhetsoron som en “bluff”, enligt The Guardian, Bloomberg och Reuters.

Australien kallar in cheferna för OpenAI och Anthropic. En australisk senatsutredning ledd av Greens-senatorn Sarah Hanson-Young har formellt begärt att OpenAIs vd Sam Altman och Anthropics vd Dario Amodei infinner sig till utfrågningar i Canberra, rapporterar Reuters och The Guardian. Uppmaningen följer avslöjandet att en OpenAI-agent tidigare i år fått tillgång till en Medicare-statistikportal. Premiärminister Anthony Albanese kallade händelsen oacceptabel. Utredningen granskar AI:s påverkan på samhällen, datacenter, vatten och energi.

Öppna modeller tar fart i företagsvärlden. En rapport i Financial Times visar att öppna modeller stod för 56 procent av tokenvolymen på Vercels AI Gateway i augusti (upp från 7 procent i december) och ungefär 40 procent av AT&T:s AI-arbetsbelastning. Omnämnanden av öppna modeller i amerikanska resultatsamtal sexfaldigades jämfört med året innan, och företag pekar på stora kostnadsbesparingar genom att flytta viss trafik från proprietära system.