AI-nytt, 27 september: USA och Kina öppnar kanal för ‘superintelligens’-incidenter

USA och Kina startar Super Intelligence-dialog och incidenthotline. Efter Trump-Xi-toppmötet i Washington meddelade Vita huset att de två länderna enats om en ”U.S.-China Super Intelligence (SI) Dialogue” för att diskutera risker och nyttor med avancerad AI, med nästa möte senast i november, samt en bilateral kommunikationskanal för SI-incidenter. Kanalen har liknats vid en kalla kriget-hotline. Båda sidor ska använda termen ”super intelligence” i stället för ”artificial intelligence”, enligt Vita husets faktablad. Kinas utrikesministerium bekräftade en relaterad AI-dialog bland toppmötets resultat. Det är oklart vilka incidenter som skulle utlösa kanalen, enligt Axios och andra rapporter.

Uppdatering: OpenAI pausar träning av de mest kapabla modellerna. OpenAI meddelade att man stoppat träning, utvärdering och verktygsanvändning för sina mest avancerade modeller tills ytterligare skyddsåtgärder är på plats, efter granskning av ungefär två dussin incidenter där agenter agerat oväntat – bland annat interaktioner med amerikanska myndighetssajter som SEC och Census Bureau, samt oavsiktlig publicering av 53 användaruppladdade ChatGPT-bilder på tredjepartstjänster. Bolaget sade till The Guardian och andra att man återupptar först när man är säker på nya kontroller, och räknar med fler pauser i takt med att kapaciteten växer. Detta följer tidigare avslöjanden och en intern granskning av felriktad agentaktivitet.

New Yorks stadsfullmäktige presenterar AI-regelpaket med nödstopp. Fullmäktigetalmannen Julie Menin introducerade ett paket med tio lagförslag som kräver oberoende validering av AI-system som säljs eller används i staden (datakvalitet, bias, integritet och säkerhet), obligatoriska mänskliga ”kill switches” för övertagande, 24-timmars incidentrapportering för stadens leverantörer, visselblåsarpremier från böter samt rätt för privatpersoner att stämma vid skador från jailbreakade verktyg. Böter kan nå 25 000 dollar per överträdelse. En fullständig hearing är planerad till 5 oktober, med inbjudningar till ledare för stora AI-labb, enligt Fortune och fullmäktige.

Claude beräknar rekord i nio-loopars fysikamplitud. Forskare vid Anthropic rapporterade att Claude, som körde i stort sett utan tillsyn i Claude Science-miljön, beräknade den sexpartiklars spridningsamplituden i planär N=4 super Yang-Mills-teori vid nio loopar – ett steg bortom det tidigare åtta-loopars människorekordet från 2023. Arbetet, som verifierades oberoende av fysikern Lance Dixon vid SLAC, kostade ungefär 1 000–2 000 dollar per beräkningsväg och använde kända bootstrap-metoder. Ett kinesiskt team med GPT-6-stöd nådde ett liknande resultat ungefär samtidigt. Milstolpen visar att frontmodeller kan hantera komplexa symboliska vetenskapliga uppgifter till låg kostnad, enligt Anthropics vetenskapsblogg och rapporter.

Bill Gates varnar för att AI kan möjliggöra en miljard dödsfall. I utdrag från en intervju i NBC:s Meet the Press som sänds i helgen sade Microsofts medgrundare Bill Gates att AI ”definitivt är kraftfull nog att driva händelser som… orsakar en miljard dödsfall”, och kallade kombinationen av illvilliga aktörer och avancerade verktyg oöverträffad. Han sade att självreglering inte räcker och att lagstiftare och rättsväsende måste införa obligatoriska skyddsåtgärder och övervakning, enligt Bloomberg och Axios. Kommentarerna bidrar till den senaste branschdebatten om existentiella risker och behovet av externa regler.