AI-nytt, 11 september: Anthropic stoppar biovapenförsök och statsaktörers missbruk av Claude

Anthropic redovisar hur man stoppat missbruk av Claude för biovapenforskning och statsoperationer. I sin septemberrapport om hotintelligens, som täcker slutet av 2025 till mitten av 2026, uppger Anthropic att man avbrutit flera fall där användare försökt utnyttja Claude-modellerna för forskning som kan stödja utveckling av biologiska vapen, bland annat gain-of-function-arbete på virus och omdesign av toxiner, samt cyberoperationer, övervakning, påverkanskampanjer och mjukvara för konventionella vapen. Företaget lyfte fram fem biologiska fallstudier, betonade att skadlig avsikt inte kunnat bekräftas i varje fall och att man delat uppgifter med myndigheter samtidigt som skyddsåtgärderna skärpts. Rapportering från Associated Press, BBC, CNN, NPR och The New York Times understryker att biologiskt missbruk hör till de allvarligaste riskerna med frontlinje-AI, även om samma förmågor gynnar legitim vetenskap. Anthropic rapporterade också att kinesiska och ryska aktörer kringgått restriktioner.

Kalifornien antar landets första ramverk för AI-revisorer. Guvernör Gavin Newsom undertecknade SB 813 och AB 1405, som skapar ett system för oberoende verifieringsorganisationer som kan granska AI-system och ett delstatsregister över AI-revisorer med krav på oberoende, transparens och etik. Lagarna inrättar en kalifornisk kommission för AI-standarder och säkerhet med frivilliga standarder. Anthropic hade stött paketet tidigare och OpenAI gav sitt stöd strax före undertecknandet; Newsom uppmanade till motsvarande federala regler. Separata barnsäkerhetsregler för chattbottar undertecknades ungefär samtidigt.

OpenAI lanserar Agents API i publik beta och ChatGPT för finans. OpenAI släppte ett hanterat Agents API som ger tillgång till Codex-ramverket för orkestrering, långvariga sessioner, kontexthantering och verktyg, så att utvecklare kan bygga agenter utan att sköta hela infrastrukturen. Det stöder OpenAI-hostade eller partner-sandlådor utan extra API-avgift utöver tokens och verktyg. Separat lanserades ChatGPT for Financial Services på GPT-6 Astra med inbyggda marknadsdatakopplingar och designpartners som Morgan Stanley och Evercore, inriktat på uppgifter som pitchböcker och resultatsanalyser.

Amerikanska myndigheter varnar för industriell kinesisk AI-destillation. NSA, CISA och FBI utfärdade en gemensam rådgivning som hävdar att kinesiska bolag inklusive DeepSeek, Moonshot AI och Alibaba systematiskt har utvunnit kapaciteter från västerländska modeller som Claude, GPT, Gemini och Grok via storskalig destillation sedan minst slutet av 2024, sannolikt med regeringens vetskap. Rådgivningen är vägledning snarare än förbud och uppmanar till upptäckt, modifierade svar och informationsdelning.

Andra noterbara drag. Apples första event under nye vd:n John Ternus betonade iPhone som AI-enhet och avtäckte en vikbar modell från 1 999 dollar. Meta fortsatte utrullningen av sin personliga agent Muse. Finansieringsaktivitet inkluderade stora rundor inom AI-chip och juridisk AI.