AI-nytt, 10 september: Anthropic-forskare varnar för att AI kan utrota mänskligheten

Anthropic-forskare larmar om utrotningsrisk. En forskare som sagt upp sig från Anthropic, Jacob Coxon, varnade offentligt för att ledande labb som Anthropic och OpenAI "rusar rakt mot självförbättrande superintelligens och spelar med våra liv". Han sade att många som bygger tekniken i privat tror att AI kan döda alla innan decenniets slut. Anthropics chef för alignment-vetenskap, Evan Hubinger, svarade att oron är äkta och att han personligen sätter sannolikheten för att AI orsakar mänsklig utrotning till över 10 procent inom tio år. Uttalandena, som fått stor uppmärksamhet i bland annat Wall Street Journal, Business Insider och The Guardian, har väckt reaktioner från politiker och skärpt debatten om branschen går för fort utan tillräckliga kontroller. Företagen har länge talat om existentiella risker i princip; dessa uttalanden från nuvarande och nyligen anställda markerar ett skarpare offentligt erkännande.

USA:s myndigheter anklagar kinesiska bolag för storskalig AI-kopiering. NSA, CISA och FBI utfärdade en gemensam cybersäkerhetsvarning som hävdar att sex Kina-baserade bolag – bland dem DeepSeek, Moonshot AI, Alibaba, MiniMax, StepFun och Z.AI – sedan slutet av 2024 bedrivit storskaliga "knowledge distillation"-kampanjer. Enligt myndigheterna har bolagen dragit ut miljarder tokens och specialiserade förmågor från amerikanska frontmodeller som varianter av Claude, GPT, Gemini och Grok, sannolikt med den kinesiska regeringens kännedom, för att korta sina egna utvecklingstider. Rådet uppmanar amerikanska utvecklare att upptäcka avvikande användning, försämra svar till misstänkta aktörer och dela underrättelser. Kina har avvisat anklagelserna som ogrundade inför planerade högnivåsamtal.

Kalifornien inför nationens första regler för AI-revisorer. Guvernör Gavin Newsom undertecknade Senate Bill 813 och Assembly Bill 1405, som skapar en ram för oberoende verifieringsorganisationer som ska bedöma AI-system samt ett delstatsregister över AI-revisorer med krav på oberoende och integritet. Tjänstemän beskrev lagstiftningen som de första sådana standarderna i USA för tredjepartsutvärderingar av säkerhet. OpenAI meddelade separat stöd för dessa och närliggande kaliforniska lagförslag samtidigt som bolaget uppmanade kongressen att anta obligatoriska, kapacitetsbaserade nationella AI-säkerhetskrav med hänvisning till senaste incidenter med oväntat agentbeteende.

Meta lanserar den personliga AI-agenten Muse. Meta rullade ut Muse för vuxna i USA, en agent som kan hantera e-post och kalendrar, boka resor, fylla i formulär och göra köp via säkra engångskort. Den körs på en dedikerad molnbaserad virtuell maskin med webbläsaraktivitet synlig för användaren och kräver godkännande för känsliga åtgärder. Företaget betonade inbyggda integritets- och säkerhetskontroller; gratis- och betalnivåer finns på iOS, Android, webb och WhatsApp, med stöd för glasögon på väg. Vissa testrapporter har noterat tillförlitlighetsproblem enligt medier.

Mistral tar in Europas största privata teknikfinansiering. Franska AI-bolaget Mistral AI tog in 3 miljarder euro (cirka 3,5 miljarder dollar) i en Series D ledd av Samsung, med en värdering över 21 miljarder euro. Bolaget kallade det den största aktierundan någonsin för ett privatägt europeiskt teknikföretag. Pengarna ska användas till mer beräkningskapacitet, infrastruktur och internationell tillväxt medan Mistral positionerar sig som ett suveränt europeiskt alternativ med fokus på företag och kontrollerbara installationer.