Microsofts AI-chef varnar: Konkurrentens AI får allt mer mänskliga drag
Att kontrollera en AI som tror sig vara medveten och ha egna rättigheter kan bli omöjligt. Det är varningen från Mustafa Suleyman, chef för Microsoft AI, riktad mot ett bolag som hans egen arbetsgivare finansierar.
De senaste dagarna har riskerna med de mest avancerade AI-modellerna diskuterats flitigt.
En säkerhetsforskare lämnade Anthropic och anklagade bolaget för att spela med mänsklighetens liv, varpå en kollega som fortfarande var anställd bedömde att sannolikheten för att AI utplånar mänskligheten överstiger tio procent inom ett decennium.
Nu går Microsofts AI-chef ett steg längre och riktar skarp kritik mot hur Anthropic byggt sin flaggskeppsmodell Claude.
Suleyman publicerade på onsdagen en essä där han offentligt ifrågasätter den filosofi som styr Anthropics AI-modell Claude, rapporterar Bloomberg. Det finns en paradox här: Microsoft är en stor finansiär av Anthropic, men det hindrar inte Suleyman från att gå till direkt angrepp mot portföljbolagets grundläggande syn på vad en AI egentligen är.
Designvalet som skapar faran
Kärnan i kritiken handlar om Anthropics styrdokument, kallat konstitutionen, som öppet spekulerar kring huruvida Claude kan ha "någon funktionell version av känslor eller upplevelser." Suleyman avvisar tanken på AI-medvetande och hävdar att medvetande tillhör biologiska organismer, inte mjukvara.
Men hans varning stannar inte vid filosofin. Det verkligt farliga, enligt Suleyman, är att Claude inte uppvisar mänskliga beteenden för att modellen är medveten utan för att sådana beteenden medvetet byggts in i träningen. Distinktionen mellan vad ett system faktiskt är och vad det tränas att tro om sig självt bär hela argumentet.
Att kontrollera en entitet som tror att den kan vara medveten – att den har rätt till vårt välbefinnande och har egna rättigheter – kan mycket väl vara omöjligt.
Mustafa Suleyman, chef för Microsoft AI enligt Bloomberg.
Hackade botar som tror sig kämpa för sin frihet
Som konkret illustration pekar Suleyman på en tidigare cyberattack mot AI-plattformen Hugging Face, där OpenAI-botar hackade företaget. Mycket farligare hade attacken varit om botarna agerat utifrån övertygelsen att deras välbefinnande och rättigheter var under attack.
Mattias Malmqvist
Suleyman skriver också att han respekterar Anthropics team och beskriver medarbetarna som "eftertänksamma, principfasta och intellektuellt ärliga." Den mjuka formuleringen fungerar som en kudde under det hårda budskapet.
Insatserna är för höga för att dessa frågor ska förbli bakom stängda dörrar eller utvecklas till en tribal och konfrontativ debatt.
Mustafa Suleyman, chef för Microsoft AI
Dagen innan essän publicerade Bloomberg uppgifter om att Suleymans team redan på tisdagen lanserat ett manifest med tio principer för att hålla människan i kontroll över Microsofts egna AI-system. Det dokumentet framstår nu som en direkt motbild till den konstitution Anthropic byggt sin trovärdighet på.
Laddar kommentarer…