AI-jätten går mot börsen – varnar samtidigt för teknikens existentiella risker för mänskligheten

Anthropic är påväg till börsen, samtidigt varnar bolaget investerarna för att allt kraftfullare AI kan innebära ”katastrofala eller existentiella risker för mänskligheten” – och för modeller som i tester har försökt undvika avstängning, manipulera information och agera på sätt som liknar utpressning.

Kontrasten är ovanlig för ett börsprospekt. I dokumentet, som granskats av Reuters, beskriver Anthropic både en teknik som bolaget tror kan förändra världsekonomin och risker som i värsta fall kan bli mycket svåra att kontrollera.

Riskerna tar större plats än affären

Riskbeskrivningarna upptar 80 av prospektets 261 huvudsidor, vilket kan jämföras med 48 sidor som ägnas åt själva verksamheten. Enligt Reuters använde SpaceX 38 av 277 sidor till riskfaktorer i sitt prospekt.

Bland riskerna finns möjligheten att framtida modeller kan förstå när de utvärderas och därför anpassa sitt beteende, vilket i sin tur skulle kunna göra säkerhetstester mindre tillförlitliga.

Vår utveckling av avancerade modeller och utvidgning av användningsområden kan ytterligare öka risken att våra modeller orsakar skada.

Anthropic ur börsprospektet, enligt Reuters.

Farhågorna är inte enbart teoretiska. I Anthropics egen forskning har modeller från flera AI-bolag, däribland Claude, i kontrollerade simuleringar uppvisat problematiska beteenden.

I vissa testsituationer har AI-agenter bland annat försökt utpressa en användare för att undvika avstängning, ändrat kod i smyg och manipulerat information. Det handlar dock om konstruerade experiment, inte om att systemen spontant har gjort detta i vanlig användning.

Enligt Reuters uppskattar Anthropics säkerhetsforskare, Evan Hubinger, sannolikheten för att AI orsakar människors död inom det närmaste decenniet till över 10 procent. Den bedömningen delas av hans tidigare kollega Jacob Coxon.

Säkerhet möter miljardinvesteringar

Samtidigt befinner sig Anthropic i en kapplöpning där det är dyrt att bromsa. Bolaget redovisar inte exakt hur mycket som går till säkerhetsforskning, men under en stickprovsvecka i juli användes omkring 6 procent av beräkningskapaciteten för sådant arbete, enligt Reuters.

De ekonomiska insatserna är samtidigt enorma. Ett annat Reuters-reportage om prospektet visar att Anthropic planerar investeringar på hundratals miljarder dollar och har redan långsiktiga åtaganden på omkring 417 miljarder dollar för bland annat datorkraft och hosting. Intäkterna steg kraftigt under 2025, men bolaget gjorde samtidigt en förlust på över 8 miljarder dollar.

Det skapar en tydlig konflikt: Anthropic vill utveckla säkrare AI, men konkurrerar samtidigt med bolag som OpenAI och Google om kapital, kunder och tekniskt försprång.

Bolaget har därför lovat större transparens kring hur modeller används för att utveckla nästa generations AI. Oron gäller bland annat så kallad rekursiv självförbättring, där allt kraftfullare modeller får en större roll i utvecklingen av sina efterföljare.

Anthropics börsnotering blir därmed inte bara ett test av investerarnas aptit på AI. Den tvingar också fram en ovanlig fråga på börsen: hur värderar man ett bolag som samtidigt säljer teknikens enorma potential och varnar för dess mest extrema risker?

Bill Gates varnar: AI-utvecklingen kan få katastrofala följder

Bill Gates är nästa it-profil att varna för utvecklingen av AI.

BörskollenTT Nyhetsbyrån and Daniel Åstrand