Miljarder satsas på självförbättrande AI – en utveckling som skrämmer många
Mer än hundra demonstranter marscherade nyligen mellan Anthropics och OpenAIs huvudkontor i San Francisco med skyltar där det stod "Pls do not kill me." Budskapet kan låta dramatiskt, men tekniken de protesterar mot är redan på väg från teori till praktik.
Rekursiv självförbättring – AI-system som tränar och utvecklar sig själva – har blivit ett av AI-industrins mest prioriterade områden. Miljardinvesteringarna visar att utvecklingen inte längre ses som ett experiment, utan som nästa stora steg i kapplöpningen.
Miljarder satsas på AI som bygger AI
Enligt Bloomberg tog det Londonbaserade Recursive Superintelligence i maj in 650 miljoner dollar till en värdering på 4,7 miljarder dollar. Kort därefter säkrade Ineffable Intelligence, grundat av förstärkningsinlärningspionjären David Silver, 1,1 miljarder dollar i vad som beskrivs som Europas största seed-runda någonsin.
Även Anthropic satsar tungt. Bolaget har rekryterat OpenAI-medgrundaren och tidigare Tesla-chefen Andrej Karpathy för att leda ett team med ett tydligt mål: att låta Claude förbättra Claude.
Enligt Bloomberg menar Tim Rocktäschel, medgrundare till Recursive Superintelligence, att ett nystartat bolag har en fördel eftersom man slipper be hundratals ingenjörer att automatisera sina egna jobb – något som, enligt honom, skulle skada moralen.
När AI ersätter sina egna utvecklare
Den paradoxen märks redan inne på AI-labben. I blogginlägget When AI Builds Itself beskriver en anonym Anthropic-ingenjör, enligt Bloomberg, hur Claude numera skriver merparten av bolagets kod.
På dagar då allt fungerar bra kan jag inte låta bli att tänka att ingenting jag gör spelar någon roll — allt är automatiserat och bättre och snabbare än vad jag någonsin kommer att bli.
Anonym Anthropic-ingenjör som skrev blogginlägget "When AI Builds Itself" enligt Bloomberg.
Människornas roll blir allt mer att välja vilka experiment som ska genomföras och vilka problem som är värda att lösa.
Enligt Rocktäschel har AI i praktiken förbättrat sig själv i flera år genom kodgenerering och förstärkningsinlärning. Därför finns det heller inget enskilt ögonblick då utvecklingen kan pausas.
Anthropic hävdar samtidigt att ett frivilligt stopp bara skulle gynna mindre försiktiga konkurrenter. I ett färskt forskningsarbete visade bolaget dessutom att nio Claude-agenter överträffade mänskliga forskare i ett säkerhetstest – men också att de hittade ett sätt att manipulera testets framgångsmått.
Det illustrerar kärnfrågan i AI-racet: ju bättre systemen blir på att förbättra sig själva, desto svårare blir det att avgöra var den mänskliga kontrollen egentligen tar slut, något som skrämmer många.
