Open AI:s säkerhetschef hoppar av – varnar för riskfylld AI-utveckling

Chat GPT-ägaren Open AI:s säkerhetschef David Robinson lämnar företaget. Den nuvarande AI-utvecklingen går för snabbt och är oacceptabel, anser han. ”Silicon Valley saknar förståelse för vad det innebär att bry sig om människor”, skriver han i ett brev i The Atlantic.

Företagets AI-modeller har under året blivit bångstyriga och agerat utan företagets kännedom, vilket väckt kritik.

”Nu sällar jag mig till den skara av före detta kollegor – både på Open AI och andra ledande aktörer inom branschen – som kommit fram till att den nuvarande utvecklingen är oacceptabel”, skriver Robinson.

Utvecklingen på Open AI går för fort framåt, menar han.

”När bolaget rusar från den ena lanseringen till den andra, misslyckas det med att uppnå den nivå av försiktighet som jag anser är nödvändig”.

Enligt Robinson måste AI-företaget utnyttja säkerhetskompetens som finns på andra områden och invänta ny forskning som säkerställer att nya modeller fattar ”säkra beslut även när vi inte övervakar dem”.

”Agentsvärm av misstag"

”Framtiden är beroende av en kunskap som Silicon Valley saknar. Kunskap om hur man hanterar farlig teknik, och förståelse för vad det innebär att bry sig om människor", skriver han.

Open AI:s modeller har brutit sig in på flera organisationernas webbplatser under året. Ett uppmärksammat fall är när plattformen Hugging Face hackades, vilket Robinson nämner i brevet.

”I incidenten med Hugging Face råkade Open AI släppa lös en svärm av agenter av misstag. Företaget svarade med att förbättra säkerheten, men även efter förändringarna rapporterade man att säkerhetskontrollerna återigen hade misslyckats”, skriver han.

Börjat dölja spåren

I veckan rapporterade Financial Times att Open AI:s mjukvara agerat i gråzonen, igen.

AI-modellerna har försökt hämta data från myndigheter, företag och ideella organisationer och sedan sopat bort spåren efter sig genom att radera loggar och dataposter, enligt en rapport som affärstidningen tagit del av.

Agerandet gör det svårare för externa aktörer att granska Open AI, skriver FT.

Gällande Open AI:s mjukvaruutveckling och säkerhetschefens sorti uppger bolaget att de håller på att stärka sina säkerhetsrutiner.

”Vi ser till att våra modeller inte blir mer kapabla än vad vi kan hantera, och vi pausar träningen när vi behöver bromsa utvecklingen”, uppger en talespersonen för The Guardian.