Ny AI-teknik kan halvera kostnader för språkmodeller

Ett kinesiskt AI-företag testar nu en ny metod som kan göra det betydligt billigare att köra avancerade språkmodeller. Tekniken utmanar etablerade aktörer och kan påverka hur framtida AI-system utvecklas globalt.

• DeepSeek har släppt en experimentell AI-modell med effektivare beräkningar.
• Den nya tekniken minskar processorkostnader och kan halvera API-priser.
• Lösningen bygger på selektiv analys av text, snarare än att jämföra alla ord.

DeepSeek, som fått uppmärksamhet efter tidigare framgångar, lanserade nyligen en experimentversion av sitt senaste språkbaserade AI-system. Nyheten uppmärksammas av Ars Technica.

Den nya modellen, DeepSeek-V3.2-Exp, använder en teknik kallad DeepSeek Sparse Attention (DSA). Den bygger vidare på tidigare forskning kring så kallad "sparse attention", där endast de mest relevanta relationerna mellan ord analyseras. Metoden har tidigare använts i viss utsträckning av bland annat OpenAI och Google Research.

Så fungerar sparse attention

AI-modeller använder uppmärksamhetsmekanismer för att bedöma vilka ord i en text som har betydelse för tolkningen. I traditionella system jämförs varje ord med varje annat ord, vilket leder till stora beräkningskostnader, särskilt vid långa texter.

Sparse attention innebär att modellen istället prioriterar vissa ordrelationer och bortser från de minst relevanta. I DeepSeeks implementation styrs denna prioritering av en så kallad "lightning indexer", ett neuralt nätverk som väljer ut de 2 048 viktigaste kopplingarna för varje ord.

Modellen kanske bara kontrollerar sitt förhållande till 100 noggrant utvalda tidigare ord snarare än alla 4 999 föregående ord.

Ars Technica.

Genom denna selektiva metod minskar den totala mängden beräkningar kraftigt, särskilt i konversationer med många ord eller långa textsekvenser. Det är just detta som möjliggör lägre kostnader och snabbare svarstider.

Öppna komponenter och tidiga resultat

DeepSeek erbjuder tillgång till öppna källkodsdelar och öppna modellvikter under MIT-licens, vilket underlättar vidare forskning och utveckling.

Enligt företagets egna tester kan de nya modellerna halvera API-kostnaderna vid hantering av långa textsammanhang. Dock har oberoende utvärderingar av resultaten ännu inte publicerats, vilket innebär att den faktiska effektiviteten återstår att bekräfta.

Om tekniken visar sig vara framgångsrik kan den få stor betydelse för framtida AI-modeller, både genom att minska driftskostnader och möjliggöra mer komplexa tillämpningar.