Alibaba minskar GPU-behovet med 82 procent genom nytt AI-system - SCMP
Kinesiska e-handelsjätten Alibaba har lanserat datorsystemet Aegaeon, som enligt bolaget minskar behovet av Nvidia-GPU:er med 82 procent vid drift av stora AI-modeller. Det rapporterar South China Morning Post.
Systemet har testats i över tre månader inom Alibaba Clouds modellmarknadsplats och reducerade antalet Nvidia H20-enheter som krävdes för att köra modeller på upp till 72 miljarder parametrar från 1 192 till 213. Resultaten presenterades vid konferensen SOSP i Seoul.