Inspur Information представи своя хипермащабен AI сървър YuanNao HC1000, като твърди, че е намалил разходите за изводи на големи модели до 1 йена (около 0,14 USD) на милион токени – крайъгълен камък, според компанията, който премахва ключова бариера пред широкомащабното внедряване на AI агент.
Според главния стратегически директор на Inspur Liu Jun, използването на GPU по време на извод обикновено достига само 5–10%, далеч под 50%+ използване, наблюдавано при тренировъчни натоварвания. HC1000 се справя с тази неефективност чрез напълно симетрична DirectCom свръхвисокоскоростна архитектура и хипермащабен дизайн, който разлага изчислителните работни потоци и оптимизира разпределението на ресурсите.
Лиу каза, че новата архитектура може да повиши MFU (използване на модел FLOPs) с една карта с до 5,7 пъти, което значително намалява разходите за изводи. Той подчерта, че тъй като потреблението на токени нараства експоненциално, постепенните оптимизации на разходите вече няма да са достатъчни. Необходими са фундаментални промени в изчислителните архитектури и ефективността на разходите ще се превърне в „лиценз за оцеляване“ за компаниите с изкуствен интелект в идващата ера.
Източник: liangziwei
Source link
Like this:
Like Loading…
Нашия източник е Българо-Китайска Търговско-промишлена палaта