3月11日下午消息，近日，科大訊飛(51.980, -0.17, -0.33%)攜手華為在國產(chǎn)算力領(lǐng)域取得重大進(jìn)展，雙方聯(lián)合團(tuán)隊(duì)率先突破國產(chǎn)算力集群上MoE模型的大規(guī)模跨節(jié)點(diǎn)專家并行集群推理，這是繼DeepSeek公布其MoE模型訓(xùn)練推理方案后，業(yè)界首個(gè)基于國產(chǎn)算力的全新解決方案。
聯(lián)合團(tuán)隊(duì)通過軟硬件的深度協(xié)同創(chuàng)新，在多個(gè)關(guān)鍵技術(shù)層面深挖硬件潛力，完成昇騰集群上的驗(yàn)證和部署。在算子融合方面，團(tuán)隊(duì)在MLA預(yù)處理階段通過Vector與Cube異構(gòu)計(jì)算單元并行流水，并將多個(gè)小算子融合重構(gòu)為原子級(jí)計(jì)算單元，消除小算子下發(fā)開銷，MLA前處理時(shí)延降低50%+，實(shí)現(xiàn)性能的顯著提升。
在混合并行策略和通信計(jì)算并行優(yōu)化方面，團(tuán)隊(duì)構(gòu)建了TP（張量并行）+EP（專家并行）混合范式：對(duì)MLA計(jì)算層采用機(jī)內(nèi)TP并行，發(fā)揮機(jī)內(nèi)高速互聯(lián)優(yōu)勢，降低跨機(jī)通信損耗；創(chuàng)新MoE專家分層調(diào)度，64卡均衡分配專家計(jì)算節(jié)點(diǎn)，定制AllToAll通信協(xié)議，專家數(shù)據(jù)交換效率提升40%，構(gòu)建跨機(jī)/機(jī)內(nèi)雙層通信架構(gòu)，通過分層優(yōu)化降低跨機(jī)流量60%；同時(shí)研發(fā)路由專家負(fù)載均衡算法，實(shí)現(xiàn)卡間負(fù)載差異小于10%，集群吞吐提升30%。
通過分布式架構(gòu)創(chuàng)新與算法協(xié)同優(yōu)化，聯(lián)合團(tuán)隊(duì)在國產(chǎn)算力上實(shí)現(xiàn)了顯著的性能提升。單卡靜態(tài)內(nèi)存占用縮減至雙機(jī)部署的1/4，效率提升75%，專家計(jì)算密度增加4倍，推理吞吐提升3.2倍，端到端時(shí)延降低50%。
科大訊飛研究院表示，這一突破性的解決方案也將應(yīng)用于訊飛星火深度推理模型的訓(xùn)練加速，預(yù)期訓(xùn)練時(shí)推理效率將提升200%。同時(shí)，基于該方案的推理引擎也實(shí)現(xiàn)了國產(chǎn)算力上DeepSeek V3和R1的高效推理。
