首頁|必讀|視頻|專訪|運(yùn)營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|低空經(jīng)濟(jì)|智能汽車|特約記者
手機(jī)|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計(jì)算|芯片|報(bào)告|智慧城市|移動互聯(lián)網(wǎng)|會展
首頁 >> 頭條資訊 >> 正文

信通院發(fā)布《高質(zhì)量大模型基礎(chǔ)設(shè)施研究報(bào)告(2024年)》

2025年1月20日 08:27  中國信通院  

隨著大模型技術(shù)的飛速發(fā)展,模型參數(shù)量急劇增長,模型能力持續(xù)增強(qiáng),智能應(yīng)用百花齊放。基礎(chǔ)設(shè)施的可用性決定了大模型研發(fā)及服務(wù)的效率,大模型服務(wù)的可用性又決定了智能應(yīng)用的服務(wù)質(zhì)量。在此背景下,高質(zhì)量大模型基礎(chǔ)設(shè)施成為推動大模型應(yīng)用落地的關(guān)鍵要素。為充分發(fā)揮大模型基礎(chǔ)設(shè)施的賦能作用,更好支撐大模型發(fā)展,推動大模型應(yīng)用落地,特編制此研究報(bào)告。

1月8日,在大模型工程化成果發(fā)布會上,中國信息通信研究院(簡稱“中國信通院”)人工智能研究所發(fā)布《高質(zhì)量大模型基礎(chǔ)設(shè)施研究報(bào)告(2024年)》,由中國信通院人工智能研究所平臺與工程化部主任曹峰解讀。

報(bào)告聚焦大模型基礎(chǔ)設(shè)施的五大核心能力領(lǐng)域:計(jì)算、存儲、網(wǎng)絡(luò)、開發(fā)工具鏈和運(yùn)維管理,系統(tǒng)梳理了大模型發(fā)展對基礎(chǔ)設(shè)施提出的新需求,剖析了基礎(chǔ)設(shè)施發(fā)展的關(guān)鍵技術(shù),并提出體系化評價(jià)指標(biāo)。同時(shí),報(bào)告通過分析業(yè)界典型實(shí)踐案例,為企業(yè)建設(shè)高質(zhì)量大模型基礎(chǔ)設(shè)施提供了參考。

報(bào)告核心觀點(diǎn)

1. 計(jì)算資源分配粗放,高效異構(gòu)算力融合調(diào)度成為新需求。一是異構(gòu)資源統(tǒng)一納管。算力資源利舊帶來不同架構(gòu)AI芯片納管需求,大模型在科學(xué)、工業(yè)仿真等領(lǐng)域應(yīng)用加深帶來CPU和AI芯片納管需求。華為、移動、電信等廠商積極推動異構(gòu)智算管理平臺研發(fā),通過統(tǒng)一編程接口、智能調(diào)度等技術(shù),實(shí)現(xiàn)對多類異構(gòu)算力資源協(xié)同管理,提高算力利用率。二是智能化調(diào)度實(shí)現(xiàn)算力經(jīng)濟(jì)最大化。通過自動化監(jiān)控、預(yù)測、自適應(yīng)調(diào)度等技術(shù)優(yōu)化資源利用,采用“AI+歷史數(shù)據(jù)+實(shí)時(shí)數(shù)據(jù)”分析,實(shí)現(xiàn)算力需求精準(zhǔn)預(yù)測,動態(tài)調(diào)度。

2. 海量數(shù)據(jù)處理低效,高性能大模型存儲技術(shù)成為新關(guān)鍵。一是長記憶存儲助力推理降本增效。通過高性能存儲的大范圍全局共享和持久化KV Cache能力,可實(shí)現(xiàn)高性價(jià)比推理加速,經(jīng)企業(yè)實(shí)踐驗(yàn)證,推理吞吐提速可超50%,推理成本顯著下降。二是加速卡直通存儲實(shí)現(xiàn)數(shù)據(jù)直達(dá)。通過加速卡和存儲設(shè)備的數(shù)據(jù)一跳直達(dá),可以消除CPU處理瓶頸,極大提升數(shù)據(jù)從存儲到加速卡的數(shù)據(jù)傳輸效率,經(jīng)企業(yè)實(shí)踐驗(yàn)證,可實(shí)現(xiàn)TB/s級帶寬和億級IOPS,每個(gè)機(jī)架單元的存儲性能可達(dá)50GB/s以上,大幅提升集群可用度。三是數(shù)據(jù)編織技術(shù)提高全流程效率。通過數(shù)據(jù)編織技術(shù),實(shí)現(xiàn)全局?jǐn)?shù)據(jù)可視可管,跨域統(tǒng)一視圖。

3. 并行計(jì)算規(guī)模攀升,高通量大規(guī)模網(wǎng)絡(luò)技術(shù)成為新方案。一是負(fù)載均衡技術(shù)助力解決“算等網(wǎng)”問題。經(jīng)企業(yè)實(shí)踐驗(yàn)證,逐流方案通過定制化的xCCL配合網(wǎng)絡(luò)路徑優(yōu)化,在保證網(wǎng)絡(luò)高可靠性的同時(shí),網(wǎng)絡(luò)鏈路利用率可達(dá)90%以上。逐包方案通過自適應(yīng)路由等技術(shù),可實(shí)現(xiàn)整網(wǎng)吞吐達(dá)到90%以上。二是參數(shù)面、存儲面/樣本面、業(yè)務(wù)面、帶外管理面網(wǎng)絡(luò)互聯(lián)有效提升大模型訓(xùn)練效率。在訓(xùn)前、訓(xùn)中、訓(xùn)后,多網(wǎng)絡(luò)面互聯(lián)解決訓(xùn)練過程涉及的數(shù)據(jù)、模型、模型參數(shù)、檢查點(diǎn)等的寫入和導(dǎo)出問題。

4. 模型參數(shù)急劇增長,高效能大模型開發(fā)技術(shù)成為新解法。一是訓(xùn)練加速技術(shù)涌現(xiàn)支撐大模型高效構(gòu)建。計(jì)算資源優(yōu)化方法通過混合精度計(jì)算等方式,減少計(jì)算和存儲需求,有效提升模型效率。計(jì)算優(yōu)化策略通過算子融合、梯度積累技術(shù)等實(shí)現(xiàn)模型執(zhí)行效率提升。二是推理技術(shù)提升模型推理效率。模型壓縮通過低比特量化、稀疏化等方式實(shí)現(xiàn)模型訓(xùn)中、訓(xùn)后的低損與高效壓縮。推理引擎技術(shù)進(jìn)一步提升推理性能和兼容性。

5. 基礎(chǔ)設(shè)施故障率高,高容錯大模型運(yùn)維技術(shù)成為新手段。一是訓(xùn)前健康檢查保障作業(yè)零隱患運(yùn)行。通過全棧隱患排查,降低作業(yè)啟動失敗頻率,避免計(jì)算資源損失。二是訓(xùn)中故障可預(yù)測、可恢復(fù)。通過智能監(jiān)控告警技術(shù),進(jìn)行端側(cè)監(jiān)控、擁塞分析等輔助故障定位,基于既有運(yùn)維知識庫,實(shí)現(xiàn)異常預(yù)測、RCA根因定位,有效提升集群穩(wěn)定運(yùn)行時(shí)長。

編 輯:路金娣
飛象網(wǎng)版權(quán)及免責(zé)聲明:
1.本網(wǎng)刊載內(nèi)容,凡注明來源為“飛象網(wǎng)”和“飛象原創(chuàng)”皆屬飛象網(wǎng)版權(quán)所有,未經(jīng)允許禁止轉(zhuǎn)載、摘編及鏡像,違者必究。對于經(jīng)過授權(quán)可以轉(zhuǎn)載,請必須保持轉(zhuǎn)載文章、圖像、音視頻的完整性,并完整標(biāo)注作者信息和飛象網(wǎng)來源。
2.凡注明“來源:XXXX”的作品,均轉(zhuǎn)載自其它媒體,在于傳播更多行業(yè)信息,并不代表本網(wǎng)贊同其觀點(diǎn)和對其真實(shí)性負(fù)責(zé)。
3.如因作品內(nèi)容、版權(quán)和其它問題,請?jiān)谙嚓P(guān)作品刊發(fā)之日起30日內(nèi)與本網(wǎng)聯(lián)系,我們將第一時(shí)間予以處理。
本站聯(lián)系電話為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯(lián)系方式,進(jìn)行的“內(nèi)容核實(shí)”、“商務(wù)聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權(quán)。
相關(guān)新聞              
 
人物
中國信通院湯立波:“5G+工業(yè)互聯(lián)網(wǎng)”已進(jìn)入規(guī);l(fā)展新階段
精彩專題
2024通信業(yè)年終盤點(diǎn)
2024數(shù)字科技生態(tài)大會
2024年度中國光電纜優(yōu)質(zhì)供應(yīng)商評選活動
2024全球6G發(fā)展大會
CCTIME推薦
關(guān)于我們 | 廣告報(bào)價(jià) | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務(wù)業(yè)務(wù)經(jīng)營許可證080234號 京公網(wǎng)安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經(jīng)書面許可,禁止轉(zhuǎn)載、摘編、復(fù)制、鏡像