2月24日，在上周DeepSeek宣布本周將是開(kāi)源周（OpenSourceWeek），并將連續(xù)開(kāi)源五個(gè)軟件庫(kù)后。今日上午9：30時(shí)許，DeepSeek宣布開(kāi)源了本次開(kāi)源周首款代碼庫(kù)——針對(duì)Hopper GPU進(jìn)行優(yōu)化的高效型MLA解碼核——FlashMLA。
新浪科技注意到，在GitHub上，目前該項(xiàng)目開(kāi)源6小時(shí)后便已收獲了超過(guò)5000Star收藏，并且擁有188個(gè)Fork（副本創(chuàng)建）。在聽(tīng)到DeepSeek開(kāi)源FlashMLA并迎來(lái)的快速的Star收藏和Fork數(shù)據(jù)增長(zhǎng)后，某港股上市公司CTO在與新浪科技溝通中直呼：“太強(qiáng)了”。
另有專注于AI硬件研究并投資的投資人，在查看FlashMLA后告訴新浪科技，對(duì)于國(guó)產(chǎn)GPU而言，此次開(kāi)源算是重大利好�！按饲暗膰�(guó)產(chǎn)GPU卡，很弱。那現(xiàn)在可以通過(guò)FlashMLA提供的優(yōu)化思路和方法論，嘗試讓國(guó)產(chǎn)卡大幅提升性能，即使架構(gòu)不同，后面國(guó)產(chǎn)卡的推理性能提升將是順理成章的事兒”。
據(jù)DeepSeek官方介紹，F(xiàn)lashMLA基于Hopper GPUs的有效MLA解碼內(nèi)核，可針對(duì)可變長(zhǎng)度序列進(jìn)行優(yōu)化。
在DeepSeek整個(gè)技術(shù)路線中，MLA（多頭潛在注意力機(jī)制）是公司已經(jīng)發(fā)布的V2、V3兩款模型中，最為核心的技術(shù)之一。被用于解決計(jì)算效率和內(nèi)存占用上的性能瓶頸，能夠顯著提升模型訓(xùn)練和推理效率，同時(shí)保持甚至增強(qiáng)模型性能。
此前，中國(guó)工程院院士、清華大學(xué)計(jì)算機(jī)系教授鄭緯民在與新浪科技溝通中曾提及：“DeepSeek自研的MLA架構(gòu)為其自身的模型訓(xùn)練成本下降，起到了關(guān)鍵作用。”他指出，“MLA通過(guò)改造注意力算子壓縮了KV Cache大小，實(shí)現(xiàn)了在同樣容量下可以存儲(chǔ)更多的KV Cache，該架構(gòu)和DeepSeek-V3模型中FFN 層的改造相配合，實(shí)現(xiàn)了一個(gè)非常大的稀疏MoE 層，成為DeepSeek訓(xùn)練成本低最關(guān)鍵的原因�！�
此次DeepSeek直接開(kāi)放MLA解碼核——FlashMLA，意味著DeepSeek將最為核心的MLA底層代碼直接免費(fèi)開(kāi)放，這讓廣大開(kāi)發(fā)群體可以直接復(fù)用FlashMLA代碼庫(kù)實(shí)現(xiàn)用更少的GPU服務(wù)器完成同樣的任務(wù)，直接降低推理成本，這對(duì)于更多希望基于DeepSeek開(kāi)源能力進(jìn)行底層優(yōu)化和AI應(yīng)用開(kāi)發(fā)群體而言，無(wú)疑是一大福利。
有意思的是，DeepSeek此次開(kāi)放的MLA解碼核，主要是針對(duì)Hopper GPU進(jìn)行優(yōu)化用途的。通常而言，Hopper GPU是指基于英偉達(dá)Hopper架構(gòu)研發(fā)的H系列GPU產(chǎn)品。目前，英偉達(dá)該系列芯片已經(jīng)發(fā)布H100、H800和H20等多款芯片。
據(jù)DeepSeek方面介紹，在基準(zhǔn)測(cè)試性能表現(xiàn)上，F(xiàn)lashMLA在英偉達(dá)H800 SXM5 GPU上可實(shí)現(xiàn)3000 GB/s 的內(nèi)存速度以及580TFLOPS的計(jì)算上限。
公開(kāi)資料顯示，根據(jù)美國(guó)出口管制規(guī)定，H800的帶寬上限被設(shè)定為600 GB/s，相比一些旗艦產(chǎn)品有所降低。這意味著，使用FlashMLA優(yōu)化后，H800的內(nèi)存帶寬利用率有望進(jìn)一步提高甚至突破H800 GPU理論上限，在內(nèi)存訪問(wèn)上達(dá)到極致，能讓開(kāi)發(fā)群體充分“壓榨”英偉達(dá)H系列芯片能力，以更少的芯片實(shí)現(xiàn)更強(qiáng)的模型性能，最大化GPU價(jià)值。
有專注于AI硬件研究并投資的投資人在查看FlashMLA后表示，“FlashMLA是能讓LLM在H800跑得更快、更高效的優(yōu)化方案，尤其適用于高性能AI任務(wù)，他的核心是加速大語(yǔ)言模型的解碼過(guò)程，提高模型的響應(yīng)速度和吞吐量，這對(duì)于實(shí)時(shí)生成任務(wù)（如聊chatbot等）非常重要，對(duì)于大模型的能力和使用體驗(yàn)是巨大的促進(jìn)，速度會(huì)明顯提升�！�
雖然FlashMLA是一個(gè)針對(duì)Hopper GPU的優(yōu)化代碼庫(kù)，但對(duì)于國(guó)產(chǎn)GPU而言，此次開(kāi)源也有利好。上述投資人在查看FlashMLA后表示，對(duì)于國(guó)產(chǎn)GPU而言，此次開(kāi)源算是重大利好�！按饲暗膰�(guó)產(chǎn)GPU卡，很弱。那現(xiàn)在可以通過(guò)FlashMLA提供的優(yōu)化思路和方法論，嘗試讓國(guó)產(chǎn)卡大幅提升性能，即使架構(gòu)不同，后面國(guó)產(chǎn)卡的推理性能提升將是順理成章的事兒”。
