地址:聯系地址聯系地址聯系地址
電話:020-123456789
傳真:020-123456789
郵箱:admin@aa.com
摩爾線程基于全新MUSA Compute Capability 3.1計算架構,原生可提供原生FP8計算能力,計算同時升級了高性能線性代數模板庫MUTLASS,線程快速支持了FlashMLA。高效
自DeepSeek啟動“開源周”以來,完成已陸續開源三個代碼庫。適配摩爾線程基于全新MUSA Compute Capability 3.1計算架構,原生可提供原生FP8計算能力,計算同時升級了高性能線性代數模板庫MUTLASS,線程快速支持了FlashMLA。高效不僅如此,完成摩爾線程還基于MUTLASS在全新GPU架構上優化實現了FP8矩陣乘法,適配支持DeepGEMM的原生相應功能,充分展示了摩爾線程MUSA架構和全功能GPU在生態兼容與快速適配上的計算強大優勢。
FlashMLA是線程一款高效的MLA(Multi-Head Latent Attention)推理內核開源倉庫,旨在加速MLA機制的計算,特別適用于DeepSeek系列模型(如DeepSeek-V2、V3和R1)。DeepGEMM是一個支持密集矩陣與混合專家(MoE)矩陣乘法的FP8 GEMM庫,為 V3/R1的訓練與推理提供強大動力。這兩個重要的開源倉庫均基于高性能通用矩陣乘法(GEMM)的C++模板庫進行開發。
摩爾線程基于新一代計算架構MUSA Compute Capability 3.1的全功能GPU,具備全新的Tensor計算引擎及數據搬運引擎,能夠提供原生FP8計算能力。升級的MUTLASS高性能線性代數模板庫支持MUSA Compute Capability 3.1的全新特性,并提供了若干算子的優化參考實現,包括基于FlashAttention3思想實現的FlashMLA以及FP8矩陣乘算子,特別支持DeepSeek訓練所需的Groupwise Scaling FP8矩陣乘法內核函數。得益于全新的Tensor計算引擎,FP8計算具有足夠高的累加精度,無需額外的二次精度修正,為前沿算法的探索打下了堅實基礎。
借助MUTLASS 0.2.0,摩爾線程發布開源倉庫MT-FlashMLA,能夠快速對DeepSeek FlashMLA進行兼容部署。同時摩爾線程MUTLASS提供了一個全新的參考實現,充分汲取FlashAttention3的先進算法思想,針對摩爾線程GPU設計了全新的計算流水線。這一設計能夠有效掩藏數據搬運的延遲和Softmax計算的開銷,充分發揮摩爾線程MUSA Compute Capability 3.1全功能GPU的Tensor計算效率。
作為國內率先原生支持FP8計算精度的國產GPU企業,摩爾線程迅速響應,并快速適配DeepSeek的各個開源倉庫,旨在為更多GPU開發者賦能。摩爾線程始終致力于推動開源生態的發展,通過技術開放與生態共建,加速國產全功能GPU在AI計算領域的規模化應用,為更多用戶提供更智能、高效的解決方案。
地址:聯系地址聯系地址聯系地址
電話:020-123456789
傳真:020-123456789
郵箱:admin@aa.com
0.0605