EN

分布式大模型訓練系統

15.png

清華大學計算機系 PACMAN 實驗室開發了 FastMoE, FasterMoE 等支持超大模型訓練的并行加速框架. 針對具有動態性的大規模預訓練模型的分布式訓練系統, FasterMoE 在負載均衡, 計算通信重疊, 網絡擁塞等性能瓶頸進行了深入分析和性能優化, 獲得了高達 17 倍的效率提升. FastMoE 支撐了悟道百萬億級大模型的訓練工作。

文本正文
復制文本
媒體聯絡
media@baai.ac.cn
大鸡巴操逼网站