智源研究院開源 AI 硬件評測引擎FlagPerf v1.0

　　智源研究院發(fā)布了 FlagPerf v1.0，這是一個開源開放的 AI 硬件評測引擎。

　　FlagPerf 的評測指標(biāo)體系包括功能正確性指標(biāo)、性能指標(biāo)、資源使用指標(biāo)和生態(tài)適配指標(biāo)。其中，功能正確性指標(biāo)驗證芯片對模型運行的支持，性能指標(biāo)評估芯片的訓(xùn)練時間和計算吞吐量，資源使用指標(biāo)衡量芯片和服務(wù)器其他零部件的使用情況，生態(tài)適配指標(biāo)考察芯片對不同框架和軟件生態(tài)的支持能力。

　　FlagPerf 已經(jīng)涵蓋了自然語言處理、計算機視覺、語音和多模態(tài)等領(lǐng)域的20余個經(jīng)典模型，50余個訓(xùn)練樣例，并與多家 AI 軟硬件廠商進行深度合作，完成了與不同芯片和框架的適配和評測。

　　此外，F(xiàn)lagPerf 還支持多樣例場景和任務(wù)，覆蓋大模型訓(xùn)練推理場景。它不僅支持多種訓(xùn)練框架和推理引擎，還支持多種測試環(huán)境，包括單卡、單機和多機，以全面評估 AI 芯片的性能和適用性。

　　在評測過程中，F(xiàn)lagPerf 嚴(yán)格審核參評代碼，確保結(jié)果公平、過程公正。所有測試代碼都已開源，測試過程和數(shù)據(jù)可復(fù)現(xiàn)。