百度王海峰：文心大模型4.0推理性能提升50倍

　　10月30日 消息:在近日的第二十屆中國計算機大會上，百度首席技術(shù)官王海峰表示，百度在3月16日發(fā)布知識增強大語言模型文心一言，目前文心一言的基礎(chǔ)模型已迭代到文心大模型4.0版本。知識增強大語言模型從數(shù)萬億數(shù)據(jù)和數(shù)千億知識中融合學(xué)習(xí)，得到預(yù)訓(xùn)練大模型，在此基礎(chǔ)上采用有監(jiān)督精調(diào)、人類反饋強化學(xué)習(xí)、提示等技術(shù)，具備知識增強、檢索增強和對話增強的技術(shù)優(yōu)勢。

　　王海峰表示，基于更強平臺、更優(yōu)數(shù)據(jù)、更好算法，我們訓(xùn)練出規(guī)模更大、效果更好的文心大模型4.0。通過飛槳與文心的協(xié)同優(yōu)化，模型周均訓(xùn)練有效率超過98%，訓(xùn)練算法效率提升3.6倍，推理性能提升50倍。文心4.0的理解、生成、邏輯、記憶四大能力顯著提升，其中理解和生成能力的提升幅度相近，而邏輯和記憶能力的提升則更大，邏輯的提升幅度達(dá)到理解的近3倍，記憶的提升幅度也達(dá)到了理解的2倍多。

　　公開數(shù)據(jù)顯示，文心一言面向全社會開放一個多月，用戶規(guī)模達(dá)到4500萬，開發(fā)者5.4萬，場景4300個，應(yīng)用825個，插件超過500個。飛槳和文心生態(tài)愈加繁榮，已凝聚800萬開發(fā)者，服務(wù)22萬家企事業(yè)單位，基于飛槳創(chuàng)建了80萬個模型。