中科大聯(lián)合封神榜團(tuán)隊(duì)發(fā)布中文醫(yī)療領(lǐng)域大模型ChiMed-GPT

　　中科大和 IDEA 研究院封神榜團(tuán)隊(duì)合作開(kāi)發(fā)了一款名為 ChiMed-GPT 的中文醫(yī)療領(lǐng)域大語(yǔ)言模型(LLM)。該模型基于封神榜團(tuán)隊(duì)的 Ziya2-13B 模型構(gòu)建，擁有130億個(gè)參數(shù)，并通過(guò)全方位的預(yù)訓(xùn)練、監(jiān)督微調(diào)和人類(lèi)反饋強(qiáng)化學(xué)習(xí)來(lái)滿足醫(yī)療文本處理的需求。

　　ChiMed-GPT 的訓(xùn)練過(guò)程包括三個(gè)階段:預(yù)訓(xùn)練、監(jiān)督式微調(diào)和人類(lèi)反饋強(qiáng)化學(xué)習(xí)。在預(yù)訓(xùn)練階段，模型使用了2.14億字的醫(yī)學(xué)百科文檔和教科書(shū)文章進(jìn)行繼續(xù)訓(xùn)練，以擴(kuò)展醫(yī)療領(lǐng)域的知識(shí)。在監(jiān)督式微調(diào)階段，模型利用問(wèn)答和醫(yī)患對(duì)話數(shù)據(jù)來(lái)提升在真實(shí)醫(yī)療環(huán)境中理解人類(lèi)指令的能力。在人類(lèi)反饋強(qiáng)化學(xué)習(xí)階段，模型使用拒絕采樣技術(shù)進(jìn)行訓(xùn)練，通過(guò)獎(jiǎng)勵(lì)模型訓(xùn)練和拒絕采樣微調(diào)來(lái)進(jìn)一步提高模型性能。

　　在醫(yī)療信息抽取、問(wèn)答和對(duì)話生成等任務(wù)上，ChiMed-GPT 的性能優(yōu)于其他同規(guī)模的開(kāi)源模型，并且在多個(gè)指標(biāo)上超越了 GPT-3.5。在醫(yī)療信息抽取任務(wù)中，ChiMed-GPT 的性能優(yōu)于通用和醫(yī)學(xué)領(lǐng)域的開(kāi)源模型。在問(wèn)答任務(wù)和對(duì)話生成任務(wù)中，ChiMed-GPT 在多個(gè)評(píng)估指標(biāo)上表現(xiàn)出色，展示了其在實(shí)際應(yīng)用中的廣泛適用性。

　　據(jù)悉，ChiMed-GPT 的研發(fā)對(duì)于提升醫(yī)療智能的重要性具有重要意義。該模型不僅能夠有效處理醫(yī)療文本數(shù)據(jù)，還能生成適合回答患者咨詢的內(nèi)容。