中科大和 IDEA 研究院封神榜團(tuán)隊(duì)合作開發(fā)了一款名為 ChiMed-GPT 的中文醫(yī)療領(lǐng)域大語言模型(LLM)。該模型基于封神榜團(tuán)隊(duì)的 Ziya2-13B 模型構(gòu)建,擁有130億個(gè)參數(shù),并通過全方位的預(yù)訓(xùn)練、監(jiān)督微調(diào)和人類反饋強(qiáng)化學(xué)習(xí)來滿足醫(yī)療文本處理的需求。
ChiMed-GPT 的訓(xùn)練過程包括三個(gè)階段:預(yù)訓(xùn)練、監(jiān)督式微調(diào)和人類反饋強(qiáng)化學(xué)習(xí)。在預(yù)訓(xùn)練階段,模型使用了2.14億字的醫(yī)學(xué)百科文檔和教科書文章進(jìn)行繼續(xù)訓(xùn)練,以擴(kuò)展醫(yī)療領(lǐng)域的知識(shí)。在監(jiān)督式微調(diào)階段,模型利用問答和醫(yī)患對(duì)話數(shù)據(jù)來提升在真實(shí)醫(yī)療環(huán)境中理解人類指令的能力。在人類反饋強(qiáng)化學(xué)習(xí)階段,模型使用拒絕采樣技術(shù)進(jìn)行訓(xùn)練,通過獎(jiǎng)勵(lì)模型訓(xùn)練和拒絕采樣微調(diào)來進(jìn)一步提高模型性能。
在醫(yī)療信息抽取、問答和對(duì)話生成等任務(wù)上,ChiMed-GPT 的性能優(yōu)于其他同規(guī)模的開源模型,并且在多個(gè)指標(biāo)上超越了 GPT-3.5。在醫(yī)療信息抽取任務(wù)中,ChiMed-GPT 的性能優(yōu)于通用和醫(yī)學(xué)領(lǐng)域的開源模型。在問答任務(wù)和對(duì)話生成任務(wù)中,ChiMed-GPT 在多個(gè)評(píng)估指標(biāo)上表現(xiàn)出色,展示了其在實(shí)際應(yīng)用中的廣泛適用性。
據(jù)悉,ChiMed-GPT 的研發(fā)對(duì)于提升醫(yī)療智能的重要性具有重要意義。該模型不僅能夠有效處理醫(yī)療文本數(shù)據(jù),還能生成適合回答患者咨詢的內(nèi)容。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會(huì)上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽成功舉辦。