MIT研究團(tuán)隊(duì)發(fā)布MechGPT：力學(xué)與材料建模的語(yǔ)言先鋒，跨足多領(lǐng)域、尺度和模態(tài)

　　近日，MIT的研究人員在力學(xué)和材料建模領(lǐng)域取得了重要突破，推出了一款名為MechGPT的語(yǔ)言模型。該模型不僅能夠橋接各種尺度、學(xué)科和模態(tài)，還能夠高效地從科學(xué)文本中提取關(guān)鍵信息。在材料科學(xué)領(lǐng)域，研究人員常常需要從密集的科學(xué)文本中提煉出重要的見解，這需要導(dǎo)航復(fù)雜的內(nèi)容，并生成包含材料核心的連貫問題-答案對(duì)。

　　為了解決這一挑戰(zhàn)，MIT的研究團(tuán)隊(duì)引入了MechGPT，它采用了一種創(chuàng)新的方法。該模型首先利用預(yù)訓(xùn)練語(yǔ)言模型，通過(guò)兩步處理生成有深度見解的問題-答案對(duì)。與傳統(tǒng)方法不同的是，MechGPT不僅僅是信息提取，還提高了關(guān)鍵事實(shí)的清晰度。為了實(shí)現(xiàn)這一目標(biāo)，模型經(jīng)過(guò)了基于PyTorch和Hugging Face生態(tài)系統(tǒng)的精心培訓(xùn)，采用Llama2變壓器架構(gòu)，具有40個(gè)變壓器層，并利用旋轉(zhuǎn)位置嵌入來(lái)擴(kuò)展上下文長(zhǎng)度。

　　在培訓(xùn)過(guò)程中，研究人員引入了低秩適應(yīng)(LoRA)和4位量化等創(chuàng)新技術(shù)，以提高模型的能力。LoRA涉及在微調(diào)過(guò)程中集成額外的可訓(xùn)練層，同時(shí)凍結(jié)原始預(yù)訓(xùn)練模型，防止模型擦除其初始知識(shí)基礎(chǔ)。最終，這帶來(lái)了更高的內(nèi)存效率和更快的培訓(xùn)速度。

　　除了基礎(chǔ)的MechGPT模型，研究人員還進(jìn)行了兩個(gè)更大的模型的培訓(xùn)，分別是MechGPT-70b和MechGPT-70b-XL。通過(guò)這些創(chuàng)新的技術(shù)和模型培訓(xùn)，MechGPT在科學(xué)文本中提取知識(shí)的挑戰(zhàn)性領(lǐng)域中嶄露頭角，展示出超越傳統(tǒng)語(yǔ)言模型的潛力。這一成果在聊天界面中具體體現(xiàn)，為用戶提供對(duì)Google Scholar的訪問，為未來(lái)的拓展構(gòu)建了橋梁。

　　綜合而言，MechGPT不僅在材料科學(xué)領(lǐng)域展現(xiàn)出了巨大的潛力，而且通過(guò)創(chuàng)新的技術(shù)和培訓(xùn)過(guò)程，其應(yīng)用領(lǐng)域不僅限于傳統(tǒng)語(yǔ)言模型。作為語(yǔ)言模型領(lǐng)域的先鋒，MechGPT的出現(xiàn)標(biāo)志著語(yǔ)言模型動(dòng)態(tài)演變的里程碑，為知識(shí)提取開辟了新的領(lǐng)域。