EleutherAI發(fā)布最新模型Pile-T5 解決代碼處理相關(guān)任務(wù)局限性

　　EleutherAI最近發(fā)布了一款新的T5模型，名為Pile-T5，旨在解決原始T5模型在處理代碼相關(guān)任務(wù)時(shí)的局限性，以及其分詞器可能遺漏重要代碼標(biāo)記的問題。Pile-T5模型的推出，標(biāo)志著在自然語言處理(NLP)和代碼理解領(lǐng)域的一個(gè)重大進(jìn)步。

　　模型特點(diǎn)

　　訓(xùn)練量增加:Pile-T5模型的訓(xùn)練量是原始T5模型的兩倍，達(dá)到了200萬步或2萬億個(gè)token。這種大規(guī)模的訓(xùn)練使得模型能夠?qū)W習(xí)到更加豐富的語言模式和代碼結(jié)構(gòu)，從而提高了其對(duì)代碼的理解能力。

　　新的預(yù)訓(xùn)練數(shù)據(jù)集:Pile-T5替代了原始T5模型的預(yù)訓(xùn)練數(shù)據(jù)集，采用了新的LLAMA分詞器。這種分詞器專門針對(duì)代碼和文本的混合輸入進(jìn)行了優(yōu)化，能夠更準(zhǔn)確地處理代碼相關(guān)的任務(wù)。

　　訓(xùn)練過程:在訓(xùn)練過程中，Pile-T5使用了與原始T5相同的超參數(shù)，并利用了T5x的技術(shù)。這種技術(shù)允許模型在訓(xùn)練過程中更有效地利用數(shù)據(jù)，提高了訓(xùn)練效率和模型性能。

　　微調(diào)下游任務(wù):Pile-T5在微調(diào)下游任務(wù)時(shí)表現(xiàn)出顯著的改進(jìn)，尤其是在代碼任務(wù)上。這表明Pile-T5在理解和生成代碼方面具有更強(qiáng)的能力。

　　性能評(píng)估

　　SuperGLUE基準(zhǔn)測(cè)試:Pile-T5在SuperGLUE基準(zhǔn)測(cè)試中表現(xiàn)出色，即使在token-matched設(shè)置中也大大超過了T5-v1.1。SuperGLUE是一個(gè)用于評(píng)估模型在多個(gè)NLP任務(wù)上的性能的基準(zhǔn)測(cè)試，包括問答、自然語言推理等任務(wù)。Pile-T5的優(yōu)異表現(xiàn)證明了其在這些任務(wù)上的強(qiáng)大能力。

　　CodeXGLUE "代碼到文本"子任務(wù):Pile-T5在CodeXGLUE的"代碼到文本"子任務(wù)上也顯示出顯著的性能提升。CodeXGLUE是一個(gè)專注于評(píng)估模型在代碼理解和生成方面性能的基準(zhǔn)測(cè)試。Pile-T5在這一任務(wù)上的提升，進(jìn)一步證實(shí)了其在代碼相關(guān)任務(wù)上的優(yōu)勢(shì)。