UIUC華人團(tuán)隊(duì)揭秘代碼集成到LLM訓(xùn)練數(shù)據(jù)中的好處

　　1月29日 消息:伊利諾伊大學(xué)香檳分校的研究團(tuán)隊(duì)發(fā)表了關(guān)于代碼集成到LLM訓(xùn)練數(shù)據(jù)中的好處。這項(xiàng)研究概述了代碼預(yù)訓(xùn)練對(duì)LLM的影響，并追蹤了LLM作為智能智能體時(shí)的作用。將LLM連接到其他功能終端有助于模型更準(zhǔn)確地執(zhí)行任務(wù)，具備獲取外部知識(shí)和多種模態(tài)數(shù)據(jù)的能力。

　　然而，選擇反饋信號(hào)時(shí)需要謹(jǐn)慎，因?yàn)猷须s的提示可能會(huì)影響模型在下游任務(wù)上的表現(xiàn)。此外，研究人員認(rèn)為在訓(xùn)練數(shù)據(jù)中加強(qiáng)代碼屬性可以直接提高模型的推理能力。

　　研究人員設(shè)想探索多樣化的訓(xùn)練目標(biāo)和新穎的架構(gòu)將為進(jìn)一步增強(qiáng)模型推理能力提供更多機(jī)會(huì)。對(duì)于數(shù)據(jù)密集型領(lǐng)域中更復(fù)雜的任務(wù)，模型需要精確掌握各種功能終端的使用方法，這是將LLM連接到不同的功能終端時(shí)面臨的挑戰(zhàn)。