可驗(yàn)證大模型輸出、訓(xùn)練來源，斯坦福提出“統(tǒng)一歸因”框架

　　隨著ChatGPT等大模型被廣泛應(yīng)用在實(shí)際業(yè)務(wù)中，其輸出內(nèi)容的真實(shí)、可靠、安全性成為了重點(diǎn)。學(xué)術(shù)界則使用“歸因”來表示追查、證實(shí)內(nèi)容。

　　目前，在“歸因”研究領(lǐng)域有兩大派系，一種是協(xié)同歸因，主要追查引用數(shù)據(jù)和訓(xùn)練數(shù)據(jù)來源;另外一種是貢獻(xiàn)歸因，證明模型輸出內(nèi)容的真實(shí)性以減少幻覺。

　　這兩種歸因方法對于法律、醫(yī)療、金融等，對于內(nèi)容準(zhǔn)確率要求極高的行業(yè)應(yīng)用大模型至關(guān)重要。

　　但是這兩種研究方法是分開獨(dú)立進(jìn)行的，所以，斯坦福大學(xué)的研究人員提出了“統(tǒng)一歸因”框架，將兩種方法集成在一起。

　　協(xié)同歸因

　　協(xié)同歸因主要是用來驗(yàn)證大模型的輸出是否正確，并與外部的知識進(jìn)行比較。例如，我們可以通過生成一些相關(guān)的引文或參考文獻(xiàn)來追溯大模型輸出的來源，并驗(yàn)證它的準(zhǔn)確性。

　　同時(shí)可以通過從外部的知識庫中檢索相關(guān)的知識，然后與大模型的輸出進(jìn)行對比和驗(yàn)證。具體功能如下:

　　引文生成驗(yàn)證:該功能是生成與大模型輸出相關(guān)的引文或參考文獻(xiàn)。它會(huì)在知識庫或文獻(xiàn)數(shù)據(jù)庫中搜索相關(guān)的文獻(xiàn)，并根據(jù)大模型輸出的內(nèi)容生成相應(yīng)的引文，以追溯大模型輸出的來源，并驗(yàn)證其準(zhǔn)確性。

　　例如，通過自然語言處理技術(shù)和信息檢索技術(shù)，驗(yàn)證關(guān)鍵詞匹配、文本摘要生成等。

　　知識檢索驗(yàn)證:該功能是從外部的知識庫中檢索與大模型輸出相關(guān)的知識，可以利用知識圖譜、在線百科全書或?qū)�業(yè)數(shù)據(jù)庫等資源，通過關(guān)鍵詞匹配或語義相似度計(jì)算來檢索相關(guān)的知識。

　　然后，將檢索到的知識與大模型的輸出進(jìn)行對比和驗(yàn)證，以確定其準(zhǔn)確性和一致性。

　　事實(shí)驗(yàn)證:可以通過對外部數(shù)據(jù)源或可信的事實(shí)數(shù)據(jù)庫進(jìn)行查詢來實(shí)現(xiàn)，通常利用自然語言處理技術(shù)和數(shù)據(jù)匹配算法，將大模型的輸出與事實(shí)進(jìn)行比對，從而判斷其準(zhǔn)確性和可信度。

　　貢獻(xiàn)歸因

　　貢獻(xiàn)歸因方法主要是用來確定訓(xùn)練數(shù)據(jù)對大模型輸出的影響有多大。例如，我們可以對訓(xùn)練數(shù)據(jù)進(jìn)行微小的變動(dòng)，然后觀察大模型輸出的變化，從而計(jì)算出每個(gè)訓(xùn)練樣本對大模型輸出的影響程度。

　　另外，可以生成一些模擬的數(shù)據(jù)，并比較它們與真實(shí)數(shù)據(jù)集上大模型輸出的差異，這樣就可以推斷出訓(xùn)練數(shù)據(jù)的貢獻(xiàn)程度。具體功能如下:

　　影響函數(shù)驗(yàn)證:通過對訓(xùn)練數(shù)據(jù)進(jìn)行微小的變動(dòng)，觀察大模型輸出的變化來實(shí)現(xiàn)。

　　開發(fā)者可以設(shè)計(jì)一些影響函數(shù)來度量變動(dòng)對大模型輸出的影響程度，就可以確定哪些訓(xùn)練數(shù)據(jù)對大模型輸出具有重要影響，從而更好地理解模型的行為。

　　數(shù)據(jù)模擬器驗(yàn)證:通過生成一些與真實(shí)數(shù)據(jù)相似但有差異的數(shù)據(jù)，可以觀察大模型輸出的差異，從而推斷出真實(shí)數(shù)據(jù)對大模型輸出的貢獻(xiàn)程度。

　　數(shù)據(jù)模擬器驗(yàn)證可以利用生成對抗網(wǎng)絡(luò)(GAN)或其他生成模型來生成模擬數(shù)據(jù)。

　　數(shù)據(jù)模型驗(yàn)證:通過構(gòu)建一個(gè)數(shù)據(jù)模型，用于表示大模型對訓(xùn)練數(shù)據(jù)的學(xué)習(xí)和預(yù)測過程。數(shù)據(jù)模型可以是一個(gè)統(tǒng)計(jì)模型或神經(jīng)網(wǎng)絡(luò)模型。

　　通過分析數(shù)據(jù)模型，開發(fā)者們可以確定哪些訓(xùn)練數(shù)據(jù)對大模型輸出具有重要性，并對模型的訓(xùn)練和優(yōu)化過程進(jìn)行解釋。

　　斯坦福便是將協(xié)同歸因和貢獻(xiàn)歸因的主要功能，整合在一個(gè)框架中方便開發(fā)者對大模型進(jìn)行各種安全、內(nèi)容驗(yàn)證。