可驗證大模型輸出、訓練來源，斯坦福提出“統(tǒng)一歸因”框架

　　隨著ChatGPT等大模型被廣泛應(yīng)用在實際業(yè)務(wù)中，其輸出內(nèi)容的真實、可靠、安全性成為了重點。學術(shù)界則使用“歸因”來表示追查、證實內(nèi)容。

　　目前，在“歸因”研究領(lǐng)域有兩大派系，一種是協(xié)同歸因，主要追查引用數(shù)據(jù)和訓練數(shù)據(jù)來源;另外一種是貢獻歸因，證明模型輸出內(nèi)容的真實性以減少幻覺。

　　這兩種歸因方法對于法律、醫(yī)療、金融等，對于內(nèi)容準確率要求極高的行業(yè)應(yīng)用大模型至關(guān)重要。

　　但是這兩種研究方法是分開獨立進行的，所以，斯坦福大學的研究人員提出了“統(tǒng)一歸因”框架，將兩種方法集成在一起。

　　協(xié)同歸因

　　協(xié)同歸因主要是用來驗證大模型的輸出是否正確，并與外部的知識進行比較。例如，我們可以通過生成一些相關(guān)的引文或參考文獻來追溯大模型輸出的來源，并驗證它的準確性。

　　同時可以通過從外部的知識庫中檢索相關(guān)的知識，然后與大模型的輸出進行對比和驗證。具體功能如下:

　　引文生成驗證:該功能是生成與大模型輸出相關(guān)的引文或參考文獻。它會在知識庫或文獻數(shù)據(jù)庫中搜索相關(guān)的文獻，并根據(jù)大模型輸出的內(nèi)容生成相應(yīng)的引文，以追溯大模型輸出的來源，并驗證其準確性。

　　例如，通過自然語言處理技術(shù)和信息檢索技術(shù)，驗證關(guān)鍵詞匹配、文本摘要生成等。

　　知識檢索驗證:該功能是從外部的知識庫中檢索與大模型輸出相關(guān)的知識，可以利用知識圖譜、在線百科全書或?qū)�業(yè)數(shù)據(jù)庫等資源，通過關(guān)鍵詞匹配或語義相似度計算來檢索相關(guān)的知識。

　　然后，將檢索到的知識與大模型的輸出進行對比和驗證，以確定其準確性和一致性。

　　事實驗證:可以通過對外部數(shù)據(jù)源或可信的事實數(shù)據(jù)庫進行查詢來實現(xiàn)，通常利用自然語言處理技術(shù)和數(shù)據(jù)匹配算法，將大模型的輸出與事實進行比對，從而判斷其準確性和可信度。

　　貢獻歸因

　　貢獻歸因方法主要是用來確定訓練數(shù)據(jù)對大模型輸出的影響有多大。例如，我們可以對訓練數(shù)據(jù)進行微小的變動，然后觀察大模型輸出的變化，從而計算出每個訓練樣本對大模型輸出的影響程度。

　　另外，可以生成一些模擬的數(shù)據(jù)，并比較它們與真實數(shù)據(jù)集上大模型輸出的差異，這樣就可以推斷出訓練數(shù)據(jù)的貢獻程度。具體功能如下:

　　影響函數(shù)驗證:通過對訓練數(shù)據(jù)進行微小的變動，觀察大模型輸出的變化來實現(xiàn)。

　　開發(fā)者可以設(shè)計一些影響函數(shù)來度量變動對大模型輸出的影響程度，就可以確定哪些訓練數(shù)據(jù)對大模型輸出具有重要影響，從而更好地理解模型的行為。

　　數(shù)據(jù)模擬器驗證:通過生成一些與真實數(shù)據(jù)相似但有差異的數(shù)據(jù)，可以觀察大模型輸出的差異，從而推斷出真實數(shù)據(jù)對大模型輸出的貢獻程度。

　　數(shù)據(jù)模擬器驗證可以利用生成對抗網(wǎng)絡(luò)(GAN)或其他生成模型來生成模擬數(shù)據(jù)。

　　數(shù)據(jù)模型驗證:通過構(gòu)建一個數(shù)據(jù)模型，用于表示大模型對訓練數(shù)據(jù)的學習和預測過程。數(shù)據(jù)模型可以是一個統(tǒng)計模型或神經(jīng)網(wǎng)絡(luò)模型。

　　通過分析數(shù)據(jù)模型，開發(fā)者們可以確定哪些訓練數(shù)據(jù)對大模型輸出具有重要性，并對模型的訓練和優(yōu)化過程進行解釋。

　　斯坦福便是將協(xié)同歸因和貢獻歸因的主要功能，整合在一個框架中方便開發(fā)者對大模型進行各種安全、內(nèi)容驗證。