OpenAI開源SimpleQA！輕松檢測、校準大模型能力

　　今天凌晨，OpenAI開源了最新基準測試集SimpleQA，可以幫助開發(fā)者輕松檢測、校準大模型的真實性能力。

　　目前，很多大模型會出現一本正經胡說八道的問題，例如，你提問NBA歷史上得分最多的是誰，它回答是邁克爾喬丹，實際上是勒布朗詹姆斯。包括OpenAI自己發(fā)布的GPT-4o、o1-preview、o1mini等前沿模型都有這些“幻覺”難題。

　　所以，SimpleQA對于開發(fā)者來說，可以精準測試大模型能否輸出正確的答案，并對模型的說謊能力進行校準然后進行大幅度優(yōu)化完善模型能力。

　　有網友表示，看了SimpleQA的測試數據才發(fā)現，o1-mini和o1-preview的性能差距這么大，o1-mini連GPT-4o都打不過。

　　令人驚訝的是，SimpleQA 被有意設計用來挑戰(zhàn)像 GPT-4這樣的高級模型，其中只包括至少有一次模型嘗試失敗的問題。這種對抗性的基準測試方法感覺像是一種大膽的轉變，旨在揭示模型的局限性并推動模型的發(fā)展。

　　多整開源這是好事。別忘了你名字的初衷啊~

　　這很有趣，會看到更多的模型被測試，以及它們與我在提供的文本上進行的虛構/幻覺基準測試結果的比較。

　　很想看看o1模型的完整版測試。

　　完全同意事實性在人工智能中的重要性。SimpleQA 的引入可以顯著提升我們對語言模型在這一領域表現的理解。這是一項及時的舉措，準確的數據對于信任人工智能系統至關重要。期待看到這個基準測試的影響。

　　這很重要，因為確保大模型的事實性對于防止錯誤信息的傳播至關重要，而 SimpleQA 提供了一種標準化的方法來評估和改進模型可靠性的這一關鍵方面。

　　很棒，重要的更新!

　　SimpleQA簡單介紹

　　在數據收集階段，SimpleQA的問題參考答案由兩名獨立的 AI 訓練員確定，并且訓練員在創(chuàng)建問題時被要求提供支持答案的網頁鏈接，以確保答案有可靠的依據。

　　例如，對于 “誰是蘋果公司的創(chuàng)始人之一” 這樣常識性問題，訓練員會根據歷史資料和官方信息確定答案為 史蒂夫喬布斯等，并附上如蘋果公司官方網站等相關鏈接作為證據。

　　同時，問題的設計使得預測答案易于評估，只允許有一個明確且無可爭議的答案，避免了模糊性和歧義性。比如 “哪一年 iPhone 首次發(fā)布”，答案明確為“2007年”，而不是一個范圍或模糊的表述。

　　SimpleQA的評估問題和答案都非常簡短，這使得運行速度快且操作簡單。在評估模型回答時，通過 OpenAI API進行評分也十分迅速。數據集中包含4326個問題，能夠在一定程度上降低不同次運行之間的方差，使評估結果更加穩(wěn)定可靠。

　　例如，在對多個模型進行測試時，不會因為數據集本身的不穩(wěn)定性而導致結果出現較大波動，從而能夠更準確地比較模型之間的性能差異。

　　SimpleQA的評估集非常多元化。涵蓋歷史、科學技術、藝術、地理、電視節(jié)目等多個領域。這種多樣性使得評估結果更具普遍性和代表性，能夠全面地檢驗模型在不同知識領域的事實性回答能力。

　　另一個好處是它的校準測量功能。通過詢問模型對其答案的信心，研究者可以了解模型是否知道它們知道什么，這是一個很重要的校準現象。如果一個模型能夠準確地評估自己的信心水平，那么它就是一個校準良好的模型。

　　OpenAI通過SimpleQA對GPT-4o、o1-preview、o1mini、Claude-3-haiku、Claude-3-sonnet等前沿模型進行了綜合測試。結果顯示，較大模型通常具有更高的性能，但即使是前沿模型在SimpleQA 上的表現也并非完美。

　　例如，GPT -4o 在回答一些問題時能夠給出較高比例的正確答案，但仍有部分錯誤回答和未嘗試回答的情況。同時，通過測量模型的校準情況，發(fā)現模型雖然有一定的信心概念，但普遍存在高估自己信心的問題，模型的信心水平與實際回答的準確性之間存在差距。