全新推理框架SymbCoT 讓大模型實(shí)現(xiàn)類人的符號邏輯推理能力

　　新加坡國立大學(xué)聯(lián)合加州大學(xué)圣芭芭拉分校與奧克蘭大學(xué)的研究人員提出了一種名為SymbCoT(Symbolic Chain-of-Thought)的全新推理框架，旨在提升大語言模型(LLMs)的符號邏輯推理能力。這一框架結(jié)合了符號化邏輯表達(dá)式與思維鏈，極大提升了推理的質(zhì)量、魯棒性與可信度。SymbCoT框架已被ACL2024錄用。

　　SymbCoT框架包含四個(gè)主要部分:翻譯、規(guī)劃、執(zhí)行和驗(yàn)證。翻譯模塊將邏輯推理任務(wù)中的前提和結(jié)論翻譯成符號化表達(dá);規(guī)劃模塊根據(jù)自然語言與符號化表達(dá)生成邏輯推理計(jì)劃;執(zhí)行模塊遵循邏輯推理規(guī)則驗(yàn)證結(jié)論的邏輯正確性;驗(yàn)證模塊通過對比翻譯前后的語義信息，驗(yàn)證翻譯和執(zhí)行過程中是否存在錯誤。

　　實(shí)驗(yàn)結(jié)果表明，SymbCoT在三個(gè)復(fù)雜邏輯推理數(shù)據(jù)集上的表現(xiàn)均優(yōu)于傳統(tǒng)思維鏈(CoT)和使用外部推理工具的方法。具體來說，在GPT3.5-turbo和GPT-4上，SymbCoT的性能分別提升了22.08%、9.31%和7.88%。此外，SymbCoT在復(fù)雜場景推理、可信度和魯棒性方面也優(yōu)于現(xiàn)有方法。

　　SymbCoT的優(yōu)勢在于:

　　復(fù)雜推理能力:SymbCoT在處理更深層次推理問題時(shí)表現(xiàn)更佳。

　　魯棒性:SymbCoT在執(zhí)行符號表達(dá)式語法時(shí)的成功率顯著提高，顯示出對語法錯誤的魯棒性。

　　可信的邏輯推理:與傳統(tǒng)CoT相比，SymbCoT基于嚴(yán)密的邏輯推理和驗(yàn)證，有效消除了過程中的不可信因素。

　　符號與自然語言混合表達(dá):SymbCoT通過結(jié)合符號和自然語言表達(dá)來糾正翻譯錯誤并增強(qiáng)邏輯推理的有效性。

　　不同LLM的影響:SymbCoT與更先進(jìn)的模型(如GPT-4)之間的協(xié)同效應(yīng)更為顯著。