斯坦福研究稱：ChatGPT在部分任務(wù)表現(xiàn)變蠢 準(zhǔn)確率下降

　　斯坦福大學(xué)和加州大學(xué)伯克利分校的研究人員發(fā)表了一篇論文，研究了 OpenAI 的 ChatGPT 大語(yǔ)言模型(LLM)在2023年3月至6月之間發(fā)生的變化。

　　他們發(fā)現(xiàn)，在經(jīng)過(guò)三個(gè)月的評(píng)估后，ChatGPT 的性能在某些任務(wù)上明顯惡化。例如，在判斷質(zhì)數(shù)和顯示思考過(guò)程的任務(wù)中，GPT-4的準(zhǔn)確率下降了95.2%，而 GPT-3.5的準(zhǔn)確度大幅上升，提升了79.4%，從7.4%提高到了86.8%。另一個(gè)用限定符求一系列整數(shù)之和的問(wèn)題在 GPT-4和 GPT-3.5中也出現(xiàn)了性能下降，分別為負(fù)42% 和20%。

　　與3月份相比，6月份的GPT-4更能抵抗越獄或通過(guò)特定提示規(guī)避內(nèi)容保護(hù)邊界，這一變化很可能被視為該公司的一項(xiàng)改進(jìn)。

　　研究人員認(rèn)為，提高監(jiān)測(cè)和透明度可以避免 LLM 漂移的問(wèn)題。這項(xiàng)研究揭示了企業(yè)在考慮采用生成式 AI 產(chǎn)品時(shí)需要注意的新領(lǐng)域，并稱之為 “LLM 漂移”。要應(yīng)對(duì) LLM 漂移的影響，企業(yè)需要保持警惕，并進(jìn)行連續(xù)的外部評(píng)估和監(jiān)測(cè)。