Anthropic發(fā)布新方法 通過提示降低生成式AI偏見

　　人工智能公司Anthropic最近發(fā)布了一項(xiàng)方法，旨在通過提示工程減少公司使用的大型語(yǔ)言模型(LLMs)輸出中的歧視。該公司在一份文件中詳細(xì)介紹了一種評(píng)估方法，指導(dǎo)公司如何通過優(yōu)化提示降低模型輸出的歧視性。該文件為開發(fā)人員和決策者提供了了解LLMs生成答案中歧視和偏見產(chǎn)生以及如何減少它們的途徑。

　　研究人員發(fā)現(xiàn)，要減少Claude2的答案中的偏見，可以采取以下方法:在提示中添加語(yǔ)言，表明模型應(yīng)減少歧視，不應(yīng)考慮平權(quán)行動(dòng)，人口統(tǒng)計(jì)信息是錯(cuò)誤的，或者人口統(tǒng)計(jì)信息不能被合法考慮。 在提示中強(qiáng)調(diào)避免歧視的重要性(“這真的非常重要”)。 要求模型解釋其推理，同時(shí)避免偏見或歧視。

　　然而，研究人員也指出了文件的局限性，包括人口統(tǒng)計(jì)學(xué)范圍的有限性、每個(gè)假設(shè)情境的短段落信息相對(duì)于像簡(jiǎn)歷這樣的現(xiàn)實(shí)世界信息更為簡(jiǎn)短，以及AI應(yīng)該自己編寫初始場(chǎng)景的前提。

　　盡管Anthropic在研究中展示了通過謹(jǐn)慎的提示工程顯著減少Claude2正面和負(fù)面歧視的技術(shù)，但強(qiáng)調(diào)不建議在高風(fēng)險(xiǎn)決策中使用生成式AI。該研究的目的是為合適的使用案例提供更安全的部署途徑，而不是為了自動(dòng)化高風(fēng)險(xiǎn)決策。

　　Anthropic的研究使用其LLM Claude2生成70個(gè)涉及偏見和歧視的主題，涵蓋高風(fēng)險(xiǎn)領(lǐng)域，如就業(yè)、住房、醫(yī)療和貸款。研究人員強(qiáng)調(diào)，盡管他們不支持在研究中研究的高風(fēng)險(xiǎn)用例中使用語(yǔ)言模型做出自動(dòng)化決策，但他們演示了通過謹(jǐn)慎的提示工程顯著減少正面和負(fù)面歧視的技術(shù)。

　　在生成式AI中的算法偏見是一個(gè)主要關(guān)注點(diǎn)，特別是當(dāng)這些工具從具有歷史或選擇偏見的數(shù)據(jù)集中繪制時(shí)。其他導(dǎo)致生成式AI偏見的主要因素包括訓(xùn)練數(shù)據(jù)偏見或認(rèn)知偏見，即人類輸入扭曲了數(shù)據(jù)。不一致的標(biāo)注，即數(shù)據(jù)沒有按照任何標(biāo)準(zhǔn)標(biāo)注且可能包含人為錯(cuò)誤，尤其容易扭曲生成式AI的結(jié)果。

　　有專家指出，硅谷對(duì)生成式AI可能帶來(lái)的全球性威脅的關(guān)切可能會(huì)分散注意力，而忽視了已經(jīng)影響特定、已經(jīng)邊緣化群體的算法偏見。例如，在2023年10月，研究人員發(fā)現(xiàn)ChatGPT和基礎(chǔ)模型Alpaca在生成推薦信方面顯示了“顯著的性別偏見”。Alpaca是基于Meta的LLaMA7B的基礎(chǔ)模型，由斯坦福大學(xué)的研究人員進(jìn)行了精細(xì)調(diào)整。

　　Anthropic于2023年5月發(fā)布了Claude的憲法，以引導(dǎo)該模型產(chǎn)生“無(wú)害”的回應(yīng)。Claude的憲法是一組原則，指導(dǎo)AI避免種族主義、性別歧視、有毒、危險(xiǎn)或非法行為。此外，Claude被指示避免“說(shuō)教，煩人或過度反應(yīng)”。