E Ink元太科技連三年入選道瓊可持續(xù)雙指數(shù)撬動6000億GTV后,抖音計劃偷襲美團(tuán)大本營AGI Open Network(AON):賦能每個人創(chuàng)建、部署和貨幣化AI Agent貸款利率史上最低了嗎?東融教你看懂歷年啥水平“客服來電”有詐?抖音客服上線“驗證助手”助用戶識別詐騙OpenAI新模型GPT-5研發(fā)未達(dá)預(yù)期:成本高昂 效果不佳曝天馬打入果鏈:為蘋果HomePod供應(yīng)LCD屏 每塊屏僅10美元曝OPPO或首發(fā)新款天璣次旗艦芯片 兩大子品牌Q2發(fā)力諾基亞攜手阿聯(lián)酋運營商e&,展示全球首個固網(wǎng)游戲端到端網(wǎng)絡(luò)切片方案零下25℃制熱26℃!海爾水暖通黑科技亮相冰雪大世界三星沒放棄曲面屏開發(fā)!最新專利曝光暗示有望回歸三大運營商11月成績單:用戶數(shù)據(jù)增幅放緩打造下一個英偉達(dá),孫正義的2026芯片計劃曝光瞭望2025全球6G技術(shù)發(fā)展趨勢AI時代云安全新范式,暢捷通智能守護(hù)小微企業(yè)安全上云百川智能發(fā)布全鏈路領(lǐng)域增強(qiáng)金融大模型 Baichuan4-Finance年末家電消費觀察:品質(zhì)生活類產(chǎn)品熱賣,將持續(xù)迎來剛需式普及?GPT-5研發(fā)受阻:OpenAI 新一代模型難見突破性進(jìn)展新一代語言模型ModernBERT發(fā)布,RAG等任務(wù)處理速度快四倍、成本低新研究顯示:Anthropic 的 Claude AI 在合作能力上領(lǐng)先于 OpenAI 和谷歌模型
  • 首頁 > 云計算頻道 > 大模型

    OpenAI開源GPT-4 SAE,提供1600萬個解釋模式

    2024年06月07日 09:54:47   來源:AIGC開放社區(qū)公眾號

      6月7日凌晨,OpenAI在官網(wǎng)開源了GPT-4的稀疏自動編碼器(Sparse AutoEncoder,簡稱“SAE”)。

      雖然現(xiàn)在大模型的功能越來越強(qiáng),能生成文本、圖片、視頻、音頻等內(nèi)容,但是你無法控制神經(jīng)網(wǎng)絡(luò)生成的內(nèi)容,例如,你問ChatGPT多個相同的問題,可能每一次回答的內(nèi)容都不相同。

      就像我們睡覺做夢一樣,無論你怎么集中注意力還是很難精準(zhǔn)控制腦神經(jīng)形成的夢境。這就會出現(xiàn)很多無法控制的情況,例如,大模型生成的內(nèi)容帶有歧視性、錯誤、幻覺等。

      SAE的主要作用是在訓(xùn)練過程中引入稀疏性約束,幫助大模型學(xué)習(xí)到數(shù)據(jù)的更有意義、更具解釋性的特征表示,使其輸出的內(nèi)容更精準(zhǔn)、安全。所以,SAE對于開發(fā)前沿、超強(qiáng)功能的大模型非常重要。

      早在2023年10月,著名大模型平臺Anthropic發(fā)布了一篇《朝向單義性:通過詞典學(xué)習(xí)分解語言模型》的論文,深度解釋了神經(jīng)網(wǎng)絡(luò)行為的方法。

      Anthropic在一個小型的Transformer架構(gòu)模型進(jìn)行了實驗,將512個神經(jīng)單元分解成4000多個特征,分別代表 DNA 序列、法律語言、HTTP 請求、營養(yǎng)說明等。

      研究發(fā)現(xiàn),單個特征的行為比神經(jīng)元行為更容易解釋、可控,同時每個特征在不同的AI模型中基本上都是通用的。

      而本次OpenAI不僅公布了論文還開源了代碼,同時提供了一個在線體驗地址,與全球開發(fā)者分享他們的研究成果,同時讓用戶深度了解神經(jīng)網(wǎng)絡(luò)生成的內(nèi)容流程,以便更精準(zhǔn)、安全地控制大模型輸出。

      什么控制神經(jīng)網(wǎng)絡(luò)行為很難

      無論你用多么精準(zhǔn)的提示詞,都無法讓DALL·E3、Stable Difusion生成100%相吻合的圖片。這是因為,神經(jīng)網(wǎng)絡(luò)的輸出很大程度上依賴于它們所接受的訓(xùn)練數(shù)據(jù)。

      神經(jīng)網(wǎng)絡(luò)通過大量的樣本數(shù)據(jù)學(xué)習(xí)到復(fù)雜的模式和特征。但是,訓(xùn)練數(shù)據(jù)本身可能包含噪聲、偏差或者數(shù)據(jù)標(biāo)準(zhǔn)不準(zhǔn)確等。這些因素會直接影響神經(jīng)網(wǎng)絡(luò)對輸入數(shù)據(jù)的響應(yīng)。

      例如,讓神經(jīng)網(wǎng)絡(luò)生成一張貓的圖片。如果訓(xùn)練數(shù)據(jù)中有一些不清晰或錯誤標(biāo)記的圖片,例如狗或其他動物的照片,模型可能會在生成貓的圖片時出現(xiàn)混亂,生成出一些看起來不像貓的圖像。同理,文本類的ChatGPT等產(chǎn)品也會出現(xiàn)一本正經(jīng)胡說八道的情況。

      神經(jīng)網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)和參數(shù)設(shè)置極其復(fù)雜。隨著技術(shù)的迭代,目前隨便一個神經(jīng)網(wǎng)絡(luò)模型的參數(shù)都在幾十億甚至數(shù)百億,這些參數(shù)共同決定了模型的行為。

      在訓(xùn)練過程中,我們通過優(yōu)化算法(如梯度下降法)對這些參數(shù)進(jìn)行調(diào)整,但最終模型的表現(xiàn)是所有參數(shù)綜合作用的結(jié)果,而非單一參數(shù)所能決定的。

      這種復(fù)雜性導(dǎo)致我們難以精確預(yù)測或控制任何特定的輸出。例如,如果你調(diào)整一個參數(shù)來讓生成的圖片更有細(xì)節(jié),它可能導(dǎo)致其他部分的圖片出現(xiàn)失真或不自然的效果。

      此外,神經(jīng)網(wǎng)絡(luò)的設(shè)計和訓(xùn)練目標(biāo)通常是為了優(yōu)化整體性能指標(biāo)(如準(zhǔn)確率、損失函數(shù)等),而不是精確到每一個具體的輸出細(xì)節(jié)。例如,在圖像生成中,模型的目標(biāo)可能是生成總體上看起來真實的圖片,而不是控制每一個像素的具體值。

      同樣,在文本生成中,模型的目標(biāo)是生成語法正確、語義連貫的句子,而不是控制每個單詞的具體選擇。例如,一個訓(xùn)練寫詩的模型,目標(biāo)是寫出富有詩意的句子,而不是精確到每一個詞的位置和使用頻率。

      這也就是說,大模型的輸出通常是基于概率分布的采樣,輸出不可避免地帶有一定程度的不確定性。

      OpenAI的SAE簡單介紹

      SAE是一種無監(jiān)督學(xué)習(xí)算法,屬于自編碼器家族的一種,主要用來學(xué)習(xí)輸入數(shù)據(jù)的有效且稀疏的低維表示。在傳統(tǒng)的自編碼器中,數(shù)據(jù)被編碼成一個潛在的低維表示,然后再解碼回原始數(shù)據(jù)空間,目的是使重構(gòu)的數(shù)據(jù)盡可能接近原始輸入。

      而SAE在此基礎(chǔ)上添加了一個關(guān)鍵特性,即對隱藏層的激活進(jìn)行稀疏性約束,這意味著在隱藏層中只有少量的神經(jīng)元會被激活(通常接近0),而大部分神經(jīng)元則保持在非常低的激活水平或者完全不激活。

      從OpenAI公布的論文來看,為了深度理解大模型的單個神經(jīng)元行為,OpenAI使用了一種N2G的方法。

      N2G的核心思想是,如果一個潛在單元在給定的輸入模式下被激活,那么這個單元可能對輸入中的某些特定特征或模式特別敏感

      通過識別這些特征或模式,我們可以為每個潛在單元構(gòu)建一個圖表示,圖中的節(jié)點對應(yīng)于輸入序列中的特定位置,而邊則表示這些位置之間的依賴關(guān)系。這種圖表示可以揭示潛在單元激活的條件,從而提供對模型行為的直觀理解。

      N2G的構(gòu)建過程開始于選擇一些能夠激活特定潛在單元的序列。對于每個序列,N2G尋找最短的后綴,這個后綴仍然能夠激活該潛在單元。這個過程是為了確定潛在單元激活的最小必要條件。

      接著,N2G會檢查內(nèi)容是否可以被填充標(biāo)記替換,以插入通配符,從而允許在解釋中包含變化的部分。此外,N2G還會檢查解釋是否依賴于絕對位置,即在序列的開始處插入填充標(biāo)記是否會影響潛在單元的激活。

      N2G還有一個非常大的技術(shù)優(yōu)勢就是對算力需求很低,與需要模擬整個模型行為的解釋方法相比,N2G只需要分析潛在單元的激活模式即可。

      目前,OpenAI通過SAE在GPT-4模型中找到了1600萬個可解釋的模式和特征,但這還遠(yuǎn)遠(yuǎn)不夠。如果想通過SAE完整捕捉大模型的行為,大概需要10億或數(shù)萬億個特征才可以。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。