NeurIPS收錄的一項(xiàng)新研究,讓大模型也學(xué)會(huì)“讀心術(shù)”了!
通過(guò)學(xué)習(xí)腦電波數(shù)據(jù),模型成功地把受試者的腦電圖信號(hào)翻譯成了文本。
而且整個(gè)過(guò)程不需要大型設(shè)備,只要一塊特制的“頭巾”就能實(shí)現(xiàn)。
這項(xiàng)成果名為DeWave,能在不通過(guò)侵入式設(shè)備和MRI的情況下解讀腦電波并翻譯成文本。
由于用了大模型來(lái)讀腦,因此報(bào)道DeWave的iFLScience也管它叫BrainGPT。
DeWave雖然不是最早實(shí)現(xiàn)腦電波解碼的技術(shù),但是它第一個(gè)做到了非侵入且無(wú)需MRI的腦電波-文本轉(zhuǎn)換。
如果能夠規(guī);\(yùn)用,DeWave將為腦部癱瘓的人群提供交流上的幫助。
那么,DeWave的表現(xiàn)到底怎么樣呢?
測(cè)評(píng)成績(jī)超SOTA
由于DeWave采用非侵入式方法,信號(hào)中的噪聲更強(qiáng),解析難度更高,但相比于此前的SOTA方法,DeWave的測(cè)試成績(jī)還是有所提高。
研究團(tuán)隊(duì)采用了公開(kāi)的ZuCo數(shù)據(jù)集,其中包含了一萬(wàn)多個(gè)不重復(fù)的句子;受試者進(jìn)行自然閱讀的同時(shí),研究團(tuán)隊(duì)對(duì)他們的腦信號(hào)和正在閱讀的文本進(jìn)行記錄。腦電波信號(hào)采樣頻率為500Hz,包含128個(gè)信道。
如果輸入的EEG信息已經(jīng)按照眼動(dòng)追蹤方式的特征切分好,那么DeWave大概可以準(zhǔn)確解讀出句子的三分之一;即使不切分也能夠成功捕捉一部分的關(guān)鍵詞。
研究結(jié)果還顯示,DeWave對(duì)單詞的解析準(zhǔn)確率高于整句,對(duì)動(dòng)詞的準(zhǔn)確率高于名詞。
數(shù)據(jù)方面,研究團(tuán)隊(duì)一共讓DeWave對(duì)29名受試者的腦電圖進(jìn)行了采集和解析。
結(jié)果顯示,有切分時(shí),DeWave在BLUE-N數(shù)據(jù)集上成績(jī)比傳統(tǒng)方法高出了3-18%,在ROUGE-1數(shù)據(jù)集上也有最高6.35%的提升。
如果不做切分,DeWave與相同條件的傳統(tǒng)方法相比,表現(xiàn)最多提升了120%。
為了評(píng)估DeWave的魯棒性,團(tuán)隊(duì)對(duì)其進(jìn)行了跨受試者(Cross-subject)測(cè)試。
這輪測(cè)試一共有18名受試者,其中一人的腦電波相信被用于訓(xùn)練。
然后,研究團(tuán)隊(duì)觀察了模型在其他17人上進(jìn)行測(cè)試時(shí)的表現(xiàn),與被用于訓(xùn)練的人差距越小,說(shuō)明模型的魯棒性越強(qiáng)。
結(jié)果顯示,DeWave的分?jǐn)?shù)下降值低于傳統(tǒng)模型,顯示出了更強(qiáng)的魯棒性和泛化能力。
那么,DeWave是如何實(shí)現(xiàn)腦電波解碼的呢?
用大模型解讀腦電波
DeWave的核心是引入了名為“離散碼本”的概念。
通過(guò)向量化編碼器,連續(xù)的腦電圖信號(hào)被拆分為離散形式,分別與詞匯進(jìn)行對(duì)齊。
之后,研究團(tuán)隊(duì)將離散化的數(shù)據(jù)送入Transformer編碼器,得到上下文語(yǔ)義融合的向量表示。
將向量化的文本信息作為監(jiān)督數(shù)據(jù),用得到的向量化信號(hào)對(duì)BART大模型進(jìn)行訓(xùn)練,就得到了DeWave。
新的信號(hào)解析過(guò)程也與之相似——先進(jìn)行離散化和向量化編碼,然后用BART對(duì)其進(jìn)行解讀,就得到了文本信息。
同時(shí),為了增強(qiáng)可解碼性研究團(tuán)隊(duì)還通過(guò)正負(fù)樣本對(duì)編碼進(jìn)行調(diào)節(jié),使DeWave解析出的語(yǔ)義更接近目標(biāo)文本詞向量。
作者簡(jiǎn)介
DeWave團(tuán)隊(duì)一共有五名成員,全都是華人。
第一作者是悉尼科技大學(xué)的Yiqun Duan,來(lái)自H(Human-centric)AI研究中心,研究方向是機(jī)器智能和腦機(jī)接口。
除了DeWave,Duan此前還有一項(xiàng)基于擴(kuò)散模型的“反向成果”——把文字轉(zhuǎn)換成腦電波的工具BrainDiffusion。
該研究中心主任Chin-Teng Lin教授是本文的通訊作者。
同實(shí)驗(yàn)室的Jinzhao Zhou和Yu-Kai Wang,以及悉尼大學(xué)的Zhen Wang也參與了此項(xiàng)目。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國(guó)柏林國(guó)際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場(chǎng)的強(qiáng)大影響力。
近日,中國(guó)家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開(kāi)幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無(wú)人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開(kāi)放原子開(kāi)源基金會(huì)主辦的“2024全球開(kāi)發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。