百川智能發(fā)布全鏈路領(lǐng)域增強(qiáng)金融大模型 Baichuan4-Finance年末家電消費(fèi)觀察:品質(zhì)生活類產(chǎn)品熱賣,將持續(xù)迎來剛需式普及?GPT-5研發(fā)受阻:OpenAI 新一代模型難見突破性進(jìn)展新一代語言模型ModernBERT發(fā)布,RAG等任務(wù)處理速度快四倍、成本低新研究顯示:Anthropic 的 Claude AI 在合作能力上領(lǐng)先于 OpenAI 和谷歌模型谷歌向投資者保證人工智能本月將迎來“驚人”表現(xiàn)多模態(tài)大模型引爆應(yīng)用場(chǎng)景 階躍星辰完成數(shù)億美元融資星動(dòng)紀(jì)元發(fā)布端到端原生機(jī)器人大模型ERA-42 實(shí)現(xiàn)機(jī)器人復(fù)雜場(chǎng)景操作免費(fèi)模式強(qiáng)攻下,快手、抖音用“短劇VIP”反擊?低碳存儲(chǔ)助力算力產(chǎn)業(yè) 富士膠片首次亮相IDC大會(huì)行業(yè)唯一!海爾熱聲熱泵技術(shù)獲全國顛覆性技術(shù)創(chuàng)新大賽最高獎(jiǎng)OPPO A5 Pro首創(chuàng)獵手天線架構(gòu):信號(hào)能穿十堵墻一加 Ace 5 Pro首發(fā)電競(jìng)Wi-Fi芯片G1 帶來「穿墻王」和「搶網(wǎng)王」般的網(wǎng)絡(luò)體驗(yàn)電視市場(chǎng)又出黑馬!TCL同檔Mini LED音畫王P12K,萬象分區(qū)打造超強(qiáng)控光!零下25℃如何取暖?海爾水暖通溫暖驛站亮相冰雪大世界馬太效應(yīng),強(qiáng)者恒強(qiáng)?——《中國企業(yè)科創(chuàng)力研究報(bào)告(2024)》美團(tuán)年度報(bào)告竟然用上了AI和短。窟@下是真出圈了消息稱上汽大眾正開發(fā)三款新車,技術(shù)分別來自小鵬、智己和榮威鴻蒙智行泊車代駕VPD正式開啟全量推送!升級(jí)自動(dòng)泊車/接駕等多項(xiàng)功能華為官方翻新手機(jī)最高降價(jià)4000元
  • 首頁 > 云計(jì)算頻道 > 大模型

    幻覺率直降40%,中國電信千億參數(shù)「星辰大模型」炸場(chǎng),業(yè)界首提緩解多輪幻覺解決方案

    2023年11月15日 10:13:49   來源:機(jī)器之心公眾號(hào)

      在近日舉辦的 2023 年數(shù)字科技生態(tài)大會(huì)人工智能與數(shù)據(jù)產(chǎn)業(yè)發(fā)展合作論壇論壇上,我們見到了中國電信星辰系列大模型的最新升級(jí),以及針對(duì)上述問題所提出的一系列技術(shù)創(chuàng)新。

      其中,星辰語義大模型正式發(fā)布了千億參數(shù)版本,在推理和回答準(zhǔn)確性方面都有顯著提升,并將上下文窗口提到了 96K Token。特別是,中國電信首次提出了緩解多輪幻覺的解決方案,使得大模型的幻覺率降低了 40%。

      與此同時(shí),中國電信還宣布將加入到開源開放的行列中,預(yù)計(jì)今年年底開源百億級(jí)別的大模型,明年 4 月則會(huì)開源千億級(jí)別的大模型,旨在讓更多研究者和開發(fā)者從中受益。此外,中國電信還將根據(jù)星辰大模型構(gòu)建各種工具鏈,以滿足不同用戶的需求。

      「幻覺率」降低 40%,星辰語義大模型是如何做到的?

      大模型的幻覺問題,是學(xué)界和業(yè)界都非常關(guān)心的問題,也是其落地應(yīng)用面臨的最難挑戰(zhàn)之一。

      在千億參數(shù)大模型發(fā)布之前,星辰語義大模型已經(jīng)具備了多版本穩(wěn)定可用的大模型基座,覆蓋 3B、7B、12B 和 130B 等參數(shù)量級(jí)。

      在目前的大模型領(lǐng)域,百億參數(shù)是一種非常主流的選擇,這也是各家公司基于推理成本等因素的選擇。至于為什么選擇升級(jí)打造千億參數(shù)版本的星辰語義大模型,何忠江也解釋了背后的思考。

      我們都知道,大模型的底層架構(gòu)是「預(yù)測(cè)下一個(gè) token」,導(dǎo)致其容易產(chǎn)生「幻覺」,給出事實(shí)上不正確的陳述。何忠江認(rèn)為,從另外一個(gè)角度看,這恰恰反映了大模型像人一樣,是因?yàn)椴]有真正理解問題,才會(huì)回答出風(fēng)馬牛不相及的內(nèi)容。解決辦法可以是加強(qiáng)數(shù)據(jù)溯源,也可以是增加參數(shù)量,這些都能讓大模型學(xué)到更多的東西,并真正地理解一個(gè)事物,而不是「胡說八道」。

      讓人最為關(guān)注的是,中國電信千億參數(shù)星辰語義大模型在業(yè)界首次提出了緩解多輪幻覺的解決方案,將模型幻覺率降低了 40%。這一方案包括四項(xiàng)關(guān)鍵技術(shù):

      關(guān)鍵信息注意力增強(qiáng)技術(shù):通過對(duì)關(guān)鍵信息進(jìn)行注意力增強(qiáng),可以提升模型理解能力和答案回復(fù)一致性的能力,較大程度緩解模型幻覺問題;

      知識(shí)圖譜強(qiáng)化:通過知識(shí)圖譜確保訓(xùn)練數(shù)據(jù)集知識(shí)事實(shí)性,并通過知識(shí)圖譜知識(shí)提示能力輔助模型知識(shí)問答能力提升,大幅降低模型幻覺,提高通用問答準(zhǔn)確率。

      多輪知識(shí)記憶和強(qiáng)化技術(shù):通過采用更優(yōu)模型知識(shí)記憶方案,以及關(guān)聯(lián)信息的強(qiáng)化訓(xùn)練方案,增強(qiáng)了模型上下文記憶能力和關(guān)聯(lián)知識(shí)理解能力,增強(qiáng)了上下文回復(fù)一致性,降低了模型幻覺問題;

      知識(shí)溯源能力:通過多種湖源方式,關(guān)聯(lián)問題相關(guān)參考出處,生成答案更加可靠。

      另一方面,中國電信將此前的百億參數(shù)增加到千億級(jí)別,使得星辰語義大模型獲得了很大的性能提升:

      首先,星辰語義大模型在長文本生成和長文理解上提升尤其明顯,分別有 30% 和 20% 的提升;其次,在知識(shí)問答方面提升 18%,在對(duì)內(nèi)開放平臺(tái)上回答正確率更可達(dá) 98%,可支持 96K Token 上下文理解;此外,邏輯推理、數(shù)學(xué)能力和代碼能力等方面,也有 10-15% 不等的提升。

      截止目前,電信大模型已在電信內(nèi)外多個(gè)場(chǎng)景落地:對(duì)內(nèi)可提升辦公、生產(chǎn)協(xié)同效率,包括了行文寫作、代碼編程、網(wǎng)絡(luò)故障分析以及經(jīng)營分析等多場(chǎng)景;對(duì)外可賦能 2B 和 2G 業(yè)務(wù)場(chǎng)景,提質(zhì)提效、優(yōu)化體驗(yàn)。同時(shí),中國電信也聯(lián)合多樣化的工具輔助,來提高大模型在不同領(lǐng)域下的使用體驗(yàn),包括外掛知識(shí)、插件使用以及百余種預(yù)置 Prompts。

      從對(duì)話框走向千行百業(yè),大模型落地還需要什么?

      人們都在期待著規(guī)模化的 AI 應(yīng)用誕生,而這種成果必將來自于大模型的底層創(chuàng)新。

      除了讓大語言模型的本行 —— 文本的理解與生成能力不斷進(jìn)化之外,科技巨頭也競(jìng)相推出多模態(tài)方面的更新,將更多 AI 驅(qū)動(dòng)的工具直接集成到核心產(chǎn)品中。比如這幾個(gè)月來,OpenAI 陸續(xù)賦予了 ChatGPT 看(GPT-4V)、聽(Whisper)、說(最新 TTS 技術(shù))、畫(DALL・E)的能力。

      前幾天,OpenAI 召開了自家的首場(chǎng)開發(fā)者大會(huì)。全新升級(jí)后的 GPT-4 Turbo API ,將這些多模態(tài)能力開放給了每一位用戶。當(dāng)多模態(tài)能力被整合,必然會(huì)催生很多場(chǎng)景化應(yīng)用。

      何忠江指出,實(shí)際場(chǎng)景中的大模型應(yīng)用不僅是一個(gè)簡(jiǎn)單的對(duì)話框,需要與多模態(tài)模型聯(lián)動(dòng),才能真正去改變一些工作的流程和思路,提高其效率。而我們此前所熟悉的大模型 —— 語義大模型會(huì)是整個(gè)通用人工智能的核心,起到類似人類大腦的思考作用。

      因此,在星辰語義大模型的打造過程中,中國電信同時(shí)開發(fā)了星辰多模態(tài)大模型和星辰語音大模型。

      在這場(chǎng)論壇中,中國電信隆重介紹了星辰多模態(tài)大模型,該模型主要聚焦提升圖文生成、圖文理解能力,訓(xùn)練了超過 12 億各種風(fēng)格數(shù)據(jù),支持近 20 種繪畫風(fēng)格,中文意象理解生成能力提升 30%,語義細(xì)粒度生成效果提升 25%。

      此外,星辰語音大模型也是一大亮點(diǎn)。據(jù)介紹,星辰語音大模型基于數(shù)十萬小時(shí)語音數(shù)據(jù)進(jìn)行訓(xùn)練,具備精準(zhǔn)的多語種 / 方言語音識(shí)別、語音實(shí)時(shí)自定義敏感詞檢測(cè)、超自然多音色語音生成和編輯、聲音匿名等多項(xiàng)語音能力,支持智能會(huì)議、智慧辦公、智能客服、智能語音機(jī)器人等多場(chǎng)景解決方案。

      以「智能客服」為例,何忠江介紹說,此前 TTS 技術(shù)已經(jīng)能夠合成非常優(yōu)美的聲音,但還遠(yuǎn)遠(yuǎn)算不上自然,接電話的人很容易識(shí)別出聲音是否由機(jī)器生成,這就是 TTS 技術(shù)在落地智能客服應(yīng)用受到的最大阻礙。據(jù)統(tǒng)計(jì),這類合成人聲的掛斷率甚至達(dá)到 70% 左右。

      要想破解應(yīng)用的問題,就要依靠技術(shù)創(chuàng)新,達(dá)到「高仿真」。星辰語音大模型目前已經(jīng)實(shí)現(xiàn)「超自然人聲合成」,比如下面這段聲音,聽起來和真人發(fā)音別無二致,語氣詞和停頓節(jié)奏都比較還原:

      在通用模型之外,面向垂直領(lǐng)域的行業(yè)大模型也是各個(gè)廠商的「必爭(zhēng)之地」。構(gòu)建一個(gè)智能對(duì)話框不是最難的,讓大模型融入具體的業(yè)務(wù)、成為新的生產(chǎn)工具更重要。對(duì)此,中國電信已早早布局。

      本次論壇中,中國電信宣布了首批試商用 12 個(gè)行業(yè)大模型,包括星辰教育大模型、治理大模型、政務(wù)服務(wù)大模型、應(yīng)急大模型、醫(yī)保大模型、交通大模型、住建大模型、金融大模型、神農(nóng)一號(hào)大模型、出行大模型、旅游導(dǎo)覽大模型、礦山大模型。

      比如星辰教育大模型,這是中國電信基于教育行業(yè)億級(jí)服務(wù)數(shù)據(jù)沉淀,訓(xùn)練出具有國家中英文作文特級(jí)教師水平的「精準(zhǔn)教學(xué)大模型」,15 秒就能完成一篇中英文作文的打分、點(diǎn)評(píng)和改進(jìn)建議,目前已在河南 1.2 萬師生教學(xué)中應(yīng)用并取得良好的效果。再比如星辰基層治理大模型,主要應(yīng)用場(chǎng)景包括矛盾調(diào)節(jié)助手、線上法律顧問和公文助手等,目前已在某些城市的多個(gè)基層社區(qū)上線應(yīng)用。

      通用人工智能,越來越近

      轉(zhuǎn)眼間,距離 ChatGPT 發(fā)布已經(jīng)快過去一年,熱度卻絲毫未減。究其原因,是因?yàn)榇竽P徒K于清晰地指出了一條前往通用人工智能的路。

      一直以來,中國電信都將通用人工智能的目標(biāo)當(dāng)成長期努力的方向。近年來,從視覺、語音、語義到集各種模態(tài)能力于一身的數(shù)字人,中國電信目前已完成了全面布局,很多技術(shù)成果也逐漸投入實(shí)際生產(chǎn)使用。

      談到對(duì)通用人工智能的理解,何忠江表示,這仍然是一條漫長的道路,包括「感知智能」、「認(rèn)知智能」、「具身智能」、「群體智能」幾種階段。

      理想中的人工智能是像人一樣能看、能聽、會(huì)思考。借助視覺和語音的技術(shù),模型把信息采集到以后,核心是要對(duì)信息做出判斷,給出下一步的決策思路,這其實(shí)就是大語言模型在目前階段起到的作用。

      當(dāng)這種決策能力落在虛擬空間中的數(shù)字人或是現(xiàn)實(shí)空間中的機(jī)器人,就意味著「具身智能」的誕生,假如數(shù)字人和機(jī)器人能夠相互協(xié)作、統(tǒng)籌和調(diào)度,這就意味著「群體智能」誕生了,通用人工智能在這個(gè)過程中離我們?cè)絹碓浇?/p>

      比如在下方這個(gè)案例中,星辰語義大模型用來撰寫宣傳主題文案,星辰多模態(tài)大模型用來繪制產(chǎn)品海報(bào),在這個(gè)過程中,數(shù)字人起到了下達(dá)指令的作用,也可視為人類的「數(shù)字分身」。

      最開始,數(shù)字人將任務(wù)描述為:「中國電信有一款最新的產(chǎn)品是直連衛(wèi)星的產(chǎn)品,我們假設(shè)要給這款產(chǎn)品做一些廣告宣傳的文案,我們應(yīng)該通過大模型怎么來做?」短短兩分鐘,一張精美的海報(bào)就完成了。

      面向下一階段的競(jìng)爭(zhēng),中國電信的萬億大模型已經(jīng)開啟訓(xùn)練計(jì)劃,并預(yù)計(jì)將于明年 5 月份完成。據(jù)了解,電信萬億參數(shù)大模型是以「成長策略」進(jìn)行訓(xùn)練,是首個(gè)萬億稠密大模型,將擁有更高階的「智能」。

      可以想象的是,在不遠(yuǎn)的未來,融合語言、視覺和語音等多模態(tài)能力的大模型將會(huì)適應(yīng)現(xiàn)實(shí)世界中不同模態(tài)的任務(wù),逐漸接近甚至超越人類的水平。曾經(jīng)只會(huì)出現(xiàn)在科幻作品的情節(jié),終將走進(jìn)現(xiàn)實(shí)。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時(shí)

    新聞

    明火炊具市場(chǎng):三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽成功舉辦。