國(guó)產(chǎn)4o大模型，秒懂國(guó)風(fēng)李子柒

　　又一個(gè)國(guó)產(chǎn)版《Her》，就這么水靈靈地來(lái)了。

　　作為一個(gè)實(shí)時(shí)語(yǔ)音對(duì)話的功能，效果好不好，實(shí)測(cè)見(jiàn)分曉。

　　我們直接以近期的大熱點(diǎn)——李子柒復(fù)出作為話題，來(lái)上一番對(duì)話:

　　可以看到，這個(gè)AI對(duì)于“李子柒復(fù)出”這樣相對(duì)較新的話題，信息的掌握也是較為全面。

　　它先是用“太震撼了”來(lái)表達(dá)了對(duì)這件事的整體感受，并且精準(zhǔn)、高度總結(jié)內(nèi)容為:

　　用中國(guó)非物質(zhì)文化遺產(chǎn)漆器為主題的視頻，這個(gè)選擇本身就是對(duì)傳統(tǒng)文化的致敬。

　　當(dāng)問(wèn)及對(duì)視頻內(nèi)容更具體的感受，國(guó)產(chǎn)《Her》仿佛一個(gè)李子柒的人類粉絲:

　　依舊保持高標(biāo)準(zhǔn)，每一幀都像一幅畫面;她的視頻總能讓人感受到一種寧?kù)o與美好。

　　不僅如此，國(guó)產(chǎn)《Her》甚至還能對(duì)網(wǎng)友們的討論做總結(jié)，包括李子柒為了做了漆器，背后所付出的努力和刻苦精神。

　　而且從整個(gè)對(duì)話過(guò)程來(lái)看，這個(gè)AI在語(yǔ)言表達(dá)方式上也是與人類無(wú)異，例如語(yǔ)氣和自然的停頓等等;即使是隨意地打斷，也是完全OK的哦~

　　同樣的話題，我們給到GPT-4o這邊:

　　嗯，GPT-4o知道李子柒，但是知道的不多。

　　無(wú)論是中文還是英文提問(wèn)，由于它的知識(shí)是截止到了2023年10月，所以對(duì)于實(shí)時(shí)的新聞熱點(diǎn)，GPT-4o是無(wú)法hold住的。

　　那么這個(gè)國(guó)產(chǎn)《Her》，何許AI也?

　　不賣關(guān)子，它正是來(lái)自昆侖萬(wàn)維的Skyo，基于天工大模型4.04o版(Skywork4o)打造。

　　那么除了能夠跟蹤時(shí)事熱點(diǎn)，Skyo還能解鎖哪些能力?

　　更多實(shí)測(cè)，Let’s go on~

　　聊天隨意打斷，話題不掉地上

　　OpenAI大約半年前發(fā)布GPT-4o實(shí)時(shí)語(yǔ)音對(duì)話功能的時(shí)候，現(xiàn)場(chǎng)和網(wǎng)上觀眾較為震驚的，便是它不論如何被打斷，都能馬上接上話。

　　雖然在剛才李子柒的例子中，我們已經(jīng)體現(xiàn)了一些“隨時(shí)打斷”的能力，所以我們這次再加一點(diǎn)難度。

　　隨時(shí)打斷，中英切換

　　我們這次測(cè)試的話題是去西雅圖旅行，來(lái)看下Skyo能給出什么樣的建議:

　　在我們提出了簡(jiǎn)潔的需求之后，Skyo便唰唰唰地開(kāi)始制定旅程計(jì)劃了。

　　而當(dāng)它提到西雅圖標(biāo)志性景點(diǎn)太空針?biāo)�時(shí)，我們進(jìn)行了第一次打斷(00:50)，Skyo也隨即停止了回答，開(kāi)始聆聽(tīng)新問(wèn)題。

　　當(dāng)Skyo要繼續(xù)拓展對(duì)太空針?biāo)�的介紹，我們隨即第二次打斷(01:09);第三次打斷(01:38)我們直接用英文進(jìn)行提問(wèn):

　　OK， sounds good， by the way， can you recommand some Seattle dishes I should try?

　　然后Skyo也是聽(tīng)懂了英文需求，立即開(kāi)始推薦當(dāng)?shù)刂�名的咖啡餐廳。

　　這一輪的隨時(shí)打斷+中英文切換，Skyo，通過(guò)。

　　不讓話掉到地上

　　在真實(shí)生活中，很多i人在與人溝通交流過(guò)程中，或許會(huì)出現(xiàn)接不上話的情況。

　　那么如果我們以話題終結(jié)者的姿態(tài)與Skyo交流，又會(huì)是什么效果?來(lái)，開(kāi)整:

　　我們先是以“電影”為由頭，主動(dòng)開(kāi)啟了一個(gè)話題。

　　但Skyo在反問(wèn)的時(shí)候，我們連續(xù)兩次冷漠回答了“沒(méi)有”(00:27)、“也沒(méi)有”(00:47)。

　　第一次話題被終結(jié)，Skyo很巧妙地把話題從電影轉(zhuǎn)向了音樂(lè)或書籍;二次話題被終結(jié)，Skyo聯(lián)系上下文(因?yàn)槭俏覀円噪娪伴_(kāi)啟的話題)，它就開(kāi)始講述自己對(duì)電影的看法了。

　　總而言之，把話掉地上，這事兒在Skyo這邊是不能存在的。

　　情感陪伴，“人”聲可變

　　自打?qū)υ掝怉I大模型問(wèn)世以來(lái)，情感陪伴，無(wú)疑成了很多用戶的一種剛需。

　　那么Skyo是否也能在人們難受之際帶來(lái)一份心靈的慰藉呢?

　　請(qǐng)看VCR:

　　在我們提出“被老板罵了”這樣的情景之后，Skyo會(huì)用自己的方式來(lái)引導(dǎo)我們看開(kāi)一些。

　　而當(dāng)被要求切換女聲聲音時(shí)(00:42)，Skyo也是有求必應(yīng)，秒變女聲，然后有理有據(jù)地羅列觀點(diǎn)進(jìn)行心理開(kāi)導(dǎo)。

　　由此可見(jiàn)，Skyo作為新晉國(guó)產(chǎn)實(shí)時(shí)語(yǔ)音對(duì)話產(chǎn)品，在多個(gè)維度的測(cè)試中都屬于達(dá)標(biāo)了的那種。

　　那么接下來(lái)的一個(gè)問(wèn)題:

　　怎么做到的?

　　Skyo實(shí)時(shí)語(yǔ)音對(duì)話助手是一個(gè)多模態(tài)大模型項(xiàng)目，應(yīng)用了端到端實(shí)時(shí)語(yǔ)音對(duì)話建模技術(shù)。

　　其強(qiáng)大的記憶功能使其能夠在對(duì)話中追蹤并回憶用戶的偏好與歷史信息，從而提升多輪對(duì)話的準(zhǔn)確性。

　　這種精細(xì)的技術(shù)積累，使得Skyo在高強(qiáng)度的對(duì)話交互中依然保持卓越的穩(wěn)定性與流暢性。

　　除此之外，Skyo采用了全雙工和低延遲的實(shí)時(shí)語(yǔ)音對(duì)話架構(gòu)。

　　全雙工意味著該助手能夠同時(shí)進(jìn)行聽(tīng)和說(shuō)的操作，用戶無(wú)需按下對(duì)話開(kāi)始和結(jié)束按鈕即可實(shí)現(xiàn)無(wú)縫交流，這就讓人機(jī)的互動(dòng)變得更加自然和高效。

　　在技術(shù)測(cè)試中，Skyo以其低延遲的實(shí)時(shí)響應(yīng)接近人類思考的反應(yīng)時(shí)間，體現(xiàn)了在對(duì)話響應(yīng)速度方面的顯著優(yōu)勢(shì)。

　　在互動(dòng)能力方面，Skyo擁有較好的情感理解與個(gè)性化記憶功能。

　　它不僅可以記錄用戶的歷史偏好，還能根據(jù)用戶需求提供個(gè)性化的互動(dòng)體驗(yàn)，例如提供溫暖的女聲或更具情感色彩的回應(yīng)。

　　這使得Skyo在非正式、非固定場(chǎng)景下，能夠保持一種尊重且平等的人機(jī)交互體驗(yàn)。

　　Skyo的卓越性能依賴于其多模態(tài)模型的應(yīng)用，使其能夠在多種場(chǎng)景中保持高質(zhì)量的交互體驗(yàn)。

　　例如，用戶可以與助手討論最新的科技新聞，助手能夠根據(jù)用戶的請(qǐng)求，從科技資源庫(kù)中檢索相關(guān)信息并進(jìn)行異步交互，增強(qiáng)用戶的互動(dòng)感與沉浸體驗(yàn)。

　　此外，Skyo系統(tǒng)的自研特性使其在互聯(lián)網(wǎng)語(yǔ)音交互與應(yīng)用場(chǎng)景中具有出色的適應(yīng)性。

　　通過(guò)自研的數(shù)據(jù)積累與語(yǔ)音交互技術(shù)，Skyo實(shí)現(xiàn)了實(shí)時(shí)、高效且個(gè)性化的溝通體驗(yàn)，使得用戶在每次對(duì)話中都能感受到近乎無(wú)障礙的人機(jī)互動(dòng)與溫暖陪伴。

　　以上就是昆侖萬(wàn)維“煉”成Skyo背后的秘籍了。

　　又拼上一塊多模態(tài)“拼圖”

　　最后，我們聊回到實(shí)時(shí)語(yǔ)音對(duì)話助手本身。

　　雖然GPT-4o可以說(shuō)是率先打開(kāi)了這一市場(chǎng)的大門，但時(shí)至今日類似的產(chǎn)品仍然存在諸多痛點(diǎn)。

　　例如現(xiàn)有產(chǎn)品在多語(yǔ)言支持方面仍有不足，難以滿足全球用戶的需求;再如它們雖然在語(yǔ)義理解和生成方面表現(xiàn)出色，但在情感理解和個(gè)性化記憶方面仍有待提升。

　　此外，實(shí)時(shí)語(yǔ)音對(duì)話助手在響應(yīng)速度和流暢性方面也需要進(jìn)一步優(yōu)化，以此來(lái)確保用戶體驗(yàn)的連貫性和自然性。

　　但最重要的一點(diǎn)，或許還屬消息的實(shí)時(shí)性了，畢竟我們平時(shí)聊天也都更傾向于談?wù)勔恍┬迈r的事物。

　　從這次的實(shí)測(cè)中不難發(fā)現(xiàn)，Skyo在諸多維度上已經(jīng)符合要求，是在實(shí)時(shí)語(yǔ)音對(duì)話助手領(lǐng)域發(fā)展中打了個(gè)樣的那種。

　　至于對(duì)昆侖萬(wàn)維在大模型時(shí)代自身的發(fā)展，Skyo可以說(shuō)是有拼上了一塊多模態(tài)的“拼圖”。

　　這一點(diǎn)，把它在每個(gè)節(jié)點(diǎn)的產(chǎn)品鋪開(kāi)來(lái)看，便可一目了然了。

　　首先就是其大底座天工大模型系列，包括天工1.0、天工2.0、天工3.0，近期還將邀測(cè)天工大模型4.0O1版，具備中文邏輯推理和反思能力。

　　其次在其它模態(tài)上，還包括AI搜索(天工AI搜索)、AI音樂(lè)(天工SkyMusic)、AI社交(linky)、AI視頻(AI短劇平臺(tái)SkyReels)等。

　　加上此次的Skyo，昆侖萬(wàn)維稱得上是國(guó)內(nèi)在多模態(tài)與工程能力，以及布局全面型上的佼佼者了。

　　One More Thing

　　據(jù)了解，Skyo即將集成在天工AI的APP中。

　　屆時(shí)，除了我們展示的能力之外，還會(huì)有生成音樂(lè)、主動(dòng)交流以及更多個(gè)性化交互等眾多新能力哦~

　　那么這樣的實(shí)時(shí)語(yǔ)音對(duì)話助手，是否聊到你的心趴上了呢?