終于,5202年了,手機(jī)助手也乘著AI的快車,變得越來越好用了!
不僅內(nèi)置了多模態(tài)大模型“大腦”,擁有超強(qiáng)的思考和對話能力,還長出了“眼睛”,可以看到屏幕內(nèi)外的世界。
實(shí)際上,這正是此時此刻AI手機(jī)正在呼喚的一種全新交互方式,期待拉近人與設(shè)備之間的距離,期待讓交互變得更加自然。
手機(jī)之所以是現(xiàn)在這個形態(tài),主要為了適應(yīng)多點(diǎn)觸控的交互方式,從喬布斯時代、從觸屏誕生的那段時間開始就沒有過改變。
但能夠響應(yīng)人的自然語言,和人溝通交互、理解并執(zhí)行指令的助理,才是更加自然的交互方式。
而隨著多模態(tài)能力的解鎖,這種新的科技樹也被點(diǎn)亮,手機(jī)的軟硬件將被重塑。
讓手機(jī)成為你的專屬助理
以最早把“AI手機(jī)”這個概念打在公屏上的OPPO為例,OPPO把多模態(tài)能力引入到了小布助手當(dāng)中,讓它不再只是一個對話機(jī)器,而是能夠更全方位地理解并處理人類的意圖。
通過語音、電源鍵和長按導(dǎo)航條這三種方式,我們就能把小布助手召喚出來,然后動動嘴就能向手機(jī)發(fā)號施令。
不妨先來通過“一鍵問屏”,看看小布助手的強(qiáng)大視覺本領(lǐng)和思考能力。
假如我們看到一棟建筑(上海中心),想要知道它到底是什么,那就可以叫小布助手出場了。
不用傳圖,也不用多解釋,召喚出小布助手后,直接問它這是啥,就能得到滿意的答案。
而且支持多輪對話,可以接著問這里能不能參觀,有什么值得看,甚至直接制定出一份旅游攻略。
并且小布助手的這種視覺能力不僅能識別屏幕里的東西,還能借助相機(jī),“看”見身邊的一切。
假如我們看到了一堆植物(羽衣甘藍(lán))十分好奇:
直接打開相機(jī)對準(zhǔn)它,然后召喚出小布,讓它來告訴我們,而且還能接著追問,這東西能不能吃、怎么吃才好吃。
再插播一句,超級小布助手是首家支持在相機(jī)界面做識屏問答的,后來很多友商也陸續(xù)推出類似功能,說明了小布助手的這種模式,是OPPO的一次成功布局。
而且之所以敢叫超級小布助手,是因?yàn)樗有兩把刷子——不僅有“眼睛”能看、有“頭腦”會思考,還長出了“手腳”,能夠執(zhí)行用戶指令。
還是拿一鍵問屏來舉例,假設(shè)量子位要從公司出發(fā)前往MEET大會現(xiàn)場,那么只要告訴小布助手,我要去屏幕上的這個地方,小布助手就會自動開啟導(dǎo)航。
既不用復(fù)制粘貼目的地地址,也不用手動設(shè)置,說一句話就能即可出發(fā)。
總之呢,全面升級的超級小布助手,確實(shí)讓手機(jī)的使用方式變得和以前不一樣了。
有更多的用戶開始通過小布助手來進(jìn)行手機(jī)的操縱,其中使用電源鍵喚起小布助手的相比前一代提升30%,電源鍵成為了小布助手喚起人數(shù)Top1入口。
而且超級小布助手,還憑借自身的超能力,順帶也完成了一波“用戶教育”的目的——
小布助手的強(qiáng)大能力,反向刺激了用戶的需求,光是一項(xiàng)識屏能力,就直接帶動了百科和教育類的問答需求提升。
用戶數(shù)據(jù)顯示,近30%的一鍵問屏用戶會在相機(jī)界面對準(zhǔn)想要識別的內(nèi)容后,直接喚起小布助手進(jìn)行問答;70%的用戶會在多模態(tài)交互中使用通用問答的功能。
所以,超級小布助手如此神奇的超能力,到底是來自于哪里呢?
背后是自研大模型和智慧框架
能聽、看、說、做的超級小布背后,是集語言、視覺、語音等多種模態(tài)于一體的OPPO SenseNow框架。
先說聽,這是我們和小布助手發(fā)生交互的第一個環(huán)節(jié),SenseNow框架集成了OPPO自主研發(fā)的語音多級喚醒和個性化識別技術(shù),使語音喚醒和識別的準(zhǔn)確率達(dá)到97%以上。
SenseNow框架通過檢索增強(qiáng)多模態(tài)理解技術(shù),具備了“看”的能力,是SenseNow智慧框架的核心,讓超級小布助手實(shí)現(xiàn)了圖文混合檢索,支持1000多種主體的識別。
像前面看到的一系列場景,超級小布助手能夠從根據(jù)看到的畫面回答我們各式各樣的問題,靠的都是這種多模態(tài)理解和檢索能力。
SenseNow框架還集成了生成式語音合成框架,使超級小布助手能夠模擬真人語氣和節(jié)奏,并支持超過20種個性化音色。
可以說,OPPO SenseNow框架讓超級小布助手在看、聽、說上都表現(xiàn)得像一個真實(shí)的人,能夠幫助解答我們所見到的各種疑惑。
但OPPO SenseNow框架還有一大亮點(diǎn),那就是擁有執(zhí)行力。
就像前面看到的,只要給出一個指令,超級小布助手就會根據(jù)圖片中看到的地址喚起導(dǎo)航,按照時間信息加入日程表……
SenseNow智慧框架可以融合語音、文本和圖片等不同類型的信息源,理解用戶的復(fù)雜意圖,完成跨應(yīng)用的無縫操作。
超級小布支持超過1000+項(xiàng)用機(jī)指令,讓用戶只需要簡單的語音指令,就可以完成對應(yīng)的手機(jī)設(shè)置或應(yīng)用操作。
領(lǐng)先能力的背后,OPPO擁有在多模態(tài)領(lǐng)域擁有領(lǐng)先的布局和前瞻性的思考,所以,全新升級的小布,在手機(jī)助手的多模態(tài)時代搶先占據(jù)了一席之地。
多模態(tài)助手正在改變手機(jī)交互方式
小布助手是一個縮影,其所代表的多模態(tài)手機(jī)助手,正在改變著手機(jī)的交互方式。
比如相機(jī)實(shí)景持續(xù)問答——網(wǎng)絡(luò)速度的提升和大模型能力的升級,多模態(tài)大模型可以支持實(shí)時的逐幀視覺識別和分析推理,根據(jù)攝像頭看到的景象和用戶像真人一樣交流,把電影《Her》當(dāng)中的場景搬進(jìn)現(xiàn)實(shí)。
除了我們在大模型領(lǐng)域常見的多模態(tài)(文本、視覺、語音)之外,近年來智能傳感器的技術(shù)也有了飛速的發(fā)展。
手機(jī)上除了常見的攝像頭、麥克風(fēng)外,溫度、氣壓等傳感器技術(shù)也正在逐漸成熟。
通過對更多維度的環(huán)境信息的感知,智能助手可以更清晰地理解用戶當(dāng)前的狀態(tài),通過簡單的指令就可以完成用戶需求。
舉個最簡單的例子,如果用戶問喉嚨不舒服怎么辦,AI可以根據(jù)傳感器獲得的體溫狀況、地理位置、天氣情況和環(huán)境的溫度濕度,綜合判斷給出咨詢建議,比如是要上加濕器,還是要找醫(yī)生尋求幫助。
并且隨著手機(jī)助手的不斷普及,未來像小布這樣搭載多模態(tài)能力的語音助手,將改變?nèi)伺cAPP的交互方式,隨著更多應(yīng)用和服務(wù)API的接入,語音助手調(diào)用服務(wù)將更加高效和流暢。
并且未來還能夠?qū)崿F(xiàn)跨越不同APP的復(fù)雜操作,比如根據(jù)旅行攻略讓語音助手幫你完成沿途所有的行程/住宿和景點(diǎn)門票的預(yù)定安排。
在新的交互模式之下,語音助手不僅可以利用多模態(tài)信息推測人類意圖并調(diào)用適當(dāng)服務(wù),還可以利用記憶能力,了解你說話的風(fēng)格,衣食住行的偏好,并基于當(dāng)前的情況提供個性化服務(wù)推薦,變得更加專屬化、個性化。
想象一下,未來你掏出手機(jī),簡單的一句話AI 就能為你完成所有的安排,那時的手機(jī)就像一個私人助理、像一個伙伴。
到那時,人與硬件之間的關(guān)系也將發(fā)生改變。
回到當(dāng)下,超級小布助手作為OPPO打出的一套AI組合拳中重要的一環(huán),以多模態(tài)智能助理的形態(tài),為打造更加智能化的AI系統(tǒng)、AI手機(jī),徹底改變交互形態(tài)而鋪路。
毫無疑問,超級小布助手這種視覺感知+多模態(tài)智能交互的形式,正是這個方向之上誕生的一大成果。
同時,超級小布助手來自于OPPO,來自于終端廠商,因此擁有系統(tǒng)層級的調(diào)度能力,這更是第三方智能助手類產(chǎn)品無法比擬的優(yōu)勢。
并且用戶數(shù)據(jù)已經(jīng)證明,超級小布助手正在逐漸重塑用戶的使用習(xí)慣,用技術(shù)的跨越倒逼用戶產(chǎn)生新的需求。
OPPO希望,超級小布助手能夠成為實(shí)用專屬的AI伙伴。而目前市場表現(xiàn)看來,已經(jīng)獲得了初步成果。
作為最早把AI手機(jī)打上公屏的手機(jī)玩家,OPPO正在持續(xù)刷新移動交互形態(tài),讓AI重塑手機(jī)能力和邊界。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
2024年的Adobe MAX 2024發(fā)布會上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。