作為本屆亞運會辦賽理念之一,“智能”貫穿于杭州亞運會全的各個方面。
為服務(wù)正在舉辦的第19屆亞運會,在北京大學(xué)黃鐵軍教授及仉尚航研究員的指導(dǎo)下,北京大學(xué)莊棨寧學(xué)生團隊基于多模態(tài)大模型的研究,結(jié)合視覺、語言、語音等多種模態(tài)的輸入,推出高速運動AI 多語種解說系統(tǒng),為觀眾提供更豐富的觀賽體驗。這也是多模態(tài)大模型技術(shù)首次在國際大型綜合性體育賽事中的落地和嘗試。
同時,團隊著眼于具身智能研究,研發(fā)基于多模態(tài)大模型的人工智能助理來提供導(dǎo)覽引領(lǐng)、場景解說、物品抓取等服務(wù),為殘障和需要幫助的人士創(chuàng)造更為人性化的互動方式和友好體驗。
AI“復(fù)刻”賽事解說員
“除卻君身三重雪,天下誰人配白衣。”
東京奧運會上中國運動員楊倩奪得首金身披白色領(lǐng)獎服時,賽事解說員用這句“神仙”解說詞擊中了無數(shù)觀眾的心。
事實上,一場精彩的體育比賽不僅取決于運動員雙方的比拼,解說員在其中的價值也不可忽略。競賽解說員不僅會在解說中提供關(guān)于球隊、運動員和比賽背景的信息,幫助觀眾更好地理解比賽的重要性和背后的故事,經(jīng)驗豐富的解說員還能夠深入分析比賽,揭示比賽中的策略和技巧,使觀眾能夠更好地理解比賽的每一個環(huán)節(jié),從而提高觀賽的樂趣。
當(dāng)比賽出現(xiàn)精彩一刻,優(yōu)秀的解說員還能夠通過解說傳達(dá)激情和情感,更好地帶動觀眾的情緒,為賽事瞬間增色添彩,甚至成為永恒經(jīng)典。
然而受限于人手問題,并不是每場體育賽事都會安排解說員,特別是亞運會這類國際大型賽事,同一時間有多場比賽進行,并且不是所有的解說員都適合解說所有的體育項目,很多相對小眾的賽事就會缺少解說員,更無法想象一位解說員可以使用多種語言、面向不同的語言的受眾做解說。
基于此,北大莊棨寧學(xué)生團隊面向乒乓球、跆拳道、跳水、體操等賽事,推出了高速運動 AI 解說系統(tǒng),系統(tǒng)可以輔助錄播頻道調(diào)用多模態(tài)大模型能力,理解視頻內(nèi)容,并生成中文、英語、藏語、阿拉伯等多種語言的解說,讓信息傳遞給更多有實際需求的人。
圖:AI智能解說通過感知場景并生成解說
莊棨寧介紹說,這一技術(shù)通過高速攝像機的脈沖信號檢測場景物體和運動員,將能夠捕捉體育比賽中的關(guān)鍵時刻,并生成高質(zhì)量的集錦和相關(guān)數(shù)據(jù),基于多模態(tài)大模型算法和深度學(xué)習(xí)模型對這些運動數(shù)據(jù)進行分析,基于分析結(jié)果,系統(tǒng)再生成提供實時的個性化解說服務(wù),從而為各個語種的觀眾都能提供個性化的體驗。
智能愛心輔助助手讓AI有溫度
大型賽事活動通常會為東道主城市帶來顯著的經(jīng)濟、環(huán)境等變化,但由于人流量激增,城市公共區(qū)域會面臨巨大壓力。據(jù)預(yù)測,亞運會期間的杭州也將迎來近年來最密集的游客潮,外地游客量將超過2000萬人次,加上本屆杭州亞運會來自亞洲45個國家和地區(qū)代表團的12527名運動員,亞運期間杭州的人流大增。
在杭州市公共區(qū)域,莊棨寧學(xué)生團隊打造了具身智能機器人軟件服務(wù)系統(tǒng),用于亞運會期間的導(dǎo)航指引與幫助服務(wù)。這套系統(tǒng)可以為觀眾提供導(dǎo)覽服務(wù),協(xié)助視障人士進行引領(lǐng)和導(dǎo)航,解析視障人士需求并完成相應(yīng)任務(wù),幫助視障人士撿拾掉落的物品等。
目前,在杭州市的一些亞運會志愿者服務(wù)點,已經(jīng)有市民看到一個機器人外觀的智能體在為視力障礙人士服務(wù)。
圖:杭州市民在體驗莊棨寧學(xué)生團隊的具身智能機器人軟件服務(wù)系統(tǒng)
“很榮幸能夠?qū)⑽覀兊乃鶎W(xué)、所研轉(zhuǎn)化為可以服務(wù)每個人的應(yīng)用,讓AI服務(wù)人們的普通生活。”莊棨寧介紹說,為本次亞運會打造的具身智能機器人軟件服務(wù)系統(tǒng),是基于團隊自研的感知生成一體化多模態(tài)大模型,能夠精準(zhǔn)地感知與理解場館內(nèi)外的視覺場景,生成準(zhǔn)確、豐富的語言描述,控制機器人執(zhí)行智能志愿者服務(wù)任務(wù)。
同時,團隊將多模態(tài)大模型與具身智能相結(jié)合,使得人工智能可以更好的感知和理解物理世界,再更好地做決策,最終實現(xiàn)人工智能和物理世界更好地交互。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設(shè)計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。