5G確定性工業(yè)基站首商用,工業(yè)互聯(lián)網(wǎng)走上新高度李飛飛團(tuán)隊(duì)前瞻性研究 多模態(tài)AI模型初顯空間智能AI終于邁過這道檻!Livekit 開源模型精準(zhǔn)識(shí)別“你是否說完”!DeepSeek開源大模型開發(fā)者之一羅福莉?qū)⒓用诵∶?/a>廣汽詳解旗下首款復(fù)合翼飛行汽車 GOVY AirJet:最高飛行速度可達(dá) 250km/h清華大學(xué)聯(lián)合騰訊出品!ColorFlow:自動(dòng)給黑白漫畫上色,保持角色一致性Adobe推新AI音頻具Sketch2Sound ,只需哼唱和模仿聲音就能創(chuàng)建音效家庭能源智聯(lián)自由 海辰儲(chǔ)能發(fā)布首套免安裝家庭微網(wǎng)系統(tǒng)HeroESOpenAI發(fā)布o(jì)3:AI 推理能力的重大突破,得分高達(dá)87.5%亞馬遜云科技推出Amazon Q Developer新功能小象超市,摸著美團(tuán)外賣出海E Ink元太科技連三年入選道瓊可持續(xù)雙指數(shù)撬動(dòng)6000億GTV后,抖音計(jì)劃偷襲美團(tuán)大本營AGI Open Network(AON):賦能每個(gè)人創(chuàng)建、部署和貨幣化AI Agent貸款利率史上最低了嗎?東融教你看懂歷年啥水平“客服來電”有詐?抖音客服上線“驗(yàn)證助手”助用戶識(shí)別詐騙OpenAI新模型GPT-5研發(fā)未達(dá)預(yù)期:成本高昂 效果不佳曝天馬打入果鏈:為蘋果HomePod供應(yīng)LCD屏 每塊屏僅10美元曝OPPO或首發(fā)新款天璣次旗艦芯片 兩大子品牌Q2發(fā)力諾基亞攜手阿聯(lián)酋運(yùn)營商e&,展示全球首個(gè)固網(wǎng)游戲端到端網(wǎng)絡(luò)切片方案
  • 首頁 > 產(chǎn)經(jīng)新聞?lì)l道 > 業(yè)界新聞

    英偉達(dá)發(fā)布Project Mellon:基于語音AI交互的AR/VR體驗(yàn)

    2023年03月24日 16:55:57   來源:映維網(wǎng)

      在日前舉行的GTC 2023大會(huì)中,英偉達(dá)發(fā)布了可以通過語音控制XR體驗(yàn)的Project Mellon。這是一個(gè)輕量級(jí)Python包,能夠利用語音AI(NVIDIA Riva)和大型語言模型(NVIDIA-NeMo服務(wù))的強(qiáng)大功能來簡化沉浸式環(huán)境中的用戶交互。開發(fā)者可以點(diǎn)擊這個(gè)頁面申請(qǐng)測試資格,探索創(chuàng)建由自然語音命令控制的XR體驗(yàn)。

      Project Mellon背后的基本理念是,以一種實(shí)用的方式來利用語音人工智能和大型語言模型的力量,從而進(jìn)一步賦能虛擬世界。

      英偉達(dá)指出,XR中的用戶界面可能復(fù)雜且難以使用,減損了自然沉浸感。Project Mellon允許幾乎任何開發(fā)人員輕松地將自然語言理解添加到自己的應(yīng)用程序中,并將其作為一種新型的以人為中心的免手操作用戶界面。

      Project Mellon平臺(tái)由以下要素組成:Project Mellon SDK NVIDIA Riva (ASR, TTS, NMT) NeMo service (支持其他LLM大型語言模型 )

      Project Mellon 1.0中的主要功能包括: 輕量級(jí)、易于集成的Python庫 LLM支持自然語言理解的準(zhǔn)確性 無需特定命令訓(xùn)練的零樣本語言模型 具有對(duì)話和視覺情景的自然語言命令支持 支持詢問有關(guān)命令和場景的問題,并提供自然語言回答 用于理解和執(zhí)行命令的簡單Python API 基于Web的測試應(yīng)用程序 ASR、TTS、LLM和NMT可以在本地或遠(yuǎn)程托管,具有較低的延遲響應(yīng)時(shí)間

      已經(jīng)體驗(yàn)過Project Mellon的ESI Group評(píng)價(jià)道:“我們發(fā)現(xiàn),將對(duì)話式人工智能與Project Mellon集成,可以降低協(xié)作XR技術(shù)的入門門檻。通過使用自然語音作為輸入,我們的虛擬人工智能助手可以幫助團(tuán)隊(duì)完成復(fù)習(xí)任務(wù)、查詢可用情況或發(fā)現(xiàn)問題。所有這一切都只需用自然語言提問,無需記住特定命令。”

      英偉達(dá)則表示:“人工智能正在改變我們與工作和工具互動(dòng)的方式。通過語音人工智能和Project Mellon,開發(fā)人員可以簡化用戶交互體驗(yàn)。不再需要培訓(xùn)用戶如何操作虛擬現(xiàn)實(shí)中的每一項(xiàng)功能。你可以跳到虛擬現(xiàn)實(shí)應(yīng)用程序中,并用自己的言語來控制體驗(yàn)。”

      Project Mellon 1.0已經(jīng)正式發(fā)布,開發(fā)者可以點(diǎn)擊這個(gè)頁面申請(qǐng)測試資格,探索創(chuàng)建由自然語音命令控制的XR體驗(yàn)。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時(shí)

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽成功舉辦。