英偉達(dá)發(fā)布Project Mellon：基于語音AI交互的AR/VR體驗(yàn)

　　在日前舉行的GTC 2023大會中，英偉達(dá)發(fā)布了可以通過語音控制XR體驗(yàn)的Project Mellon。這是一個輕量級Python包，能夠利用語音AI(NVIDIA Riva)和大型語言模型(NVIDIA-NeMo服務(wù))的強(qiáng)大功能來簡化沉浸式環(huán)境中的用戶交互。開發(fā)者可以點(diǎn)擊這個頁面申請測試資格，探索創(chuàng)建由自然語音命令控制的XR體驗(yàn)。

　　Project Mellon背后的基本理念是，以一種實(shí)用的方式來利用語音人工智能和大型語言模型的力量，從而進(jìn)一步賦能虛擬世界。

　　英偉達(dá)指出，XR中的用戶界面可能復(fù)雜且難以使用，減損了自然沉浸感。Project Mellon允許幾乎任何開發(fā)人員輕松地將自然語言理解添加到自己的應(yīng)用程序中，并將其作為一種新型的以人為中心的免手操作用戶界面。

　　Project Mellon平臺由以下要素組成：Project Mellon SDK NVIDIA Riva (ASR, TTS, NMT) NeMo service (支持其他LLM大型語言模型 )

　　Project Mellon 1.0中的主要功能包括： 輕量級、易于集成的Python庫 LLM支持自然語言理解的準(zhǔn)確性 無需特定命令訓(xùn)練的零樣本語言模型 具有對話和視覺情景的自然語言命令支持 支持詢問有關(guān)命令和場景的問題，并提供自然語言回答 用于理解和執(zhí)行命令的簡單Python API 基于Web的測試應(yīng)用程序 ASR、TTS、LLM和NMT可以在本地或遠(yuǎn)程托管，具有較低的延遲響應(yīng)時間

　　已經(jīng)體驗(yàn)過Project Mellon的ESI Group評價(jià)道：“我們發(fā)現(xiàn)，將對話式人工智能與Project Mellon集成，可以降低協(xié)作XR技術(shù)的入門門檻。通過使用自然語音作為輸入，我們的虛擬人工智能助手可以幫助團(tuán)隊(duì)完成復(fù)習(xí)任務(wù)、查詢可用情況或發(fā)現(xiàn)問題。所有這一切都只需用自然語言提問，無需記住特定命令。”

　　英偉達(dá)則表示：“人工智能正在改變我們與工作和工具互動的方式。通過語音人工智能和Project Mellon，開發(fā)人員可以簡化用戶交互體驗(yàn)。不再需要培訓(xùn)用戶如何操作虛擬現(xiàn)實(shí)中的每一項(xiàng)功能。你可以跳到虛擬現(xiàn)實(shí)應(yīng)用程序中，并用自己的言語來控制體驗(yàn)。”

　　Project Mellon 1.0已經(jīng)正式發(fā)布，開發(fā)者可以點(diǎn)擊這個頁面申請測試資格，探索創(chuàng)建由自然語音命令控制的XR體驗(yàn)。