港大開(kāi)發(fā)V-IRL平臺(tái)：將真實(shí)世界地圖納入虛擬環(huán)境 給AI Agent完整的一生！

　　3月4日 消息:近日，港大和NYU的研究團(tuán)隊(duì)合作開(kāi)發(fā)了一個(gè)名為V-IRL的平臺(tái)，該平臺(tái)將真實(shí)世界的地圖、街景等豐富信息融入到虛擬環(huán)境中，為AI Agent提供了更真實(shí)和完整的生活體驗(yàn)。

　　這項(xiàng)研究的核心在于構(gòu)建一個(gè)可擴(kuò)展的平臺(tái)，利用地理信息和街景圖像等API將AI智能體嵌入到真實(shí)城市環(huán)境中。研究人員使用V-IRL實(shí)例化了一系列智能體，它們可以執(zhí)行各種任務(wù)，如尋找餐館、房源、城市規(guī)劃等。在這個(gè)平臺(tái)上，智能體之間也可以協(xié)作解決復(fù)雜問(wèn)題。

　　此外，研究團(tuán)隊(duì)還進(jìn)行了基于V-IRL的地點(diǎn)識(shí)別、視覺(jué)問(wèn)答和導(dǎo)航等基準(zhǔn)測(cè)試。結(jié)果顯示，視覺(jué)模型在處理多語(yǔ)言圖像數(shù)據(jù)時(shí)面臨挑戰(zhàn)，尤其是在一些地理多樣性的城市中，模型的性能不如人意。

　　然而，這些挑戰(zhàn)并沒(méi)有阻止V-IRL平臺(tái)為AI在現(xiàn)實(shí)世界的應(yīng)用提供廣闊的可能性。通過(guò)對(duì)不同任務(wù)的性能評(píng)估，研究人員展示了這個(gè)平臺(tái)在全球視覺(jué)數(shù)據(jù)處理方面語(yǔ)言和視覺(jué)模型的廣泛應(yīng)用潛力，為提高AI在理解環(huán)境、做出決策和處理現(xiàn)實(shí)世界信息方面的能力開(kāi)啟了新的可能。隨著空間計(jì)算技術(shù)和機(jī)器人系統(tǒng)的日益普及，AI Agent的需求和應(yīng)用場(chǎng)景將不斷擴(kuò)大，我們期待著一個(gè)能夠深刻理解周圍世界的智能體時(shí)代的到來(lái)。

　　這項(xiàng)研究的意義在于，它將AI智能體從傳統(tǒng)的虛擬環(huán)境中解放出來(lái)，讓它們能夠在與真實(shí)世界相似的環(huán)境中進(jìn)行學(xué)習(xí)和交互。通過(guò)與真實(shí)世界的結(jié)合，AI Agent可以更好地理解人類行為和需求，從而為各種實(shí)際任務(wù)提供更準(zhǔn)確、更高效的解決方案。同時(shí)，這項(xiàng)研究也展示了人工智能在未來(lái)城市規(guī)劃、個(gè)人助手、生活輔助工具等領(lǐng)域的巨大潛力，為我們進(jìn)入智能體時(shí)代打下了堅(jiān)實(shí)的基礎(chǔ)。