日本立命館大學(xué)的Hiroyuki Tomiyama教授領(lǐng)導(dǎo)的研究團(tuán)隊最近開發(fā)了一種名為“Dynamic Point-Pixel Feature Alignment Network”(DPPFA−Net)的創(chuàng)新模型,旨在解決3D物體檢測中對小目標(biāo)檢測困難的問題。該模型采用了多模態(tài)方法,巧妙地結(jié)合了3D LiDAR數(shù)據(jù)和2D圖像,以在惡劣天氣條件下提高性能。
在目前技術(shù)飛速發(fā)展的機(jī)器人和自動駕駛汽車領(lǐng)域,準(zhǔn)確感知環(huán)境對于確保工作和交通的安全與高效至關(guān)重要。傳統(tǒng)的3D物體檢測方法主要使用LiDAR傳感器創(chuàng)建環(huán)境的3D點(diǎn)云,通過激光束快速掃描和測量源周圍物體和表面的距離。然而,僅使用LiDAR數(shù)據(jù)可能在惡劣天氣條件下產(chǎn)生誤差,尤其是在雨天。
為了解決這一問題,科學(xué)家們開發(fā)了多模態(tài)3D物體檢測方法,將3D LiDAR數(shù)據(jù)與標(biāo)準(zhǔn)相機(jī)拍攝的2D RGB圖像相結(jié)合。盡管2D圖像和3D LiDAR數(shù)據(jù)的融合可以產(chǎn)生更準(zhǔn)確的3D檢測結(jié)果,但仍然面臨一系列挑戰(zhàn),其中準(zhǔn)確檢測小物體尤為困難。
DPPFA−Net模型包括三個新穎模塊的多個實例:Memory-based Point-Pixel Fusion (MPPF)模塊,Deformable Point-Pixel Fusion (DPPF)模塊和Semantic Alignment Evaluator (SAE)模塊。MPPF模塊負(fù)責(zé)在模態(tài)內(nèi)部特征(2D與2D和3D與3D)以及模態(tài)間特征(2D與3D)之間執(zhí)行明確的交互,通過將2D圖像作為內(nèi)存庫,降低網(wǎng)絡(luò)學(xué)習(xí)難度,提高對3D點(diǎn)云中噪聲的魯棒性。
與此相反,DPPF模塊僅在關(guān)鍵位置的像素上執(zhí)行交互,通過智能采樣策略確定這些位置,從而在低計算復(fù)雜性下以高分辨率融合特征。最后,SAE模塊在融合過程中確保兩種數(shù)據(jù)表示之間的語義對齊,緩解特征模糊問題。
研究人員通過與廣泛使用的KITTI Vision Benchmark中的表現(xiàn)最佳模型進(jìn)行比較,測試了DPPFA−Net的性能。值得注意的是,在不同噪聲條件下,提出的網(wǎng)絡(luò)在平均精度方面取得了高達(dá)7.18%的改進(jìn)。為了進(jìn)一步測試模型的能力,團(tuán)隊通過在KITTI數(shù)據(jù)集中引入人工多模態(tài)噪聲(如雨水),創(chuàng)建了一個新的嘈雜數(shù)據(jù)集。
結(jié)果顯示,與現(xiàn)有模型相比,該網(wǎng)絡(luò)不僅在面對嚴(yán)重遮擋時表現(xiàn)更好,而且在不同水平的惡劣天氣條件下也更為出色。Tomiyama教授表示:“我們對KITTI數(shù)據(jù)集和具有挑戰(zhàn)性的多模態(tài)嘈雜案例進(jìn)行的廣泛實驗表明,DPPFA-Net達(dá)到了新的技術(shù)水平。”
準(zhǔn)確的3D物體檢測方法在改善我們的生活方面有多種潛在應(yīng)用。依賴于這些技術(shù)的自動駕駛汽車有望減少事故、提高交通流暢度和安全性。此外,在機(jī)器人領(lǐng)域的影響也不可忽視。Tomiyama教授解釋說:“我們的研究可以促進(jìn)對機(jī)器人對工作環(huán)境的更好理解和適應(yīng),實現(xiàn)對小目標(biāo)更精確的感知。”
DPPFA−Net的推出標(biāo)志著多模態(tài)3D物體檢測領(lǐng)域的一項重大進(jìn)展,有望為深度學(xué)習(xí)感知系統(tǒng)的原始數(shù)據(jù)預(yù)標(biāo)注提供新的可能性,從而顯著降低手動注釋的成本,加速該領(lǐng)域的發(fā)展。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。
近日,德國柏林國際電子消費(fèi)品展覽會(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設(shè)計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強(qiáng)大影響力。
近日,中國家電及消費(fèi)電子博覽會(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。