京東探索稀疏三維空間點云Global Context論文入選NeurIPS2020

　　近日，第34屆神經(jīng)信息處理系統(tǒng)大會(Conference on Neural Information Processing Systems，簡稱NeurIPS，NIPS)在線上召開。作為全球頂級的機器學(xué)習(xí)和計算神經(jīng)科學(xué)會議，今年的NIPS依然受到了學(xué)者們的高度關(guān)注，甚至由于其線上開放的特性緩解了往年搶票難的問題，而將獲得更多的“聽眾”。

　　據(jù)悉，今年NeurIPS稿件錄取率為20.09%，創(chuàng)下歷史新低。在如此嚴苛的錄取標(biāo)準之下，京東AI深度學(xué)習(xí)與語音語義實驗室提交的探索稀疏3D點云Global Context的論文《Group Contextual Encoding for 3D Point Clouds》成功入選。今年以來，京東AI深度學(xué)習(xí)與語音語義實驗室的研究成果頻獲國際認可，此前還有多篇論文入選國際語音和語言處理頂會比如ACL 2020、AAAI 2020、INTERSPEECH 2020等。

　　Global Context對視覺感知至關(guān)重要，可以根據(jù)語義信息提高物體識別的準確率，但目前針對3D點云的Global Context的研究還不夠充分，特別是在三維空間的情況下，數(shù)據(jù)呈現(xiàn)高維、稀疏的特點，對傳統(tǒng)深度學(xué)習(xí)算法提出了挑戰(zhàn)。因此，京東AI研究院基于其研究實習(xí)生計劃與東京大學(xué)合作了《Group Contextual Encoding for 3D Point Clouds》，針對這一研究領(lǐng)域提出了Group Contextual Encoding的Global Context學(xué)習(xí)方法。

　　從目前已有3D點云Global Context的研究成果來看，比如LG-PointNet++ 【1】，其復(fù)雜度為，N是輸入點的個數(shù)。當(dāng)場景復(fù)雜時，輸入點數(shù)較多會導(dǎo)致耗費相當(dāng)大的算力。Contextual Encoding Layer【2】的復(fù)雜度是，是一種有效率的方法，K是該方法里code word數(shù)目。但是點云數(shù)據(jù)稀疏導(dǎo)致的過擬合現(xiàn)象(overfitting)，會影響性能的提升，導(dǎo)致在ScanNet，SUN-RGBD數(shù)據(jù)集上3D檢測性能隨著Code word數(shù)目K的增長，性能卻很快就飽和不再增長。雖然目前有一些深度補全的算法可以解決數(shù)據(jù)稀疏這個問題，但是這些算法都存在結(jié)構(gòu)復(fù)雜、耗費計算資源的問題，因此，京東AI研究院決定探索簡單有效的方法。

　　首先要解決數(shù)據(jù)的稀疏問題。通過把特征通道分組，從而獲得更多的等效數(shù)據(jù)，如圖1所示，如果把通道分成G組特征子向量，數(shù)據(jù)就相對應(yīng)增廣了G倍。再將分組后的特征子向量通過Encoding layer得到Global context，從而有利于在分組后的特征子空間學(xué)習(xí)全局上下文， 然后通過channel attention的形式作用于分組后的特征。最后通過Concat操作恢復(fù)為原特征的尺寸。如此操作既解決了數(shù)據(jù)的稀疏問題，又解決算法結(jié)構(gòu)復(fù)雜、算力耗費巨大的問題。

　　圖1：Group Contextual Encoding方法圖。

　　隨后，京東AI研究院又將這種方法在多個3D數(shù)集上進行驗證，不僅證實這種方法簡單有效，還刷新了SOTA方法的性能。將這種方法應(yīng)用在PointNet++ Backbone上，并部署到VoteNet模型。如表1所示，在ScanNet數(shù)據(jù)集以mAP@0.25指標(biāo)測評時，該方法領(lǐng)先VoteNet 【3】 2.2mAP，增幅已然明顯，但更令人驚喜的是，在更加嚴格的mAP@0.5 的指標(biāo)下，如表2所示，該方法領(lǐng)先Waymo、Facebook AI Research以及Stanford大學(xué)提出的 VoteNet高達6.57 mAP，可視化結(jié)果如圖2所示。

　　表1：ScanNet數(shù)據(jù)集mAP@0.25評測指標(biāo)的結(jié)果。

　　表2：ScanNet數(shù)據(jù)集mAP@0.5評測指標(biāo)的結(jié)果。

　　圖2：ScanNet數(shù)據(jù)集的結(jié)果可視圖。在SUN-RGBD數(shù)據(jù)集，我們的方法也領(lǐng)先VoteNet 3mAP，具體定量以及定性結(jié)果如表3和圖3所示。

　　表3：SUN-RGBD數(shù)據(jù)集mAP@0.25評測指標(biāo)的結(jié)果.

　　圖3：SUN-RGBD數(shù)據(jù)集的結(jié)果可視圖。

　　京東自2017年開始全面向技術(shù)轉(zhuǎn)型，用技術(shù)重塑了京東的生態(tài)系統(tǒng)，逐漸突破零售邊界，拓展至數(shù)字科技、物流、健康等眾多領(lǐng)域。一直以來，消費者們更多的在購物、物流等環(huán)節(jié)體驗到京東技術(shù)的進步，如今，京東在人工智能領(lǐng)域的長足進展不僅獲得學(xué)術(shù)界的認可，也逐漸被更多的用戶所知悉，京東的智能語音技術(shù)也已經(jīng)在智能外呼機器人、客服語音機器人等電話交互場景中實現(xiàn)成熟應(yīng)用，此次提出的Group Contextual Encoding方法也可以應(yīng)用在下游的AR(增強現(xiàn)實)、MR(混合現(xiàn)實)以及機器人，自動駕駛等領(lǐng)域，推動這些領(lǐng)域的發(fā)展。京東技術(shù)將不僅賦能金融、醫(yī)療、教育、健康等行業(yè)，還將在更多領(lǐng)域為用戶提供便利。

　　NeurIPS論文及鏈接

　　Group Contextual Encoding for 3D Point Clouds

　　https://proceedings.neurips.cc/paper/2020/file/9b72e31dac81715466cd580a448cf823-Paper.pdf

　　Source Code鏈接

　　https://github.com/AsahiLiu/PointDetectron

　　參考文獻

　　【1】Wang, Xu, Jingming He, and Lin Ma. "Exploiting Local and Global Structure for Point Cloud Semantic Segmentation with Contextual Point Representations." Advances in Neural Information Processing Systems. 2019.

　　【2】Zhang, Hang, et al. "Context encoding for semantic segmentation." Proceedings of the IEEE conference on Computer Vision and Pattern Recognition. 2018.

　　【3】Qi, Charles R., et al. "Deep hough voting for 3d object detection in point clouds." Proceedings of the IEEE International Conference on Computer Vision. 2019.