阿里巴巴淘系技術部與英國倫敦大學伯貝克學院Steve Maybank教授(Fellow of the IEEE and a Member of the Academia Europaea, the Koenderink Prize in 2008)、悉尼大學陶大程教授(Fellow of the IEEE, ACM and Australian Academy of Science)等國際知名學者合作,與3月30日正式開源業(yè)界首個飽含紋理細節(jié)的大型3D家具數(shù)據(jù)集(3D-FUTURE),共同推動3D家居智能研究。并面向全球3D幾何與視覺研究愛好者同步啟動第一屆阿里巴巴3D人工智能挑戰(zhàn)賽暨IJCAI-PRICAI 2020 Workshop。
什么是3D-FUTURE?
在過去十多年里,科學家們在3D視覺及幾何的研究投入了巨大的努力,但是3D人工智能的工業(yè)落地任然困難重重,尤其是在家居家裝行業(yè)。阿里巴巴淘系技術部協(xié)同躺平設計家也在持續(xù)不斷地探索數(shù)字化家居建設。以真實家居場景為背景,定義了許多新問題,進行了大量的知識重建,并結合3D人工智能技術初步打造了場景化數(shù)字營銷,推出了智能設計搭配服務。同時,在相關團隊的技術研發(fā)過程中發(fā)現(xiàn),海量的高質量3D模型與紋理,以及專業(yè)的房屋設計布局是推動未來數(shù)字化家居建設的基礎。為了啟發(fā)高質量3D模型理解與重建,并且建立學術研究與工業(yè)應用的橋梁。阿里巴巴針對家居場景開源大型3D數(shù)據(jù)集3D-FUTURE(3D Furniture shape with TextURE)。
其初版包含20,000+高清室內場景專業(yè)設計渲染圖,與10,000+精細的高質量3D家具模型及對應的高清且飽含信息的紋理,數(shù)據(jù)積累沉淀于阿里巴巴官方家裝家居設計平臺-躺平設計家。目前提供家具實例分割標注,完全真實的2D到3D的對準標注,以及專業(yè)的細粒度家具屬性標注。阿里巴巴希望持續(xù)建設3D-FUTURE,不斷為3D幾何及視覺研究提供需求的標注以及新特征,包括但不限于已有數(shù)據(jù)擴充,完整房屋布局信息提供,3D模型分割標注等,以推進學術尖端科技的工業(yè)落地。
為什么需要3D-FUTURE?
當前大型開源3D數(shù)據(jù)集都存在一些不足,不足以支持工業(yè)級的3D模型重建與紋理恢復等領域的深入細致研究。首先,已開源數(shù)據(jù)集的大多數(shù)3D CAD模型(家具類) 都是從網(wǎng)上收集的,因此普遍存在細節(jié)缺失以及無紋理或紋理信息度低等問題,且沒有多樣專業(yè)的屬性標簽。針對此現(xiàn)象,3D-FUTURE提供多種不同風格且?guī)в胸S富細節(jié)的高質量3D家具模型,并配備了高清飽含信息的紋理以及多樣化的屬性標簽。其次,目前學界暫無組織較好的大規(guī)模室內仿真圖像數(shù)據(jù)集。3D-FUTURE通過最先進的工業(yè)3D渲染引擎,在專業(yè)設計師所設計的5,000多個場景中渲染產(chǎn)生了20,000+圖像,填補了這一空白。最后,現(xiàn)有數(shù)據(jù)集只提供2D-3D偽匹配,即根據(jù)2D圖中物體,人工從開源3D模型池里選擇與之相似的3D模型作為匹配結果。這種標注過程極有可能忽視掉一些局部的形狀細節(jié)特征,導致提供的2D-3D匹配結果并非完全一致。因此難以支持數(shù)據(jù)驅動的高質量三維重建以及高精度形狀檢索等相關3D研究。與之相比,3D-FUTURE提供的10,000+ 3D模型都是與2D渲染圖中的物體真實配對的。我們相信,3D-FUTURE這些特性可以啟發(fā)高質量3D模型理解和重建等領域的創(chuàng)新研究。
阿里巴巴3D人工智能挑戰(zhàn)賽暨IJCAI-PRICAI 2020Workshop?
阿里巴巴淘系技術部聯(lián)合來自于悉尼大學、英國倫敦大學伯貝克學院、墨爾本大學、中國科學院計算所的頂尖學者舉辦基于3D-FUTURE的第一屆3D人工智能挑戰(zhàn)賽暨IJCAI-PRICAI 2020 Workshop。 3D幾何與視覺研究是廣受關注的基礎研究領域,是建設未來3D智能世界必經(jīng)之路。淘系技術部在人工智能國際頂級會議IJCAI-PRICAI舉辦workshop及競賽,旨在總結目前最先進的3D幾何與視覺技術,啟發(fā)高質量3D模型理解與重建,并且建立學術研究與工業(yè)應用的橋梁。
競賽內容包括三個項目,分別是基于圖片的3D模型推薦,基于單張圖的3D模型重建,實例分割。信息如下:
基于圖片的3D模型推薦:在該項挑戰(zhàn)賽中,參賽者被要求根據(jù)2D圖片在給定3D池中檢索出對應的3D模型。隨著極速增長的3D模型數(shù)量,建立一個可靠的IBSR(image-based 3Dshaperetrieval)系統(tǒng)不管在工業(yè)界還是在學術界都非常重要。比如用戶3D場景布局重建的基礎就是根據(jù)2D圖中物體,從大型3D池中找出對應的3D模型。該項競賽最大的挑戰(zhàn)是針對2D與3D是完全不同域以及表征信息的差距,提取具有域不變性且紋理抑制的的特征表示。我們希望參賽者能充分探索最先進的解決方案,并基于此設計出更加精準可靠的IBSR算法。另外,我們也期望通過這項比賽來促進具有魯棒性的形狀檢索發(fā)展,即在圖片中物體存在輕微遮擋以及具有復雜背景的情況下實現(xiàn)較高精度的檢索。 我們將用TopK召回率以及TopK平均F-score作為主要性能衡量指標。
基于單張圖的3D模型重建:在該項挑戰(zhàn)賽中,參賽者被要求從單張RGB圖像重建對應的3D模型,這些圖片主物體可能存在輕微遮擋以及少部分殘缺。眾所周知,3D模型的數(shù)量與質量是數(shù)據(jù)驅動的3D理解研究以及3D相關人工智能應用的基礎,比如虛擬場景搭建。然而,目前海量的網(wǎng)絡圖片中的物體都沒有或很難收集到對應的3DCAD模型。另一方面,目前工業(yè)界高質量3D模型生產(chǎn)效率很低,無法支持大規(guī)模高效生產(chǎn)。這項獎賽旨在總結目前最先進的單目圖像3D重建方案,并啟發(fā)工業(yè)級mesh表面細節(jié)重建的研究探索思路。Chamfer Distance(CD)以及F-score將作為重建結果質量的評價標準。
實例分割:在該項挑戰(zhàn)賽中,參賽者被要求對渲染的室內場景圖進行實例分割。在訓練集中,3D-FUTURE將提供場景圖中部分物體所對應的帶有紋理的3D模型作為輔助信息,期望能提升邊緣分割精度。實例分割是學界的基礎研究問題,也是室內場景理解的關鍵之一。高精度尤其是邊緣魯棒的實例分割不僅有利于啟發(fā)高質量圖像合成相關工業(yè)應用,例如有潛力部分取代昂貴低效的渲染過程,從而實現(xiàn)高效自動化用戶室內搭配編輯生成;也有潛力大幅提升IBSR,3D重建等基礎3D問題的效果。 該項挑戰(zhàn)賽的評估指標為被廣泛認可的Mask Average Precision (mAP)。
附workshop及競賽重要信息
重要日程節(jié)點:
3月30日競賽開啟報名,并開放部分示例數(shù)據(jù)集。
4月03日開放完整訓練集與驗證集。
5月31日開放相關測試集。
6月05日競賽結束。
6月12日潛在優(yōu)勝者報告提交截止日期。
6月17日報告審核以及競賽最終結果公開。
7月13日3D-FUTURE Workshop at IJCAI-PRICAI 2020。
優(yōu)勝者獎勵:
l 第一名1500美金,第二名1000美金,第三名500美金。
l 受邀請到國際人工智能頂會IJCAI-PRICAI 2020 Workshop進行報告。
l 受邀合著Workshop報告。
需要本次競賽和數(shù)據(jù)集詳情,請登陸「天池」官網(wǎng)了解。
文章內容僅供閱讀,不構成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。
近日,德國柏林國際電子消費品展覽會(IFA2024)隆重舉辦。憑借在核心技術、產(chǎn)品設計及應用方面的創(chuàng)新變革,全球領先的智能終端企業(yè)TCL實業(yè)成功斬獲兩項“IFA全球產(chǎn)品設計創(chuàng)新大獎”金獎,有力證明了其在全球市場的強大影響力。
近日,中國家電及消費電子博覽會(AWE 2024)隆重開幕。全球領先的智能終端企業(yè)TCL實業(yè)攜多款創(chuàng)新技術和新品亮相,以敢為精神勇闖技術無人區(qū),斬獲四項AWE 2024艾普蘭大獎。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
由世界人工智能大會組委會、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會共同指導,由上海市人工智能行業(yè)協(xié)會聯(lián)合上海人工智能實驗室、上海臨港經(jīng)濟發(fā)展(集團)有限公司、開放原子開源基金會主辦的“2024全球開發(fā)者先鋒大會”,將于2024年3月23日至24日舉辦。