扎克伯格宣布研發(fā)電子觸覺(jué)皮膚ReSkin

　　Meta首席執(zhí)行官馬克·扎克伯格日前表示，一種全新的觸摸傳感器和一種塑料材料有望支持元宇宙的開(kāi)發(fā)。在一個(gè)研究項(xiàng)目中，Meta AI團(tuán)隊(duì)與卡內(nèi)基梅隆大學(xué)的科學(xué)家開(kāi)發(fā)了一種可變形的塑料“皮膚”。

　　名為ReSkin的材料厚度不到3毫米，成本相對(duì)低廉。在原理方面，它嵌入可以產(chǎn)生磁場(chǎng)的磁性粒。當(dāng)與另一個(gè)表面接觸時(shí)，粒子所產(chǎn)生的磁場(chǎng)會(huì)發(fā)生變化。這時(shí)，傳感器記錄磁通量的變化，然后將數(shù)據(jù)輸入解釋施加力或接觸的AI軟件。

　　如下圖所示，實(shí)驗(yàn)利用葡萄和藍(lán)莓等軟水果作為測(cè)試。在有ReSkin反饋的情況下，機(jī)器人能夠控制力度，并輕輕地握持水果。但沒(méi)有ReSkin反饋時(shí)，機(jī)器人則會(huì)用力過(guò)猛并壓扁水果。

　　扎克伯格在Facebook發(fā)帖寫(xiě)道：“我們?cè)O(shè)計(jì)了一種高分辨率的觸摸傳感器，并與卡內(nèi)基梅隆大學(xué)合作創(chuàng)造了一種薄薄的機(jī)器人皮膚。這使得我們更接近于在元宇宙中實(shí)現(xiàn)逼真的虛擬對(duì)象和物理交互。”

　　相關(guān)研究將在本月發(fā)表到學(xué)術(shù)期刊，但尚待同行評(píng)議。不過(guò)，團(tuán)隊(duì)已經(jīng)在專(zhuān)門(mén)的頁(yè)面介紹了這個(gè)項(xiàng)目的詳細(xì)情況，下面是映維網(wǎng)的具體整理：

　　我們的觸覺(jué)幫助我們導(dǎo)航周遭世界。有了它，我們可以收集關(guān)于物體的信息，比如輕重和軟硬。從穿鞋到做飯，我們利用觸覺(jué)來(lái)完成各種日常任務(wù)。如今，人工智能可以有效地融合視覺(jué)和聲音等感官，但觸覺(jué)依然是一個(gè)挑戰(zhàn)。這在一定程度上是由于觸覺(jué)傳感數(shù)據(jù)有限。所以，人工智能研究人員希望將觸摸融入到模型中，從而實(shí)現(xiàn)人類(lèi)觸摸感知的豐富性。

　　Meta AI和卡內(nèi)基梅隆大學(xué)合作開(kāi)發(fā)了一種全新的開(kāi)源觸摸感應(yīng)“皮膚”ReSkin。它可以幫助研究人員快速地、大規(guī)模地提高AI的觸覺(jué)感應(yīng)能力。利用機(jī)器學(xué)習(xí)和磁感應(yīng)方面的進(jìn)步，ReSkin為長(zhǎng)期使用提供了一種低價(jià)、通用、耐用且可更換的解決方案。它采用自監(jiān)督學(xué)習(xí)算法幫助自動(dòng)校準(zhǔn)傳感器，所以具有通用性，并能夠在傳感器和系統(tǒng)之間共享數(shù)據(jù)。

　　團(tuán)隊(duì)將發(fā)布設(shè)計(jì)、相關(guān)文檔、代碼和基本模型，以幫助AI研究人員使用ReSkin。這反過(guò)來(lái)將有助于快速地、大規(guī)模地提高人工智能的觸覺(jué)感知能力。更多項(xiàng)目信息可訪(fǎng)問(wèn)這一頁(yè)面。

　　相關(guān)論文：ReSkin: versatile, replaceable, lasting tactile skins

　　像ReSkin這樣的觸覺(jué)感應(yīng)皮膚將能提供豐富的接觸數(shù)據(jù)源，并有助于在廣泛的觸摸任務(wù)中推進(jìn)AI，包括對(duì)象分類(lèi)、本體感覺(jué)和機(jī)器人抓取。接受過(guò)觸覺(jué)感知技能訓(xùn)練的人工智能模型將能夠完成多種任務(wù)，包括需要更高靈敏度的任務(wù)，如在醫(yī)療環(huán)境中工作，操縱小型的、柔軟的或敏感的物體。ReSkin同時(shí)可以與其他傳感器集成，在實(shí)驗(yàn)室外和非結(jié)構(gòu)化環(huán)境中收集視覺(jué)、聲音和觸摸數(shù)據(jù)。組合多模態(tài)數(shù)據(jù)集有助于構(gòu)建世界的物理現(xiàn)實(shí)模型，同時(shí)可以利用數(shù)據(jù)冗余進(jìn)行自我監(jiān)督學(xué)習(xí)。

　　1. ReSkin：一種更好的柔性傳感器

　　ReSkin的生產(chǎn)成本很低，100個(gè)的成本不到6美元，而更大批量的生產(chǎn)成本會(huì)更低。它的厚度為2-3毫米，可支持50000多次交互，同時(shí)具有高達(dá)400Hz的時(shí)間分辨率和1毫米的空間分辨率，精度為90%。這個(gè)規(guī)格使其成為各種形狀參數(shù)的理想選擇，如機(jī)器人手和觸覺(jué)手套。ReSkin同時(shí)可以為投擲、接住和拍手等快速操作任務(wù)提供高頻三軸觸覺(jué)信號(hào)。當(dāng)它磨損時(shí)，它可以很容易地拆離和更換。

　　ReSkin是一種可變形的彈性體，內(nèi)含磁性粒子。當(dāng)它以任何方式變形時(shí)，周?chē)�的磁信�?hào)都會(huì)發(fā)生變化。我們可以用附近的磁力計(jì)測(cè)量變化，并使用數(shù)據(jù)驅(qū)動(dòng)技術(shù)將其轉(zhuǎn)化為諸如接觸位置和作用力大小等信息。

　　目前，大多數(shù)觸覺(jué)傳感實(shí)驗(yàn)都依賴(lài)于單個(gè)傳感器，因?yàn)槊慨?dāng)更換皮膚時(shí)都需要重新學(xué)習(xí)模型，這既低效又不切實(shí)際。為了避免每次更換新皮膚時(shí)都需要訓(xùn)練新皮膚，團(tuán)隊(duì)致力于創(chuàng)建一種通用皮膚。

　　然而，像ReSkin這樣的柔性皮膚通常很難泛化，因?yàn)樵谑褂萌嵝圆牧蠒r(shí)會(huì)自然出現(xiàn)制造變化。每個(gè)傳感器都需要經(jīng)過(guò)初始和徹底的校準(zhǔn)程序，以確定其各自的響應(yīng)。另外，柔性材料會(huì)隨著時(shí)間的推移而改變特性，并根據(jù)使用方式的不同而有所不同。這意味著校準(zhǔn)程序同時(shí)必須自行適應(yīng)相關(guān)變化。早期的柔性傳感器開(kāi)發(fā)通常側(cè)重于傳感原理的詳細(xì)分析，但大多數(shù)柔性傳感器沒(méi)有研究長(zhǎng)期響應(yīng)(如一周后發(fā)生的響應(yīng))，同時(shí)未開(kāi)發(fā)非專(zhuān)家使用的自動(dòng)校準(zhǔn)過(guò)程。

　　對(duì)于ReSkin，團(tuán)隊(duì)通過(guò)三個(gè)關(guān)鍵洞察來(lái)克服所述挑戰(zhàn)。

　　首先，ReSkin消除了柔性材料和傳統(tǒng)測(cè)量電子設(shè)備之間的電氣連接需求。相反，磁信號(hào)依賴(lài)于鄰近性，所以電子設(shè)備只需要在附近即可。ReSkin同時(shí)比典型的柔性傳感器更有效，因?yàn)樗鼘��?nèi)部電子電路與被動(dòng)接口分離。這使得更換磨損皮膚就像剝下和貼上貼紙一樣容易。

　　其次，可以更好地利用來(lái)自多個(gè)傳感器的數(shù)據(jù)來(lái)訓(xùn)練模型的映射功能，而不是依賴(lài)單個(gè)傳感器的輸入數(shù)據(jù)。以這種方式，團(tuán)隊(duì)對(duì)模型進(jìn)行了更高多樣性的數(shù)據(jù)訓(xùn)練，這有助于它產(chǎn)生更有效和更為泛化的輸出。

　　最后，團(tuán)隊(duì)沒(méi)有為每個(gè)新傳感器收集校準(zhǔn)數(shù)據(jù)，而是利用了自監(jiān)督學(xué)習(xí)的進(jìn)展，使用少量未標(biāo)記的數(shù)據(jù)自動(dòng)微調(diào)傳感器。研究人員發(fā)現(xiàn)自我監(jiān)督模型比沒(méi)有自我監(jiān)督的模型表現(xiàn)更好。他們可以使用未標(biāo)記數(shù)據(jù)的相對(duì)位置來(lái)幫助微調(diào)傳感器的校準(zhǔn)，而不是提供ground-truth力標(biāo)記。例如，在三個(gè)接觸點(diǎn)中，物理上更接近的兩個(gè)接觸點(diǎn)將具有更相似的觸覺(jué)信號(hào)。

　　綜上所述，ReSkin能夠帶來(lái)一系列多功能、可擴(kuò)展且價(jià)格低廉的觸覺(jué)模塊，而這是現(xiàn)有系統(tǒng)所不能實(shí)現(xiàn)的事情�，F(xiàn)有的攝像頭式觸覺(jué)傳感器要求表面和攝像頭之間的距離最小，并導(dǎo)致體積更大的設(shè)計(jì)。相比之下，ReSkin可以作為一個(gè)柔薄層包裹到人類(lèi)和機(jī)器人的手和手臂。

　　紐約大學(xué)計(jì)算機(jī)科學(xué)助理教授勒雷爾·平托(Lerrel Pinto)指出：“強(qiáng)大的觸覺(jué)感知是機(jī)器人技術(shù)的一個(gè)重要瓶頸。目前的傳感器要么太貴和分辨率太低，要么對(duì)于定制機(jī)器人而言太過(guò)笨重。ReSkin有潛力克服其中幾個(gè)問(wèn)題。它重量輕，體積小，可以與任意夾持器兼容，我非常高興能進(jìn)一步探索這種傳感器在我們實(shí)驗(yàn)室機(jī)器人上的應(yīng)用。”

　　2. 實(shí)驗(yàn)效果

　　為了呈現(xiàn)ReSkin的實(shí)用性，并展示它如何有助于研究人員利用以前難以收集的各種觸覺(jué)數(shù)據(jù)來(lái)推進(jìn)人工智能，團(tuán)隊(duì)通過(guò)數(shù)個(gè)示例應(yīng)用進(jìn)行了演示：

　　2.1 徒手操作

　　ReSkin為手部操作提供了有用的觸覺(jué)感知功能，例如訓(xùn)練機(jī)器人使用鑰匙開(kāi)鎖或抓取葡萄或藍(lán)莓等軟對(duì)象。團(tuán)隊(duì)通過(guò)機(jī)器人夾持器演示了其有效性：

　　兩個(gè)磁性外殼和柔性電路板放置在平行的鉗口夾持器的兩側(cè)，它能夠通過(guò)板載微控制器采集數(shù)據(jù)并評(píng)估力反饋。夾持器內(nèi)置的力感應(yīng)無(wú)法完成任務(wù)，但通過(guò)ReSkin，它可以很好地感應(yīng)力反饋以控制抓取。當(dāng)用新皮膚替換皮膚時(shí)，系統(tǒng)能夠正常工作，無(wú)需額外調(diào)整。

　　2.2 野外測(cè)量

　　ReSkin緊湊和非突兀的設(shè)計(jì)使其成為野外測(cè)量的理想選擇。為了展示這一點(diǎn)，團(tuán)隊(duì)在一只狗狗的鞋底放置了一張磁性皮膚和一塊柔性電路板。通過(guò)收集的數(shù)據(jù)，傳感器可以追蹤狗在休息、行走和跑步過(guò)程中施加的力的大小和方向。

　　2.3 人機(jī)交互

　　ReSkin同時(shí)可用于測(cè)量人物交互過(guò)程中的力，例如拿起物體的時(shí)候。團(tuán)隊(duì)在被試右手食指放置了一張皮膚和一塊電路板，然后右手穿戴丁腈手套。利用收集的數(shù)據(jù)，研究人員在被試制作紅豆面包時(shí)測(cè)量了傳感器的輸出。

　　2.4 接觸定位

　　ReSkin同時(shí)可以在更大的表面區(qū)域進(jìn)行接觸定位。這對(duì)于構(gòu)建依賴(lài)于知道對(duì)象所在位置的模型非常有用。例如，如果需要訓(xùn)練機(jī)器人可靠地?fù)炱鹞矬w，它首先需要知道要在哪里接觸物體，以及要用多少力。

　　3. 下一步是什么

　　團(tuán)隊(duì)對(duì)可泛化觸覺(jué)感知的研究帶來(lái)了今天的ReSkin。它成本低，就像繃帶一樣容易更換，并且可以立即使用。這是一個(gè)強(qiáng)大的工具，可以幫助研究人員建立賦能多種應(yīng)用的AI模型。

　　Meta AI表示，希望將觸覺(jué)感知作為人工智能研究的一個(gè)領(lǐng)域進(jìn)行大力推進(jìn)。除了ReSkin，這家公司同時(shí)宣布了面向觸摸處理的開(kāi)源生態(tài)系統(tǒng)，涵蓋高分辨率觸摸硬件(DIGIT)、模擬器(TACTO)、基準(zhǔn)測(cè)試(PyTouch)和數(shù)據(jù)集等等。

　　團(tuán)隊(duì)相信相關(guān)進(jìn)步將能提升人工智能的感知能力，并使其不再局限于視覺(jué)和聲音方面，從而提高觸覺(jué)感知的應(yīng)用。另外，團(tuán)隊(duì)非常期待研究界將如何利用所述工具以進(jìn)一步推進(jìn)人工智能領(lǐng)域的發(fā)展。