Meta專利介紹用于耳朵區(qū)域成像方法，改善VR頭顯貼合度

　　頭顯與用戶的合理適配可提高舒適性。所以，有必要測(cè)量用戶的鼻子形狀、頭寬和耳深等測(cè)量值。例如，若頭顯在穿戴時(shí)位于或置于耳朵上方，則特定用戶的耳朵特征將變得特別重要。

　　在名為“Ear-region imaging”的專利申請(qǐng)中，Meta介紹了一種用于耳朵區(qū)域成像的方法，并通過(guò)耳區(qū)成像系統(tǒng)來(lái)改善頭顯貼合度。

　　作為說(shuō)明，Meta將頭顯與耳朵接觸的點(diǎn)位稱為耳鞍點(diǎn)(ear saddle point)，類似于耳朵接觸承托和眼鏡鏡臂的點(diǎn)位區(qū)域。

　　這家公司認(rèn)為，傳統(tǒng)的測(cè)量系統(tǒng)為用戶的面部區(qū)域提供了可接受的測(cè)量，但由于頭發(fā)容易塞擋耳頂和耳后，特別是耳鞍點(diǎn)，所以難以準(zhǔn)確成像/測(cè)量耳朵區(qū)域。在所述發(fā)明中，Meta提出了一種改進(jìn)的耳區(qū)成像系統(tǒng)。

　　在一個(gè)實(shí)施例中，發(fā)射器向耳區(qū)發(fā)射發(fā)射信號(hào)。發(fā)射信號(hào)可以是毫米波、超聲波或其他通過(guò)頭發(fā)傳播的發(fā)射信號(hào)。接收器接收返回從耳朵反射/散射的發(fā)射信號(hào)。接收器從所述返回信號(hào)產(chǎn)生圖像信號(hào)，并根據(jù)所述圖像信號(hào)產(chǎn)生耳區(qū)圖像。

　　耳區(qū)圖像可以與用戶面部區(qū)域的面部圖像組合以生成臉-耳混合圖像。所述混合圖像可以共享公共坐標(biāo)系，以便可以從所述混合圖像中提取用戶的眼睛和臉部之間相對(duì)于用戶的各種尺寸，從而幫助貼合頭戴式設(shè)備。

　　圖1示出了用戶190的頂視圖和示例性耳區(qū)成像系統(tǒng)100。實(shí)施例系統(tǒng)100包括換能器120A和120B、光成像系統(tǒng)130A和130B，以及處理邏輯101。

　　換能器120A包括配置為向用戶190的耳區(qū)181A發(fā)射發(fā)射信號(hào)126A的發(fā)射器121A和配置為接收返回信號(hào)127A的接收器122A。返回信號(hào)127A為從耳區(qū)181A反射/散射的發(fā)射信號(hào)126A。

　　類似地，換能器120B包括配置為向用戶190的耳區(qū)181B發(fā)射發(fā)射信號(hào)126B的發(fā)射器121B和配置為接收返回信號(hào)127B的接收器122B。返回信號(hào)127B為從耳區(qū)181B反射/散射的發(fā)射信號(hào)126B。

　　發(fā)射信號(hào)126A和126B穿透頭發(fā)并從人體皮膚反射。因此，如果毛發(fā)遮擋耳皮膚，則發(fā)射信號(hào)126通過(guò)毛發(fā)傳播，從耳皮膚反射/散射，然后通過(guò)毛發(fā)傳播回接收器122作為返回信號(hào)127。用戶190的耳朵的耳鞍點(diǎn)185指示在耳區(qū)181A中。

　　發(fā)射信號(hào)126既不是可見(jiàn)光又不是紅外光，因?yàn)榭梢?jiàn)光和紅外光可能會(huì)由覆蓋耳朵的毛發(fā)遮擋。在一個(gè)實(shí)施例中，發(fā)射信號(hào)可以是毫米波發(fā)射信號(hào)，波長(zhǎng)在電磁波譜中為1mm至10mm之間。

　　在操作中，處理邏輯驅(qū)動(dòng)發(fā)射器121向耳區(qū)181發(fā)射發(fā)射信號(hào)126。接收器122A和122B分別接收到返回信號(hào)127A和127B，并響應(yīng)接收到返回信號(hào)127A和127B，分別產(chǎn)生圖像信號(hào)129A和129B。返回信號(hào)127A、127B可統(tǒng)稱為返回信號(hào)127，圖像信號(hào)129A、129B可統(tǒng)稱為圖像信號(hào)129。處理邏輯101從傳感器的接收器122接收?qǐng)D像信號(hào)129，并響應(yīng)圖像信號(hào)129生成耳區(qū)圖像104。

　　在所示的實(shí)施例中，處理邏輯101包括耳圖像生成模塊103，模塊接收?qǐng)D像信號(hào)129并通過(guò)處理圖像信號(hào)129生成耳區(qū)域圖像104。當(dāng)系統(tǒng)100包括光成像系統(tǒng)130時(shí)，光成像系統(tǒng)130可以通過(guò)感知從人臉區(qū)域反射回來(lái)的可見(jiàn)光或非可見(jiàn)光143來(lái)捕獲用戶190的人臉區(qū)域的人臉圖像139。

　　圖2示出了用戶290的前視圖，包括面部區(qū)域283和耳朵區(qū)域281A和281B。圖1的光成像系統(tǒng)130可以配置成生成一個(gè)或多個(gè)對(duì)人臉區(qū)域283成像的面部圖像139。

　　在具體的示例說(shuō)明中，臉部區(qū)域283包括用戶290的眼睛區(qū)域284和鼻子區(qū)域286。眼睛和鼻子的特征可以幫助確定用于特定用戶的頭戴式設(shè)備的舒適貼合290。在圖2中，面部區(qū)域283與耳朵區(qū)域281A和281B重疊。右耳區(qū)281A表示耳鞍點(diǎn)285A的近似位置，左耳區(qū)281B表示耳鞍點(diǎn)285B的近似位置。

　　回到圖1，光成像系統(tǒng)100配置為通過(guò)感知從人臉區(qū)域283反射回來(lái)的可見(jiàn)光或非可見(jiàn)光來(lái)捕獲人臉區(qū)域283的人臉圖像139。照明模塊140可以定向到用照明光143照亮面部區(qū)域283。照明模塊140可包括諸如LED或激光源的光源。

　　照明光143可以是可見(jiàn)光或紅外光。光成像系統(tǒng)130可包括一個(gè)或多個(gè)互補(bǔ)金屬氧化物半導(dǎo)體CMOS圖像傳感器。在照明光143為紅外光的實(shí)施例中，可以將接收窄帶紅外波長(zhǎng)的紅外濾光片放置在圖像傳感器之上，使其對(duì)照明光143的窄帶紅外波長(zhǎng)敏感，同時(shí)拒絕可見(jiàn)光和窄帶以外的波長(zhǎng)。

　　處理邏輯101配置為接收面部區(qū)域283的面部圖像139A和139B。面部圖像139可以包括像素的列和行。處理邏輯101接收來(lái)自光成像系統(tǒng)130的面部圖像139。處理邏輯101可以生成包括面部圖像139和耳區(qū)圖像104的臉耳混合圖像108。

　　在圖1的具體示例示例中，處理邏輯101包括組合面部圖像生成模塊105，模塊產(chǎn)生包含面部圖像139A和139B的組合面部圖像106。在其他實(shí)施例中，面部圖像139直接路由到混合圖像生成模塊107，混合圖像生成模塊107從面部圖像139和耳區(qū)圖像104生成臉耳混合圖像108。

　　面部圖像139可以在成像空間中與耳區(qū)圖像104共享一個(gè)公共坐標(biāo)系，使得混合圖像生成模塊107可以生成混合面部-耳圖像108，其中耳區(qū)圖像104中的位置鏈接到面部圖像139中的位置。

　　圖3示出了耳鞍點(diǎn)385A和眼特征之間的尺寸398。圖3示出耳鞍點(diǎn)385可由人390的毛發(fā)遮擋光基成像。然而，使用通過(guò)毛發(fā)傳播的發(fā)射信號(hào)126對(duì)耳鞍點(diǎn)385A進(jìn)行成像，并提供耳鞍點(diǎn)385A的精確成像，然后可用于確定耳鞍點(diǎn)385A與眼睛特征之間的尺寸398。

　　例如，如果臉耳混合圖像108包括面部區(qū)域383和耳朵區(qū)域381A共享公共坐標(biāo)系的面部圖像，則可以從混合圖像108計(jì)算維度398。

　　圖4示出了包括框架402和鏡臂404A和404B的頭戴式設(shè)備400。為了將頭戴式設(shè)備400適配到人體390，可以基于圖3的尺寸398選擇404A的尺寸498�？梢曰�于源自臉耳混合圖像的用戶頭寬測(cè)量為用戶選擇框架402的頭寬尺寸497。

　　圖5示出了耳區(qū)成像處理500。

　　在505中，驅(qū)動(dòng)發(fā)射器向耳區(qū)發(fā)射毫米波發(fā)射信號(hào)。毫米波發(fā)射信號(hào)的波長(zhǎng)可以在1mm到10mm之間。耳區(qū)圖像可包括耳鞍點(diǎn)。在一個(gè)實(shí)施例中，發(fā)射器包括發(fā)射器元件的二維陣列，驅(qū)動(dòng)發(fā)射器發(fā)射毫米波發(fā)射信號(hào)包括驅(qū)動(dòng)發(fā)射器元件形成毫米波發(fā)射信號(hào)以將毫米波發(fā)射信號(hào)引導(dǎo)到耳區(qū)。

　　在510，從接收器接收?qǐng)D像信號(hào)。圖像信號(hào)由接收器響應(yīng)接收返回的毫米波信號(hào)而產(chǎn)生。返回毫米波信號(hào)是從耳區(qū)反射回來(lái)的毫米波發(fā)射信號(hào)。

　　在515，響應(yīng)于所述圖像信號(hào)生成耳區(qū)圖像。

　　處理500同時(shí)包括通過(guò)感應(yīng)從所述面部區(qū)域反射回來(lái)的可見(jiàn)光或非可見(jiàn)光來(lái)捕獲所述人的面部區(qū)域的面部圖像，并生成包括所述面部圖像和所述耳朵區(qū)域圖像的混合臉耳圖像。

　　面部區(qū)域可以包括眼睛區(qū)域和鼻子區(qū)域。面部圖像可以與耳區(qū)圖像在成像空間中共享一個(gè)共同的坐標(biāo)系。處理500可進(jìn)一步包括確定來(lái)自混合臉-耳圖像的尺寸，其中尺寸位于耳鞍點(diǎn)和用戶眼睛的角膜平面之間。

　　在處理500的實(shí)施例中，在執(zhí)行505之前，基于用戶的位置圖像識(shí)別耳朵區(qū)域。這可以允許毫米波傳輸信號(hào)定向到一個(gè)位置來(lái)對(duì)耳朵成像。在一種實(shí)施方案中，包括在光成像系統(tǒng)130中的攝像頭用于捕獲人的位置圖像，以便可以相對(duì)于換能器120確定人的耳區(qū)。

　　名為“Ear-region imaging”的Meta專利申請(qǐng)最初在2022年3月提交，并在日前由美國(guó)專利商標(biāo)局公布。