微軟AR/VR專利提出通過(guò)單個(gè)單光子雪崩二極管減少圖像傳感器獲取的噪點(diǎn)

　　傳統(tǒng)圖像傳感器的信噪比可能受到讀取噪點(diǎn)的高度影響，尤其是在低能見(jiàn)度條件下成像時(shí)。例如，在低光成像條件，CMOS或CCD成像像素可以僅檢測(cè)少量光子，這可能導(dǎo)致讀取噪點(diǎn)接近或超過(guò)成像像素檢測(cè)到的信號(hào)，并降低信噪比。

　　當(dāng)在低光條件下以高幀速率成像時(shí)，CMOS或CCD圖像傳感器檢測(cè)到的信號(hào)中讀取噪點(diǎn)的優(yōu)勢(shì)通常會(huì)加劇。盡管較低的幀速率可用于允許CMOS或CCD傳感器檢測(cè)足夠的光子，但利用低幀速率通常會(huì)導(dǎo)致捕獲圖像中的運(yùn)動(dòng)模糊，這在頭顯中尤其成問(wèn)題。

　　除了影響透視成像外，與常規(guī)圖像傳感器相關(guān)的讀取噪點(diǎn)和/或運(yùn)動(dòng)模糊可能影響頭顯執(zhí)行的其他操作，如后期重投影、滾動(dòng)快門校正、對(duì)象追蹤、表面重建、語(yǔ)義標(biāo)記、對(duì)象的3D重建等。

　　針對(duì)這個(gè)問(wèn)題，微軟在名為“Image acquisition techniques with reduced noise using single photon avalanche diodes”的專利申請(qǐng)中提出了一種通過(guò)單個(gè)單光子雪崩二極管(SPAD)來(lái)減少圖像獲取的噪點(diǎn)。

　　在一個(gè)實(shí)施例中，SPAD陣列可以形成圖像傳感器，每個(gè)SPAD在SPAD陣列中形成單獨(dú)的像素。為了捕獲環(huán)境的圖像，每個(gè)SPAD像素可以檢測(cè)雪崩事件，并為連續(xù)快門操作提供二進(jìn)制輸出�？梢詫�(duì)幀捕獲時(shí)間段的多個(gè)快門操作的每像素二進(jìn)制輸出進(jìn)行計(jì)數(shù)，并且可以基于所計(jì)數(shù)的每像素二值輸出來(lái)計(jì)算每像素強(qiáng)度值。每像素強(qiáng)度值可用于形成環(huán)境的強(qiáng)度圖像。

　　微軟指出，將SPAD圖像傳感器用于圖像捕獲可以提供優(yōu)于傳統(tǒng)圖像捕獲系統(tǒng)和技術(shù)的眾多優(yōu)點(diǎn)，特別是在低光條件下成像和/或在圖像捕獲期間經(jīng)歷運(yùn)動(dòng)的設(shè)備成像。

　　首先，SPAD信號(hào)的二值化有效地消除了讀取早點(diǎn)，從而與傳統(tǒng)CMOS和/或CCD傳感器相比提高了SPAD圖像傳感器陣列的信噪比。因此，由于SPAD信號(hào)的二值化，SPAD信號(hào)可以以高幀速率讀出，而不會(huì)導(dǎo)致信號(hào)被讀取噪點(diǎn)支配，即使對(duì)于在低光環(huán)境下捕獲少量光子的信號(hào)都是如此。

　　鑒于上述情況，可以使用SPAD陣列以高幀速率執(zhí)行多次曝光和讀出操作，以生成單獨(dú)的部分圖像幀，并且可以組合單獨(dú)的局部圖像幀以形成單個(gè)合成圖像。

　　通過(guò)利用SPAD陣列的多次曝光和讀出操作來(lái)形成單個(gè)合成圖像，可以實(shí)現(xiàn)高幀速率下的低光成像。另外i，利用高幀率進(jìn)行低光圖像捕獲可以減少運(yùn)動(dòng)偽影的影響。值得一提的是，使用SPAD的高幀率圖像捕獲技術(shù)可以與其他運(yùn)動(dòng)補(bǔ)償操作組合，從而進(jìn)一步減少運(yùn)動(dòng)偽影。緩解的運(yùn)動(dòng)偽影可以相應(yīng)地改善頭顯執(zhí)行的其他操作，例如后期重投影、滾動(dòng)快門偽影校正等。

　　圖2A-2C示出了可以使用SPAD陣列捕獲圖像的示例曝光和讀出操作。特別地，圖2A示出了SPAD陣列200。在這方面，SPAD陣列的SPAD像素202可配置為響應(yīng)于檢測(cè)光子而觸發(fā)雪崩事件。SPAD像素202可以以受控的、選通的方式操作，以便于圖像采集的不同曝光操作。

　　圖2A顯示， SPAD陣列的SPAD像素配置為執(zhí)行多個(gè)順序曝光和讀出操作。特別地，圖2A示出了曝光204A和讀出212A，隨后是曝光204B和讀出212B，依次是曝光204C和讀出212C。圖2A描繪了曝光操作包括應(yīng)用一組快門操作208。如上所述，將快門操作應(yīng)用于SPAD像素將SPAD像素配置為響應(yīng)于檢測(cè)到的光子觸發(fā)雪崩事件。

　　因此，在快門操作期間雪崩事件的存在指示SPAD像素在快門操作過(guò)程中檢測(cè)到光子。SPAD像素在快門操作期間是否經(jīng)歷雪崩事件(因此檢測(cè)到光子)可以用二進(jìn)制“1”或“0”表示，其中“1”表示快門操作期間發(fā)生雪崩事件，“0”表示快門運(yùn)行期間未發(fā)生雪崩。因此，圖2A描繪了與二進(jìn)制“1”或“0”相關(guān)聯(lián)的每個(gè)快門操作208

　　圖2A同時(shí)描繪了在特定選通時(shí)間212執(zhí)行的各個(gè)快門操作210。選通時(shí)間是SPAD像素被配置為響應(yīng)檢測(cè)到的光子觸發(fā)雪崩事件的持續(xù)時(shí)間。

　　圖2A顯示，各個(gè)部分幀由單獨(dú)的曝光生成。特別地，圖2A示出了在曝光204A之后執(zhí)行的讀出212A、在曝光204B之后執(zhí)行的讀取212B以及在曝光204C之后執(zhí)行的讀數(shù)212C。對(duì)于SPAD陣列，“讀出”包括基于每個(gè)像素確定或輸出在一組快門操作中檢測(cè)到的光子數(shù)量。

　　捕獲捕獲環(huán)境的較亮部分的像素將比捕獲捕獲環(huán)境較暗部分的像素計(jì)數(shù)更多的光子。因此，在一組快門操作檢測(cè)到的每像素?cái)?shù)量的光子可以用于形成強(qiáng)度圖像。

　　部分幀214A、214B和214C在概念上表示包括低光環(huán)境中的植物的捕獲場(chǎng)景。植物部分地暴露在部分陣214A、214B和214C中的每一個(gè)中，因此在其中顯得暗淡。這是因?yàn)椴糠謳?14A、214B和214C各自基于各自的曝光204A、204B和204C形成，當(dāng)單獨(dú)考慮時(shí)，這些曝光跨越相對(duì)短的曝光時(shí)間。例如，當(dāng)以90Hz成像時(shí)，單個(gè)曝光204A、204B和204C可各自跨越約11ms的相應(yīng)時(shí)間段，這可能不足以在低光條件下成像植物時(shí)適當(dāng)?shù)仄毓庵参铩?/p>

　　盡管單獨(dú)考慮時(shí)，單個(gè)曝光204A、204B和204C可能不會(huì)覆蓋足夠長(zhǎng)的曝光時(shí)間段以適當(dāng)?shù)仄毓庵参�，但組合考慮時(shí)，曝光204A，204B和204 c覆蓋更長(zhǎng)的有效曝光時(shí)間206，并且可以適當(dāng)?shù)仄毓庠撝参铩?/p>

　　繼續(xù)上面的示例，其中單個(gè)曝光204A、204B和204C的相應(yīng)曝光時(shí)間段為約11ms，有效曝光時(shí)間206可包括約33ms或更多，這可足以在低光成像條件下適當(dāng)?shù)仄毓庵参铩?/p>

　　因此，可以組合部分幀214A、214B和214C以生成合成圖像。

　　圖2B顯示了處理216組合部分幀214A、214B和214C以形成圖像218。因?yàn)榭梢栽诒苊庾x取噪點(diǎn)的同時(shí)執(zhí)行連續(xù)執(zhí)行的曝光和讀出操作，所以可以以高幀速率執(zhí)行曝光和讀出。因此，由于圖像218是使用以高幀率捕獲但仍共同跨越有效曝光時(shí)間206的分量生成，圖像218可以提供具有減少的運(yùn)動(dòng)模糊的低光環(huán)境的適當(dāng)曝光表示。

　　在一個(gè)實(shí)施例中，可以執(zhí)行額外的動(dòng)作以進(jìn)一步減輕或減少捕獲的合成圖像中的運(yùn)動(dòng)模糊。例如，系統(tǒng)執(zhí)行運(yùn)動(dòng)補(bǔ)償操作以生成合成圖像，以與上面描述的利用順序、高幀率曝光和讀出操作的技術(shù)相結(jié)合。

　　圖2C示出了基于運(yùn)動(dòng)數(shù)據(jù)的示例運(yùn)動(dòng)補(bǔ)償操作。特別地，圖2C示出了與曝光204A相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)220A、與曝光204B相關(guān)聯(lián)的移動(dòng)數(shù)據(jù)2206以及與曝光204C相關(guān)聯(lián)的活動(dòng)數(shù)據(jù)220C。在執(zhí)行上述各種曝光操作期間，IMU 114捕獲各種運(yùn)動(dòng)數(shù)據(jù)。例如，IMU 114可以在曝光204A期間捕獲運(yùn)動(dòng)數(shù)據(jù)220A。

　　運(yùn)動(dòng)數(shù)據(jù)220A可以表示曝光204A期間的一個(gè)或多個(gè)平均或中值運(yùn)動(dòng)度量。IMU 114同時(shí)可以在曝光204B期間捕獲運(yùn)動(dòng)數(shù)據(jù)2206。運(yùn)動(dòng)數(shù)據(jù)2206可以表示曝光操作204B期間的一個(gè)或多個(gè)平均或中值運(yùn)動(dòng)度量。類似地，IMU 114可以在曝光204C期間捕獲運(yùn)動(dòng)數(shù)據(jù)220C。運(yùn)動(dòng)數(shù)據(jù)220C可以表示曝光204C期間的一個(gè)或多個(gè)平均或中值運(yùn)動(dòng)度量。

　　因此，與各種曝光操作相關(guān)聯(lián)的運(yùn)動(dòng)數(shù)據(jù)可以與基于各種曝光操作生成的不同部分幀相關(guān)聯(lián)。例如在一個(gè)示例中，運(yùn)動(dòng)數(shù)據(jù)220A與部分幀214A相關(guān)聯(lián)，運(yùn)動(dòng)數(shù)據(jù)220 6與部分幀214B相關(guān)聯(lián)，并且運(yùn)動(dòng)數(shù)據(jù)220C與部分幀14c相關(guān)聯(lián)。以這種方式，運(yùn)動(dòng)數(shù)據(jù)220A、2206和220C可用于補(bǔ)償SPAD陣列200在部分幀214A、214B和214C的捕獲之間的移動(dòng)，以對(duì)準(zhǔn)部分幀214B、214C以生成合成圖像。

　　用于生成圖像的運(yùn)動(dòng)補(bǔ)償操作附加地或替代地利用基于計(jì)算機(jī)視覺(jué)的運(yùn)動(dòng)補(bǔ)償技術(shù)。例如，在一個(gè)實(shí)施例中，運(yùn)動(dòng)補(bǔ)償操作可以包括全局或局部下采樣、對(duì)準(zhǔn)和上采樣操作，以減少合成圖像中的運(yùn)動(dòng)偽影。

　　圖3示出了使用SPAD陣列捕獲連續(xù)低光圖像的示例。作為示例實(shí)現(xiàn)，可以使用頭顯的一個(gè)或多個(gè)SPAD陣列來(lái)捕獲連續(xù)的微光圖像，并且可以用于生成所捕獲的微光環(huán)境的透視圖像，以實(shí)時(shí)呈現(xiàn)給用戶。

　　圖3說(shuō)明了使用SPAD陣列200執(zhí)行的各種曝光和讀出操作。特別是，圖3顯示了順序執(zhí)行的曝光和讀出作業(yè)304A至304F。

　　圖3所示的示例顯示了使用單獨(dú)的曝光和讀出操作集生成的每個(gè)圖像306A和306B。例如，圖像306A是使用曝光和讀出操作304A、304B和304C生成，而圖像306B是使用單獨(dú)的、不重疊的曝光和讀出組304D、304E和304F生成�？梢砸匀魏纹谕�的速率執(zhí)行單獨(dú)的順序曝光和讀出操作集。

　　例如，第一組曝光和讀出操作可以包括曝光和讀出動(dòng)作304A、304B和304C，第二組曝光和讀取操作可以包括暴露和讀出操作304D、304E和304F。系統(tǒng)可以執(zhí)行連續(xù)的3組曝光和讀出操作，使得這些組以30Hz或更低(或更高)的速率完成。

　　圖7和8分別示出了使用SPAD降低噪點(diǎn)的圖像采集相關(guān)動(dòng)作。

　　流程圖700的動(dòng)作702包括執(zhí)行多個(gè)順序曝光和讀出操作，每個(gè)曝光和讀出包括：(i)應(yīng)用一組快門操作以配置SPAD陣列的每個(gè)SPAD像素以啟用光子檢測(cè)，以及(ii)對(duì)于SPAD陣列中的每個(gè)SPA像素，讀出在所述一組快門操作期間檢測(cè)到的光子的數(shù)量。

　　在一個(gè)實(shí)施例中，為每個(gè)單獨(dú)的曝光和讀出操作生成部分幀。多個(gè)順序曝光和讀出操作可以包括2、3或更多曝光和讀出。每個(gè)順序曝光和讀出操作具有相同的曝光時(shí)間。

　　動(dòng)作704包括基于在多個(gè)順序曝光和讀出操作中的每一個(gè)期間為每個(gè)SPAD像素檢測(cè)到的光子數(shù)量生成圖像。在一個(gè)實(shí)施例中，使用基于在多個(gè)順序曝光和讀出操作中的每一個(gè)期間為每個(gè)SPAD像素檢測(cè)到的光子數(shù)量而確定的部分幀來(lái)生成圖像。另外，執(zhí)行一個(gè)或多個(gè)運(yùn)動(dòng)補(bǔ)償操作以生成圖像。

　　動(dòng)作706包括執(zhí)行連續(xù)多個(gè)順序曝光和讀出操作。在一個(gè)實(shí)施例中，連續(xù)多個(gè)順序曝光和讀出操作包括至少部分重疊的順序曝光和讀取操作集，而在其他實(shí)現(xiàn)中，順序多個(gè)順序暴露和讀出操作包含非重疊的順序暴露和讀取操作。在一個(gè)實(shí)施例中，以30Hz或更低的速率執(zhí)行連續(xù)多個(gè)順序曝光和讀出操作。

　　動(dòng)作708包括生成連續(xù)圖像，每個(gè)連續(xù)圖像基于連續(xù)多個(gè)順序曝光和讀出操作中的相應(yīng)多個(gè)順序暴露和讀出操作生成。

　　動(dòng)作710包括在顯示器連續(xù)顯示連續(xù)圖像。在一個(gè)實(shí)施例中，用于在顯示器顯示連續(xù)圖像的幀顯示速率與執(zhí)行連續(xù)多個(gè)順序曝光和讀出操作的順序曝光和讀取操作的速率相匹配。

　　現(xiàn)在注意圖8。流程圖800的動(dòng)作802包括執(zhí)行多個(gè)順序快門操作，以配置SPAD陣列的每個(gè)SPAD像素以啟用光子檢測(cè)。

　　動(dòng)作804包括訪問(wèn)SPAD陣列的每個(gè)SPAD像素的相應(yīng)二進(jìn)制計(jì)數(shù)流，每個(gè)相應(yīng)的二進(jìn)制計(jì)數(shù)流對(duì)于相應(yīng)的SPAD像素指示在多個(gè)順序快門操作期間檢測(cè)到的光子數(shù)。在一個(gè)實(shí)施例中，二進(jìn)制計(jì)數(shù)的各個(gè)流累積在系統(tǒng)片上系統(tǒng)(SOC)。

　　動(dòng)作806包括從每個(gè)SPAD像素的相應(yīng)二進(jìn)制計(jì)數(shù)流中識(shí)別一組二進(jìn)制計(jì)數(shù)，包括來(lái)自每個(gè)SPAD象素的每個(gè)二進(jìn)制計(jì)數(shù)流的相應(yīng)二進(jìn)制數(shù)。

　　動(dòng)作808包括使用該組二進(jìn)制計(jì)數(shù)生成圖像。在一個(gè)實(shí)施例中，應(yīng)用一個(gè)或多個(gè)運(yùn)動(dòng)補(bǔ)償操作作為生成圖像的一部分。

　　動(dòng)作810包括從每個(gè)SPAD像素的相應(yīng)二進(jìn)制計(jì)數(shù)流中識(shí)別第二組二進(jìn)制計(jì)數(shù)，第二組二元計(jì)數(shù)包括來(lái)自每個(gè)SPAD象素的每個(gè)二進(jìn)制計(jì)數(shù)流的第二組相應(yīng)二進(jìn)制計(jì)數(shù)。在一個(gè)實(shí)施例中，第二組二進(jìn)制計(jì)數(shù)包括來(lái)自也包括在該組二進(jìn)制計(jì)數(shù)中的相應(yīng)二進(jìn)制計(jì)數(shù)流的至少一些二進(jìn)制計(jì)數(shù)。另外，第二組二進(jìn)制計(jì)數(shù)包括與該組二進(jìn)制計(jì)數(shù)相同數(shù)量的二進(jìn)制計(jì)數(shù)。

　　動(dòng)作812包括使用第二組二進(jìn)制計(jì)數(shù)生成第二圖像。在圖像之后生成/獲得第二圖像。第二圖像和圖像二者可以連續(xù)地顯示在頭顯顯示器，以便于在低光條件下以減少的運(yùn)動(dòng)模糊進(jìn)行透視成像。

　　通過(guò)以上描述的方式，SPAD可以幫助生成減少噪點(diǎn)的圖像。

　　名為“Image acquisition techniques with reduced noise using single photon avalanche diodes”的微軟專利申請(qǐng)最初在2021年2月提交，并在日前由美國(guó)專利商標(biāo)局公布。