Meta研究員提出如何實(shí)現(xiàn)簡單緊湊的snapshot穆勒矩陣成像系統(tǒng)

　　穆勒矩陣成像(MMI)長期以來都是科技界感興趣的一種技術(shù)，因?yàn)樗�有可能獲得有關(guān)目標(biāo)物體或材料的豐富信息。穆勒矩陣封裝了對象的整個(gè)偏振變換特性，可以用來提取重要的物理參數(shù)，例如去極化指數(shù)、透射率和延遲率。MMI由兩部分組成：極化狀態(tài)發(fā)生器(PSG)和極化狀態(tài)分析儀(PSA)。

　　在最常見的MMI技術(shù)類型時(shí)間分割(DoT)MMI中，對象被PSG產(chǎn)生的不同偏振態(tài)依次照亮，然后由PSA依次分析。如果PSA由成像系統(tǒng)組成，則可以逐像素計(jì)算整個(gè)圖像的穆勒矩陣，從而得到穆勒矩陣圖像。

　　盡管DoT MMI系統(tǒng)的構(gòu)思和實(shí)現(xiàn)與其他方法相比更簡單，但它們不適合需要快速和/或?qū)崟r(shí)響應(yīng)的應(yīng)用。另外，DoT MMI系統(tǒng)通常由多個(gè)運(yùn)動(dòng)部件組成，導(dǎo)致不必要的體積。社區(qū)存在其他方法，其中順序PSA由snapshot PSA取代，從而形成一個(gè)提高系統(tǒng)總時(shí)間分辨率的混合MMI系統(tǒng)。與DoT和混合MMI系統(tǒng)不同，snapshot MMI系統(tǒng)可以在單個(gè)時(shí)間點(diǎn)檢索目標(biāo)所有16個(gè)空間變化的穆勒矩陣組件，因此適用于對時(shí)間敏感的應(yīng)用。

　　然而，與DoT和混合MMI解決方案相比，設(shè)計(jì)完全snapshot MMI系統(tǒng)的解決方案很少。同時(shí)，現(xiàn)有的snapshot穆勒矩陣成像解決方案需要多個(gè)偏振光柵、波片和偏振器，從而令設(shè)備的體積增加，阻礙了緊湊的實(shí)現(xiàn)。

　　除了緊湊性，業(yè)界希望減少光學(xué)系統(tǒng)中組件的數(shù)量，以降低復(fù)雜性，避免失調(diào)，并最小化像差。在名為《Towards compact and snapshot channeled Mueller matrix imaging》的論文中，Meta Reality Labs和哈佛大學(xué)提出了一種進(jìn)行snapshot穆勒矩陣成像的新方法，它可以得到緊湊snapshot MMI系統(tǒng)，并適用于時(shí)間敏感的應(yīng)用。

　　我們可以首先考慮MMI系統(tǒng)的一半：成像PSA。成像PSA同時(shí)稱為斯托克斯相機(jī)。最容易獲得的緊湊型斯托克斯相機(jī)中的一種是焦平面分割(DoFP)斯托克斯相機(jī)，其中柵格偏振器直接在傳感器頂部形成圖案。DoFP相機(jī)結(jié)構(gòu)緊湊，適合時(shí)間敏感型應(yīng)用。

　　另一種snapshot斯托克斯相機(jī)稱為振幅分割(DoA)斯托克斯相機(jī)，但與DoFP相機(jī)相比，由于將場分割為至少四個(gè)不同的通道或路徑，因此其結(jié)構(gòu)不太緊湊(然后用偏振器分別對其進(jìn)行分析)。盡管普通的DoFP-斯托克斯相機(jī)通常只分析線性偏振狀態(tài)，但光刻技術(shù)的最新進(jìn)展已經(jīng)允許在像素上直接繪制波片圖案，以分析任意橢圓偏振，從而產(chǎn)生緊湊的全斯托克斯成像。

　　現(xiàn)在考慮一個(gè)定制設(shè)計(jì)的DOFP全斯托克斯相機(jī)，其分析器斯托克斯矢量SA是離散像素坐標(biāo)(m，n)的周期函數(shù)。正如等式2中所看到的一樣，入射場的不同斯托克斯component正被不同的2D空間場調(diào)制。這將入射場的斯托克斯component映射到k-space中的獨(dú)立空間頻率通道，如圖1(a)所示。然后可以在傅里葉域中濾波斯托克斯component，并使用single snapshot張力圖像I(m，n)進(jìn)行檢索。為了在k-space中可視化所述信道，團(tuán)隊(duì)考慮了(非物理)數(shù)值例子斯托克斯圖像進(jìn)行分析，并得到圖1(b)所示的強(qiáng)度圖像I(m，n)。如圖1(c)和圖1(d)所示，圖1(a)所示的離散空間頻率通道清晰可見，分布在頻譜的實(shí)部和虛部。

　　在團(tuán)隊(duì)的研究中，研究人員將這種方法泛化到包括照明和分析，從而允許以snapshot方式檢索穆勒矩陣的所有16個(gè)空間變化元素。

　　現(xiàn)在可以考慮剩下的一半的MMI系統(tǒng)：PSG。為了同時(shí)以多個(gè)偏振狀態(tài)照亮目標(biāo)對象，PSG需要產(chǎn)生空間變化的斯托克斯照明。鑒于最近的進(jìn)展，液晶和超表面等相變平臺(tái)可以使用緊湊的單元件設(shè)備，并以前所未有的分辨率創(chuàng)建所需的結(jié)構(gòu)化偏振照明圖案。

　　團(tuán)隊(duì)假設(shè)實(shí)現(xiàn)結(jié)構(gòu)化偏振照明，使得2D照明的斯托克斯矢量周期性地變化。在等式5中可以看到，由于周期性結(jié)構(gòu)的偏振照明所引入的調(diào)制，Mobj(m，n)的米勒component映射到離散的空間頻率通道。現(xiàn)在需要對Sout進(jìn)行分析，以便恢復(fù)有關(guān)穆勒矩陣組件的信息。

　　Sout由等式1中的DoFP斯托克斯相機(jī)分析，得到的單強(qiáng)度圖像I(m，n)可以按照等式2計(jì)算。

　　可以直觀地看到，當(dāng)使用等式1中的DoFP斯托克斯相機(jī)分析信號(hào)時(shí)會(huì)發(fā)生什么。分析儀將得出的斯托克斯component放到七個(gè)不同頻率通道中，其中七個(gè)通道中的每一個(gè)由于結(jié)構(gòu)化照明而進(jìn)一步拆分為另外七個(gè)通道(總共49個(gè))。因此，穆勒矩陣的不同component映射到不同的空間頻率信道。

　　使用表1中所示的簡單線性方程。如果Mobj(m，n)的所有component都是ban limited，并且它們的空間光譜位于濾波器半徑內(nèi)，則可以濾波并提取出M穆勒矩陣component，并且理論上可以精確地重建原始Mobj(m，n)。

　　作為概念證明，研究人員在ban limited穆勒矩陣信號(hào)對所述方法進(jìn)行了數(shù)值測試。團(tuán)隊(duì)使用參數(shù)(aI 113，bI)=(0.2，0.2)進(jìn)行照明，使用參數(shù)(aA，bA)=(0.6，0.6)進(jìn)行分析，而濾波器半徑為0.1(在k-space中)。

　　然后，令所有穆勒component的ban limit均位于傅里葉域?yàn)V波器的半徑=0.1范圍內(nèi)。處理產(chǎn)生的single shot強(qiáng)度圖像I(m，n)(圖3a)，并使用表中定義的方程式。團(tuán)隊(duì)無縫恢復(fù)了所有16個(gè)穆勒矩陣component�；謴�(fù)的穆勒矩陣正好匹配ban limited信號(hào)中的原始穆勒矩陣。

　　研究人員在圖4中總結(jié)了結(jié)果。圖4(a)中繪制了實(shí)驗(yàn)獲得的穆勒矩陣Moriginal的透射率。假設(shè)對線性偏振器進(jìn)行成像，理想情況下應(yīng)該正好為1。相反，我們可以看到它的范圍在0.7-1之間，變化主要?dú)w因于speckle。圖4(a)中同時(shí)存在一定的高階空間變化，其源于在光束路徑中使用有限孔徑。在對實(shí)驗(yàn)獲得的穆勒矩陣圖像進(jìn)行技術(shù)模擬后，團(tuán)隊(duì)恢復(fù)了一個(gè)穆勒矩陣圖像，并繪制了其透射率，如圖4(b)所示。可以看到，圖4(b)與圖4(a)很好地匹配，并且忠實(shí)地再現(xiàn)了圖4(a)中所示的低空間頻率特征，例如speckle。圖4(a)中更高的頻率特征在圖4(b)中確實(shí)缺失，但考慮到所述技術(shù)在空間頻率信道周圍應(yīng)用的低通濾波器，這可以預(yù)期。

　　團(tuán)隊(duì)同時(shí)繪制了期望值，以作為穆勒矩陣空間坐標(biāo)(m，n)的函數(shù)。Moriginal和Mrecovered的期望值并列在圖4(c)中以進(jìn)行比較。團(tuán)隊(duì)發(fā)現(xiàn)，原始和恢復(fù)的穆勒矩陣圖像之間有很好的對應(yīng)關(guān)系，并且正如預(yù)期的那樣，保持了較低的頻率特征。

　　當(dāng)然，研究人員指出技術(shù)的可行性將取決于應(yīng)用要求，因?yàn)槌上裣鄬Ω呖臻g頻率的component可能會(huì)引入嚴(yán)重的混疊，從而導(dǎo)致恢復(fù)的穆勒矩陣圖像出現(xiàn)錯(cuò)誤值。

　　總的來說，團(tuán)隊(duì)的設(shè)計(jì)提供了一個(gè)實(shí)用的路徑來實(shí)現(xiàn)簡單、緊湊的snapshot穆勒矩陣成像系統(tǒng)，尤其是在低空間頻率成像的背景下。設(shè)計(jì)選擇的實(shí)用性方面在分析儀和照明斯托克斯矢量方面同樣非常明顯。對于空間頻率參數(shù)aA、bA、aI、bI和空間坐標(biāo)(m，n)的任何和所有值，分析器和照明向量始終保持偏振度(DOP)為1。目前，用空間變化的DOP創(chuàng)建精確的結(jié)構(gòu)化照明是不切實(shí)際的，而在斯托克斯相機(jī)的每個(gè)像素處分析不同的DOP同樣是不切實(shí)際的。團(tuán)隊(duì)的方法消除了對不同DOP的擔(dān)憂，從而令采用當(dāng)前技術(shù)的可能實(shí)現(xiàn)變成實(shí)際可行。

　　設(shè)計(jì)緊湊snapshot MMI設(shè)備的主要優(yōu)點(diǎn)是在需要實(shí)時(shí)反饋和響應(yīng)的MMI應(yīng)用中。諸如生物和化學(xué)傳感應(yīng)用需要對特定細(xì)胞或分子進(jìn)行緊湊、快速和實(shí)時(shí)的目標(biāo)檢測響應(yīng)，例如從健康組織中識(shí)別癌組織。另外，計(jì)算機(jī)視覺新出現(xiàn)的應(yīng)用可能會(huì)受益于一個(gè)緊湊的snapshot MMI系統(tǒng)。同時(shí)，由于其操作時(shí)間短和靈活性，一個(gè)緊湊的snapshot MMI系統(tǒng)可能有助于生成用于機(jī)器學(xué)習(xí)應(yīng)用的大型MMI數(shù)據(jù)集，并開辟令人興奮的新調(diào)查領(lǐng)域。