Meta專利探索從共享存儲器優(yōu)化AR/VR硬件設(shè)備

　　Meta正在從各個方面優(yōu)化AR/VR硬件設(shè)備。在名為“Artificial reality system having multi-bank, multi-port distributed shared memory”的專利申請中，這家公司介紹了使用一個或多個多存儲體、多端口分布式共享存儲器系統(tǒng)實現(xiàn)的人造現(xiàn)實系統(tǒng)。

　　所述的共享存儲器系統(tǒng)可以實現(xiàn)為一個或多個集成電路和/或SoC的一部分。在一個實施例中，所描述的共享存儲器系統(tǒng)可以在邏輯上視為單個實體存儲體空間，但在物理上可以具有多個存儲體組。通過將特定存儲體與某些其他組件或子系統(tǒng)相關(guān)聯(lián)，可以減少對同一存儲體的并發(fā)訪問的可能性，并且因此減少對鎖定的需要。另外，有限的路徑長度可以幫助限制功耗，并且可以減少存儲體延遲。團隊表示，這種變化的延遲可以為特定應(yīng)用提供調(diào)整SoC性能的機會。

　　圖5示出了頭顯和外設(shè)的分布式架構(gòu)框圖。頭顯可以構(gòu)造和配置為實現(xiàn)多個人造現(xiàn)實應(yīng)用和協(xié)作場景渲染的并發(fā)執(zhí)行。

　　通常，圖5中所示的SoC表示以分布式架構(gòu)布置的專用集成電路的集合，其中每個SoC集成電路包括配置為為人造現(xiàn)實應(yīng)用提供操作環(huán)境的各種專用功能子系統(tǒng)和/或模塊。圖5僅僅是SoC集成電路的一個示例性布置。用于多設(shè)備人工現(xiàn)實系統(tǒng)的分布式架構(gòu)可以包括SoC集成電路的任何集合和/或布置。

　　在這個示例中，頭顯112的SoC 630A包括功能塊、子系統(tǒng)和/或模塊，包括追蹤模塊670、加密/解密模塊680、協(xié)處理器682、安全處理器683、接口模塊684和共享存儲器690，和/或同時定位和映射(SLAM)678、以及共享存儲器657

　　共享存儲器657可以實現(xiàn)為多存儲體、多端口分布式延遲共享存儲器系統(tǒng)。

　　在一個實施例中，SoC 610A和SoC 601B中的每一個可以分別包括共享存儲器657和共享存儲器667。共享存儲器657和667中的每一個可以實現(xiàn)多存儲體、多端口分布式共享存儲器系統(tǒng)。類似地，SoC 630A、630B和630C中的每一個都可以包括共享存儲器，并實現(xiàn)為多存儲體、多端口分布式共享存儲器系統(tǒng)。

　　圖6是示出了一個SoC框圖，其包括可由多個組件、子系統(tǒng)和/或設(shè)備訪問的示例共享存儲器。圖6的SoC 730可以對應(yīng)于圖5的SoC中的一個或多個，例如頭顯 112的SoC 630A。圖6示出了可由多個子系統(tǒng)或組件訪問的共享存儲器790，以及顯示子系統(tǒng)758B。

　　圖6的示例中的SoC 730可以對應(yīng)于SoC 630A的示例，SoC 730可以包括在頭顯 112內(nèi)，并且可以執(zhí)行與圖像捕獲、音頻捕獲、眼睛、手和/或深度追蹤、姿勢確定、輸入檢測、加密和/或描述以及內(nèi)容生成和/或顯示相關(guān)的功能。

　　在圖6的示例中，每個示出的子系統(tǒng)可以將數(shù)據(jù)存儲到共享存儲器790，并從共享內(nèi)存790中檢索數(shù)據(jù)，其中共享存儲790在實現(xiàn)SOC 730的集成電路的內(nèi)部，并且用作多存儲體、多端口分布式共享存儲系統(tǒng)。

　　從每個子系統(tǒng)的角度來看，共享存儲器790在邏輯上可以表現(xiàn)為單個實體或單個存儲體設(shè)備，但同時可以包括多個存儲體組(圖6中未示出)，每個存儲體組在SoC 730集成電路內(nèi)部并且可由任何子系統(tǒng)訪問。

　　在一個實施例中，共享存儲器790中包括的每個存儲體(圖6中未具體示出的存儲體)可由子系統(tǒng)通過SoC 730的集成電路內(nèi)的共享存儲器7900所呈現(xiàn)的端口或接口來訪問，以經(jīng)由內(nèi)部網(wǎng)絡(luò)向共享存儲器790/從共享存儲器790讀取數(shù)據(jù)。

　　在圖6的示例中，PCI/USB子系統(tǒng)751可以通過端口791A訪問共享存儲器790。類似地，安全子系統(tǒng)752可以通過端口792B訪問共享存儲器791;攝像頭子系統(tǒng)755可以通過端口791E訪問共享存儲器790;FCV子系統(tǒng)756可以通過端口79F訪問共享存儲器791‘圖形子系統(tǒng)757可以通過接口791G訪問共享存儲器792等等。

　　在一個實施例中，圖6中所示的與給定子系統(tǒng)相關(guān)聯(lián)的每個端口都可以專用于子系統(tǒng)，使得子系統(tǒng)對存儲體的所有訪問都通過單個端口進行。例如，PCI/USB子系統(tǒng)751可以通過端口791A訪問共享存儲器790中包括的任何存儲體。相應(yīng)地，安全子系統(tǒng)752可以通過端口791B訪問包括在共享存儲器790內(nèi)的任何存儲體。

　　圖6的系統(tǒng)還可以包括外部存儲體控制器759，其允許訪問附加存儲體，例如外部存儲體634(例如，但通常具有比包括在共享存儲器790內(nèi)的存儲體更大的延遲。

　　在一個實施例中，多個存儲體(或每個存儲體)可以通過低延遲連接來訪問，并且可以由SoC 730內(nèi)的子系統(tǒng)同時和/或并發(fā)地訪問。這樣的能力可以通過包括在共享存儲器790內(nèi)的網(wǎng)絡(luò)來實現(xiàn)。

　　圖7示出了具有多個存儲體和多個端口的共享存儲器系統(tǒng)的示例SoC框圖。圖示的子系統(tǒng)中的每一個子系統(tǒng)可以通過總線850進行通信，并用于各種目的，包括在共享存儲器890內(nèi)分配內(nèi)存。主機子系統(tǒng)853可以包括內(nèi)存管理模塊899。共享存儲器8900包括網(wǎng)絡(luò)897，網(wǎng)絡(luò)897允許訪問多個存儲體中的每個存儲體。

　　在一個實施例中，存儲體組895中的每一個可以具有相同的設(shè)計或統(tǒng)一的設(shè)計，潛在地在性能和密度方面以及在延遲和功耗方面實現(xiàn)規(guī)模效應(yīng)。例如，多個存儲體895中的每一個的統(tǒng)一設(shè)計可以提供優(yōu)化每一個這樣的存儲體的尺寸的機會，最終使得更多的存儲體包括在給定尺寸的芯片中。

　　每個存儲體895可以配置有功耗特征，例如自動(或根據(jù)命令)轉(zhuǎn)換到低功率或睡眠模式的能力。在一個示例中，每個存儲體895可以在共享存儲器890內(nèi)獨立地操作，并且可以獨立地能夠確定何時轉(zhuǎn)換到低功率模式。

　　在一個實施例中，存儲體組895中的每一個可以具有1兆字節(jié)量級的大小。因此，在圖7的SoC 830的具體示例中，共享存儲器890可以具有大約23兆字節(jié)的容量。這種大小的存儲體可以是在集成電路上實現(xiàn)的相對大量的存儲體。因此，SoC 830可以來抵消集成到集成電路中的大量存儲體的潛在負面影響，并可用于減少存儲體延遲、提供變化的延遲分布、提高效率、實現(xiàn)低功耗以及提供其他技術(shù)方面有利的屬性。

　　在圖7的示例中，所示的每個子系統(tǒng)通過端口891之一訪問存儲體895，特別是，在圖7的示例中，PCI/USB子系統(tǒng)851通過端口891A訪問存儲體895，F(xiàn)CV子系統(tǒng)856通過端口891F訪問存儲體895，圖形子系統(tǒng)857通過端口89G訪問存儲體895，顯示子系統(tǒng)858A通過端口891H訪問存儲體內(nèi)895，而顯示子系統(tǒng)8.58B通過端口8911訪問存儲中895。

　　在圖7中，每個端口891示為通過連接892中的一個連接到另一個交換機893。例如，端口891A示為經(jīng)由連接892連接到交換機893A。類似地，端口891C示為經(jīng)過不同的連接892與交換機893A連接。

　　SoC 830的每個子系統(tǒng)對存儲體895的訪問可以通過網(wǎng)絡(luò)897進行，網(wǎng)絡(luò)897將每個子系統(tǒng)的專用端口891連接到每個存儲體891，和交換機893C以及端口891、交換機893和存儲體895之間的連接(892、894和898)。

　　交換機893可以啟用共享存儲器890內(nèi)的多個組件之間的連接，同時限制共享存儲器8900內(nèi)的物理連接的數(shù)量。多個交換機893的適當使用可以減少并行連接的數(shù)量，并且可以使共享存儲器890內(nèi)的多個組件能夠?qū)⑾嗤�的連接用于復(fù)用業(yè)務(wù)。

　　在一個示例中，每個交換機893用作具有多個不同仲裁器的交叉開關(guān)。開關(guān)893之一內(nèi)的每個仲裁器確定涉及存儲體895之一的存儲體操作是否需要執(zhí)行仲裁。例如在圖7中，交換機893C可以包括11個不同的仲裁器，因為交換機893C具有11個輸出端口。在11個輸出端口中，10個通向存儲體895之一，另一個輸出端口通向交換機893B。

　　在圖7中，開關(guān)893中的每一個可以實現(xiàn)對多個存儲體895的獨立和并發(fā)訪問，開關(guān)893C能夠使請求子系統(tǒng)獨立地和同時地訪問存儲體895N和895S中的每一個。如果交換機893C具有這樣的能力，則可能不需要對這樣的存儲體訪問執(zhí)行仲裁，并且請求子系統(tǒng)可以獨立地和并發(fā)地訪問存儲體組895N和895S中的每一個。

　　圖7的SoC 830可以是圖6的SoC 730的替代或示例實現(xiàn)。類似地，圖7的SoC 830可以對應(yīng)于圖5的一個或多個SoC，例如頭顯 112的SoC 630A。

　　使用外部存儲體不僅在延遲方面而且在功耗方面可能成本昂貴，所以共享存儲器890可以實現(xiàn)為SoC 830的一部分，并且可以以實現(xiàn)低延遲、并發(fā)訪問和低功耗特征的方式來設(shè)計和/或?qū)崿F(xiàn)。

　　例如，在圖7中，多個交換機893用于在存儲體895之間路由存儲體業(yè)務(wù)。盡管在特定設(shè)計中可以使用單個交換機或NOC，但如果NOC路由的存儲體業(yè)務(wù)量大，則這樣的交換機或NOB可能成為擁塞點。另外，單個交換機或NOC可能需要較大的尺寸，而較大的NOC往往會消耗大量的電力。

　　因此，以圖7所示的方式使用多個NOC可能是有利的。例如，使用多個交換機893使得交換機893中的每一個都能夠在多個交換機892上分配存儲體業(yè)務(wù)，這不僅減少了任何給定交換機893處的擁塞，而且這樣的系統(tǒng)中的交換機893的每一個中的每個都傾向于消耗更少的功率。

　　在一個實施例中，對多個存儲體895的訪問可以是并發(fā)進行，而不需要存儲體業(yè)務(wù)穿越任何公共點。例如，PCI/USB子系統(tǒng)851可以通過端口891A訪問共享存儲器890來訪問存儲體組895A。類似地，顯示子系統(tǒng)858B可以通過端口8911訪問共享存儲器890來訪問存儲體組895N。

　　在這樣的示例中，到存儲體組895A和存儲體組895N中的每一個的存儲體業(yè)務(wù)不需要經(jīng)過任何公共點，因此存儲體組896A和存儲體組1895N可以由PCI/USB子系統(tǒng)851和顯示子系統(tǒng)858B同時訪問。

　　并發(fā)訪問反過來可以提供顯著的帶寬增強，這是與使用單個NOC執(zhí)行對存儲體的共享訪問的系統(tǒng)相比的一個優(yōu)勢。例如，如果四個不同的子系統(tǒng)同時訪問四個存儲體895，則共享存儲器890的有效存儲體速度或帶寬可以比單個存儲體890的訪問速度快四倍。

　　在一個實施例中，連接892、路徑894和連接898的物理長度可能對給定端口891和給定存儲體895之間的延遲產(chǎn)生影響，因為這些連接或路徑可以在集成電路上延伸的距離通常存在電限制。如果連接或路徑太長，可能需要重新放大信號，以便信號在沿著連接或路徑到達目的地時保持穩(wěn)定。在這種情況下，這種再放大可能需要額外的時鐘周期，從而增加延遲。

　　因此，有限的路徑長度可以幫助限制功耗，并且可以減少存儲體延遲。

　　因為與從端口891H到存儲體組895A的物理距離相比，從端口891A到存儲體組1895A的物理距離(連接892和898的長度)可能相對較短，從端口891A到存儲體895A的等待時間可以減少。

　　這種分布式延遲設(shè)計同時具有功耗優(yōu)勢。例如，SoC 830可以通過限制到存儲體895的業(yè)務(wù)所經(jīng)過的跳數(shù)、通過限制到存儲體組895的公共或典型存儲體業(yè)務(wù)所行進的連接的長度、以及通過限制SoC 830內(nèi)的連接、導(dǎo)線和/或路徑的長度來節(jié)省電能，因為使用單個NOC實現(xiàn)共享存儲器可能需要單個NOC消耗大量功率。作為實現(xiàn)分布式延遲設(shè)計的設(shè)計考慮的結(jié)果，SoC 830的功耗屬性因此可以得到改善。

　　在一個實施例中，每個存儲體895同時可以配置有額外的功耗特征，例如自動(或根據(jù)命令)轉(zhuǎn)換到低功率或睡眠模式的能力。例如，每個存儲體895獨立地在SoC 830操作，并且獨立地能夠確定何時轉(zhuǎn)換到低功率模式。可以基于自先前訪問該存儲體組89以來已經(jīng)過了多少時間和/或基于傾向于訪問給定存儲體組899的子系統(tǒng)的訪問模式，存儲體組895中的每一個可以確定是否轉(zhuǎn)換到休眠模式或低功率模式，并通過評估共享存儲器890的這種訪問模式和/或使用模式以及學(xué)習(xí)用于進行這種轉(zhuǎn)換的適當或最佳閾值。

　　SoC 830同時可以通過基于每個這樣的子系統(tǒng)的預(yù)期使用模式來調(diào)整延遲來設(shè)計。例如，可以在設(shè)計時知道數(shù)據(jù)預(yù)期如何在SoC 830內(nèi)流動。利用相關(guān)知識，可以做出有助于減少公共存儲體操作的延遲、實現(xiàn)并行存儲體操作以及減少SoC 830的總體功耗需求的設(shè)計選擇，交換機893的數(shù)量和物理布置，以及通常由交換機893和連接892、路徑894和連接898組成的網(wǎng)絡(luò)拓撲。

　　對于通用SoC，在設(shè)計時不知道預(yù)期使用情況，這種設(shè)計選擇不可能或不可取。但如果在設(shè)計時已知有關(guān)預(yù)期用例的重要信息，則可以做出對內(nèi)存延遲和電源效率有重大影響的設(shè)計選擇。這樣的設(shè)計選擇同樣可以在設(shè)計后期進行，使得能夠在制造對應(yīng)于SoC 830的集成電路之前部署與預(yù)期使用模式相關(guān)的定制并利用預(yù)期使用模式。

　　因此，一個或多個存儲體895可以這樣的方式布置在SoC 830上，以實現(xiàn)特定子系統(tǒng)的高效訪問。

　　名為“Artificial reality system having multi-bank, multi-port distributed shared memory”的Meta專利申請最初在2022年8月提交，并在日前由美國專利商標局公布。