下一代云原生邊緣設(shè)備管理標(biāo)準(zhǔn)DMI的設(shè)計(jì)與實(shí)現(xiàn)

　　如何更好地解耦業(yè)務(wù)應(yīng)用開發(fā)和設(shè)備數(shù)據(jù)訪問，為設(shè)備提供完整的生命周期數(shù)據(jù)管理，釋放設(shè)備數(shù)據(jù)的價(jià)值?如何在保證集群可用性的同時(shí)，高效管理和傳輸設(shè)備數(shù)據(jù)，獲得更為方便、靈活的數(shù)據(jù)訪問方式?云原生邊緣計(jì)算的方案選擇可以幫助用戶更好地應(yīng)對(duì)這類問題。

　　KubeEdge設(shè)備管理架構(gòu)的設(shè)計(jì)實(shí)現(xiàn)，有效幫助用戶處理設(shè)備數(shù)字孿生進(jìn)程中遇到的場(chǎng)景。用戶可以通過KubeEdge，將物理設(shè)備抽象成數(shù)字孿生，用云原生的方式對(duì)設(shè)備和數(shù)據(jù)進(jìn)行管理。

　　一、KubeEdge設(shè)備管理框架

　　圖 1 KubeEdge設(shè)備管理架構(gòu)設(shè)計(jì)

　　KubeEdge設(shè)備管理架構(gòu)設(shè)計(jì)如圖1所示，具體流程如下：

　　1. 用戶調(diào)用Kubernetes API接口，創(chuàng)建Device CRD實(shí)例到KubeEdge

　　2. KubeEdge云上組件CloudCore watch到Kubernetes中Device CRD實(shí)例創(chuàng)建消息

　　3. 此時(shí)CloudCore會(huì)做兩件事情，一方面CloudCore通過云邊websocket通道下發(fā)Device Twin信息到EdgeCore，另一方面CloudCore會(huì)生成一份包含Device Profile信息的Configmap，該Configmap是以Node名稱為索引，掛載到對(duì)應(yīng)Mapper的Pod中的

　　4. Mapper通過讀取掛載的Configmap中的Device Profile信息，更新本地維護(hù)的Device list列表

　　5. EdgeCore把接收到的Device Twin信息發(fā)送到指定的mqtt topic

　　6. 該節(jié)點(diǎn)上的所有Mapper都會(huì)收到該Device Twin消息，并根據(jù)Device名稱來匹配是否是自己維護(hù)的list中的Device

　　7. Mapper根據(jù)Device Profile信息，通過對(duì)應(yīng)的協(xié)議與設(shè)備建立連接

　　8. Mapper通過mqtt topic上報(bào)設(shè)備狀態(tài)和采集的數(shù)據(jù)Device Twin到EdgeCore

　　9. EdgeCore通過云邊websocket通道上報(bào)Device Twin數(shù)據(jù)到CloudCore

　　10. CloudCore更新設(shè)備Device Twin數(shù)據(jù)到Kubernetes

　　二、DMI框架設(shè)計(jì)

　　在此基礎(chǔ)上，KubeEdge團(tuán)隊(duì)也對(duì)框架不斷更新迭代。為幫助用戶應(yīng)對(duì)未來更大規(guī)模設(shè)備場(chǎng)景、更高的可用性需求、更靈活的功能支持以及更優(yōu)的用戶體驗(yàn)，KubeEdge 設(shè)計(jì)了更優(yōu)化的設(shè)備管理框架——DMI。

　　DMI整合設(shè)備管理接口，優(yōu)化邊緣計(jì)算場(chǎng)景下的設(shè)備管理能力，打造基于云原生技術(shù)的，覆蓋設(shè)備管理、設(shè)備數(shù)據(jù)的設(shè)備數(shù)字孿生管理平臺(tái);同時(shí)定義了EdgeCore與Mapper之間統(tǒng)一的連接入口，并分別由EdgeCore和Mapper實(shí)現(xiàn)上行數(shù)據(jù)流和下行數(shù)據(jù)流的服務(wù)端和客戶端，承載DMI具體功能。

　　DMI框架設(shè)計(jì)中解耦了設(shè)備管理面與設(shè)備業(yè)務(wù)面數(shù)據(jù)，讓Device CRD只承載設(shè)備本身的生命周期管理，而設(shè)備業(yè)務(wù)面數(shù)據(jù)則直接通過微服務(wù)的方式為數(shù)據(jù)消費(fèi)者應(yīng)用提供出來。在這樣的架構(gòu)下，設(shè)備就不再是單純的數(shù)據(jù)源，而是一種云原生的設(shè)備微服務(wù)，設(shè)備數(shù)據(jù)消費(fèi)應(yīng)用的開發(fā)者就可以不再關(guān)心如何獲取設(shè)備數(shù)據(jù)，而是以更云原生的方式來聚焦應(yīng)用本身的業(yè)務(wù)邏輯開發(fā)。DMI框架還提供多種數(shù)據(jù)推送方式，讓數(shù)據(jù)消費(fèi)者可以更靈活地獲取設(shè)備數(shù)據(jù)，用戶體驗(yàn)更優(yōu)。

　　由于DMI的設(shè)備管理面與業(yè)務(wù)面數(shù)據(jù)分離的特點(diǎn)，業(yè)務(wù)面數(shù)據(jù)可以通過業(yè)務(wù)面通道更靈活地在云端或邊端被處理，而管理面的云邊通道中只會(huì)傳輸少量管理面信息，大大降低了云邊通道擁塞的可能，提高了KubeEdge系統(tǒng)的可用性。另外，DMI提供了統(tǒng)一的設(shè)備管理相關(guān)接口，無論是設(shè)備應(yīng)用開發(fā)者還是設(shè)備應(yīng)用的使用者，都可以以更統(tǒng)一、更靈活、更標(biāo)準(zhǔn)化的方式來開展設(shè)備相關(guān)工作，不拘泥于具體形式，只要能夠?qū)崿F(xiàn)DMI接口，就能夠享受KubeEdge邊緣計(jì)算平臺(tái)帶來的云原生設(shè)備管理體驗(yàn)。

　　▍2.1 DMI框架定位

　　圖 2 DMI 在 KubeEdge 架構(gòu)中的定位

　　DMI在KubeEdge架構(gòu)中的定位如圖2所示。DMI類似Kubernetes的CNI、CSI、CRI等接口，定義了一組EdgeCore與Mapper之間的內(nèi)部API接口以及外部應(yīng)用訪問Mapper的統(tǒng)一的API接口。其中內(nèi)部接口底層由gRPC結(jié)合UDS的方式來實(shí)現(xiàn)，外部API接口支持mqtt和REST兩種接入方式。Mapper不論是何種承載、實(shí)現(xiàn)方式，只要實(shí)現(xiàn)了DMI中所定義的上行、下行數(shù)據(jù)接口，即可接入KubeEdge云原生邊緣計(jì)算平臺(tái)，使用云原生的方式對(duì)設(shè)備進(jìn)行管理。

　　▍2.2 DMI設(shè)備管理與數(shù)據(jù)管理

　　DMI框架架構(gòu)設(shè)計(jì)如圖3所示，其中黃色線條為設(shè)備管理面數(shù)據(jù)流管理，藍(lán)色部分為業(yè)務(wù)面數(shù)據(jù)流管理。

　　在DMI的架構(gòu)設(shè)計(jì)中，將設(shè)備的管理面數(shù)據(jù)與業(yè)務(wù)面數(shù)據(jù)進(jìn)行分離。其中管理面數(shù)據(jù)主要包括設(shè)備的元數(shù)據(jù)、設(shè)備屬性、配置、狀態(tài)、生命周期等，其特點(diǎn)是相對(duì)比較穩(wěn)定，創(chuàng)建后除狀態(tài)上報(bào)外的信息更新較少，更貼近Pod類型資源所產(chǎn)生的數(shù)據(jù)，在保證用戶可以通過云端Kubernetes API像訪問Pod一樣維護(hù)Device的生命周期的同時(shí)，盡量減少設(shè)備管理產(chǎn)生的額外數(shù)據(jù)傳輸開銷。

　　圖 3 DMI設(shè)備管理與數(shù)據(jù)管理架構(gòu)

　　在DMI框架設(shè)計(jì)下，設(shè)備不再是單純的數(shù)據(jù)源，而是被抽象為微服務(wù)，以云原生的方式為設(shè)備數(shù)據(jù)消費(fèi)者提供數(shù)據(jù)服務(wù)。DMI框架下的設(shè)備數(shù)據(jù)訪問支持多種場(chǎng)景，更加靈活。圖3中列出了幾種主要的數(shù)據(jù)訪問方式，包括推數(shù)據(jù)和拉數(shù)據(jù)等，具體情況如下：

　　1. 邊緣側(cè)應(yīng)用通過REST Service訪問設(shè)備數(shù)據(jù)

　　2. 云側(cè)應(yīng)用通過REST Service訪問設(shè)備數(shù)據(jù)

　　3. Mapper通過配置REST目的地址，將數(shù)據(jù)推送到邊緣側(cè)應(yīng)用

　　4. Mapper通過配置REST目的地址，將數(shù)據(jù)推送到云側(cè)應(yīng)用

　　5. Mapper通過配置目的地址，將數(shù)據(jù)推送到邊緣側(cè)數(shù)據(jù)庫

　　6. Mapper通過配置目的地址，將數(shù)據(jù)推送到mqtt broker

　　7. 邊緣側(cè)應(yīng)用通過mqtt broker topic訂閱設(shè)備數(shù)據(jù)

　　8. 云側(cè)應(yīng)用通過mqtt broker topic 訂閱設(shè)備數(shù)據(jù)

　　9. 邊緣側(cè)應(yīng)用處理數(shù)據(jù)后將處理結(jié)果傳上云

　　▍2.3 DMI工作流程

　　圖 4 DMI設(shè)備管理工作流程示例

　　在DMI框架下，設(shè)備管理工作的流程有一定的變化。如圖4所示，在安裝KubeEdge的時(shí)候，云端CloudCore會(huì)注冊(cè)DeviceController組件用于監(jiān)聽Device和DeviceModel的CRD資源。DeviceController中存在兩個(gè)模塊，Downstream Controller和Upstream Controller，其中Downstream Controller用于監(jiān)聽云端的Device、DeviceModel事件，并通過Cloudhub下發(fā)至邊緣，Upstream Controller用于接收從Cloudhub轉(zhuǎn)發(fā)來的EdgeHub上報(bào)的Device狀態(tài)和消息，并更新Kubernetes中的Device狀態(tài)。在邊緣側(cè)，Mapper初始化的時(shí)候，需要調(diào)用DMI中的Mapper注冊(cè)接口，將Mapper的相關(guān)信息注冊(cè)至Device Manager，并接收接口返回的已下發(fā)至該節(jié)點(diǎn)的且協(xié)議匹配的設(shè)備信息。EdgeHub在接收到云端下發(fā)的設(shè)備消息時(shí)，會(huì)將其轉(zhuǎn)發(fā)到DeviceManager組件，DeviceManager會(huì)根據(jù)該設(shè)備的協(xié)議選擇對(duì)應(yīng)的Mapper驅(qū)動(dòng)程序，發(fā)送創(chuàng)建設(shè)備的請(qǐng)求，并且本地?cái)?shù)據(jù)庫也會(huì)存儲(chǔ)該設(shè)備的信息，后續(xù)Mapper會(huì)將設(shè)備孿生消息轉(zhuǎn)化為設(shè)備協(xié)議格式，跟實(shí)際的物理設(shè)備進(jìn)行通信。

　　三、DMI接口定義

　　▍3.1 DMI 接口分類

　　DMI接口實(shí)現(xiàn)了EdgeCore與Mapper之間的通信，支持REST和mqtt的通信方式，并以標(biāo)準(zhǔn)化的形式呈現(xiàn)，降低了Mapper開發(fā)、適配難度。在數(shù)據(jù)訪問方面，DMI可以實(shí)現(xiàn)邊緣側(cè)和云側(cè)的應(yīng)用都可以通過REST Service的方式訪問設(shè)備數(shù)據(jù)。

　　圖 5 DMI接口定義

　　如圖5所示，DMI有六類接口，Mapper管理是針對(duì)邊緣側(cè)各類設(shè)備協(xié)議驅(qū)動(dòng)程序，Device管理和Device數(shù)據(jù)管理對(duì)管理面和業(yè)務(wù)面進(jìn)行了數(shù)據(jù)拆分，Device升級(jí)管理和Device命令管理為具有升級(jí)和命令執(zhí)行功能的設(shè)備提供相關(guān)的接口，Device事件管理可以監(jiān)控Mapper及其納管的各個(gè)設(shè)備的運(yùn)行狀態(tài)。

　　▍3.2 DMI 接口定義示例

　　圖 6 DMI設(shè)備管理部分接口定義示例

　　如圖6所示，為DMI設(shè)備管理部分接口定義，v1版本以gRPC proto的方式定義，可使用make dmi命令創(chuàng)建對(duì)應(yīng)的gRPC-go代碼。

　　▍3.3 DMI 設(shè)備相關(guān) CRD 定義

　　如圖7所示，是DMI設(shè)備相關(guān)CRD定義，主要分為Device和DeviceModel。其中DeviceModel與設(shè)備型號(hào)是一一對(duì)應(yīng)的關(guān)系，代表同一類設(shè)備型號(hào)的共有屬性，主要包含設(shè)備產(chǎn)生數(shù)據(jù)屬性Properties和設(shè)備支持命令屬性Commands。Device為設(shè)備實(shí)例，與真實(shí)的物理設(shè)備為一對(duì)一的關(guān)系，每個(gè)DeviceModel可以對(duì)應(yīng)統(tǒng)一型號(hào)的多個(gè)Device實(shí)例。Device類型資源主要包含設(shè)備型號(hào)對(duì)應(yīng)關(guān)系信息、設(shè)備協(xié)議配置信息、設(shè)備部署節(jié)點(diǎn)信息、設(shè)備狀態(tài)信息以及設(shè)備數(shù)據(jù)Property采集配置信息。

　　圖 7 DMI 設(shè)備相關(guān) CRD 定義

　　四、發(fā)布計(jì)劃

　　DMI發(fā)布計(jì)劃分為三個(gè)版本，Alpha版本提供設(shè)備管理相關(guān)功能實(shí)現(xiàn)，以及提供一個(gè)支持DMI接口的Mapper Demo。Beta版本支持設(shè)備命令管理、設(shè)備升級(jí)管理以及設(shè)備數(shù)據(jù)管理的能力，此外還會(huì)對(duì)接第三方平臺(tái)，并提供相關(guān)對(duì)接Demo。GA版本會(huì)對(duì)多平臺(tái)、多協(xié)議進(jìn)行對(duì)接支持，另外會(huì)把設(shè)備安全以及事件管理的功能補(bǔ)全。

　　目前 KubeEdge Device IoT SIG 專注于第一階段的設(shè)備管理和 Mapper Demo 的開發(fā)工作。