不斷發(fā)展的邊緣人工智能世界需要一種新型計算

　　圍繞人工智能的炒作是無可避免的。雖然人們的注意力一直集中在生成式人工智能(GenAI)的大型語言模型(LLM)和數(shù)據(jù)中心上，但在物聯(lián)網(wǎng)(IoT)的邊緣，整個世界都在迅速發(fā)展。在這里，多模態(tài)感知和人工智能分析應(yīng)用于資源受限的環(huán)境，以提供情境感知計算，使設(shè)備更直觀、更智能、更實用、更易于使用。這些支持人工智能的邊緣設(shè)備，如顯示器、音箱、安全系統(tǒng)、筆記本電腦、平板電腦和工業(yè)控制系統(tǒng)，幾乎獨立于數(shù)據(jù)中心運行，利用本地化、低延遲處理來創(chuàng)造這些增強的用戶體驗，同時保護隱私，并節(jié)省能源和網(wǎng)絡(luò)帶寬。

　　最近一系列以人工智能為重點的個人電腦和智能手機的發(fā)布，預示著人工智能的下一次重大轉(zhuǎn)變——GenAI和邊緣推理在高度優(yōu)化的物聯(lián)網(wǎng)設(shè)備上的交集，適用于消費者、企業(yè)和工業(yè)應(yīng)用。

　　而這種結(jié)合邊緣人工智能的機會，將改變我們與技術(shù)的互動方式。

　　物聯(lián)網(wǎng)邊緣的人工智能

　　在邊緣設(shè)備中實現(xiàn)人工智能，需要我們通過觸摸、音頻、語音、視覺、視頻或其他“現(xiàn)實世界”數(shù)據(jù)來感知和收集輸入，處理這些數(shù)據(jù)并連接到另一個設(shè)備或網(wǎng)絡(luò)。這些操作必須在規(guī)模、功耗、成本和計算效率方面做到最好。這是在加入GenAI之前。問題在于，人工智能軟件在邊緣運行的能力遠遠領(lǐng)先;硬件基礎(chǔ)——驅(qū)動所需的處理和連接的芯片，正在迎頭趕上。

　　以生成語音轉(zhuǎn)文本應(yīng)用為例。這種應(yīng)用越來越普遍，可通過基于云的連接在具有先進處理硬件的設(shè)備中使用，如PC和智能手機。挑戰(zhàn)在于將這種能力遷移到更小的、電池供電的邊緣設(shè)備上，這些設(shè)備缺乏必要的GenAI計算資源。

　　目前的解決方案主要建議改造其他系統(tǒng)中使用的現(xiàn)有硬件方法，例如CPU、MPU和GPU，并將其安裝到邊緣IoT設(shè)備上。這些芯片和電路板不太適合低功耗設(shè)備的需求。成本模型具有挑戰(zhàn)性，芯片制造商經(jīng)常嘗試利用“淘汰”策略來重新利用和限制原本用于其他類型產(chǎn)品的芯片的性能。

　　我們需要一種新的硅片設(shè)計方法，這種方法明確針對邊緣AI計算進行了優(yōu)化。我們稱之為AI原生方法。

　　AI原生：全新硬件類別及更多

　　從硬件角度來看，這種AI-Native方法將可擴展的異構(gòu)處理元素(CPU、GPU、NPU和DSP)組合在一系列IC中，為各種應(yīng)用提供合適的計算能力。

　　使應(yīng)用程序開發(fā)人員面臨的挑戰(zhàn)更加復雜的是，邊緣計算和物聯(lián)網(wǎng)總體而言是一個比數(shù)據(jù)中心更加分散的領(lǐng)域，數(shù)據(jù)中心的標準已經(jīng)非常完善，主要由芯片供應(yīng)商和超大規(guī)模企業(yè)制定。在物聯(lián)網(wǎng)中，處理和連接數(shù)據(jù)的多種專用方法破壞了一致性和可預測性的目標。

　　鑒于此，在物聯(lián)網(wǎng)設(shè)備中實現(xiàn)人工智能功能雖然誘人，但也增加了復雜性，并可能讓開發(fā)人員、客戶和用戶感到沮喪。無論如何，圍繞邊緣人工智能的炒作和FOMO導致了各種特殊和專有解決方案的出現(xiàn)。這些解決方案基于傳統(tǒng)硬件和軟件以及相關(guān)的開發(fā)環(huán)境，無法有效利用人工智能的潛力。

　　除此之外，目前在實施人工智能方面存在著一種停滯狀態(tài)，尤其是首次實施時。在某些情況下，企業(yè)有數(shù)據(jù)，但沒有人工智能模型，或者不知道從哪里開始開發(fā)它們。那些擁有模型的企業(yè)往往面臨著一個令人困惑且不兼容的生態(tài)系統(tǒng)，其中包括開發(fā)輔助工具、硬件平臺和編程工具來部署它們。很多企業(yè)都在觀望，意識到了機會，但不確定如何利用。

　　因此，除了優(yōu)化的硬件之外，開發(fā)人員還需要一種適用于物聯(lián)網(wǎng)的“邊緣AI”類型的開發(fā)環(huán)境。這將包括訪問開源工具和模型，而不僅僅是與一種實施方法綁定的供應(yīng)商特定產(chǎn)品，，以構(gòu)建針對工作負載優(yōu)化的解決方案。

　　基礎(chǔ)牢固

　　好在，在將人工智能應(yīng)用于視覺、音頻、語音和其他消費物聯(lián)網(wǎng)模式方面，已經(jīng)做了很多工作。然而，專注于為AI工作負載提供合適規(guī)模的處理和工具/框架，將能夠在幾乎無限范圍的物聯(lián)網(wǎng)應(yīng)用中實現(xiàn)具有成本效益的情境感知。

　　這種新型AI原生處理器，由支持生態(tài)系統(tǒng)、開發(fā)工具和真正的AI優(yōu)先方法支持，將成為解決邊緣情境感知計算和GenAI的基礎(chǔ)。它將加速開發(fā)和采用更有用、更有意義的IoT設(shè)備，以滿足不受數(shù)據(jù)中心束縛的用戶不斷變化的AI需求。