被智駕行業(yè)誤解，是英偉達的宿命

　　端到端的到來，再一次推動了智能駕駛在全球范圍內(nèi)的跨越式發(fā)展，也引發(fā)了大量關(guān)注。

　　尤其是在中國市場，端到端的智駕方案已經(jīng)成為整個行業(yè)的共識，各個玩家都在紛紛通過不同的方式擁抱端到端;由此，各個玩家在算法層面追求突破的同時，也充分意識到了車端算力的極端重要性——于是，大家又把關(guān)切的目光朝向了英偉達。

　　而對于英偉達來說，這種關(guān)注當然不算錯，但卻并不全面。

　　實際上，如果從英偉達在自動駕駛行業(yè)進行布局的整體視角來看，車端算力本身，僅僅是英偉達參與到智能駕駛行業(yè)發(fā)展的冰山一角，這一點確實更受市場和普通消費者的關(guān)注。

　　但是，被嚴重忽視的是，圍繞著自動駕駛的整體技術(shù)實現(xiàn)路徑，英偉達實際上在用戶感知并不明顯的云端、軟件側(cè)、工具鏈等方面都進行了全方位、多角度的布局。

　　而這些整體布局，也是英偉達通過自身的體系能力全面賦能自動駕駛的有力證據(jù)。

　　一個工具齊全的「廚房」

　　對于普通用戶來說，智能駕駛的體驗本身，往往與車企推送的一次次 OTA 升級密切相關(guān)，這些升級中包含的車端智駕算法模型，成為了用戶實際智駕體驗不斷提升的關(guān)鍵——但問題在于，這些運行于車端的智駕算法模型，并非是憑空而生。

　　事情的真相是，它們是由車企或智能駕駛供應(yīng)商基于云端環(huán)境構(gòu)建出來。

　　做一個不太恰當卻比較形象的比喻，如果說運行在車端的智駕算法模型，是一盤盤用戶可以品嘗的「菜品」，那么這個云端環(huán)境本身，更像是一個工具齊全、便利好用的「廚房」。

　　而在不少智駕玩家的選擇中，尤其是自研方案車企的智駕體系中，這個「廚房」本身，都是基于英偉達的技術(shù)來構(gòu)建的。

　　這里需要明確一個前提：對于所有致力于自動駕駛的玩家來說，自動駕駛能力的構(gòu)建，都是一個極其復雜的系統(tǒng)性工作流程。粗略來講，它主要包括數(shù)據(jù)處理和神經(jīng)網(wǎng)絡(luò)算法的構(gòu)建這兩大模塊，而這兩個模塊都需要大量紛繁復雜的工作要處理——但在英偉達軟硬件技術(shù)的助力下，這些工作可以被處理得更加高效。

　　比如說，在自動駕駛的數(shù)據(jù)處理流程中，往往需要從大量的數(shù)據(jù)中尋找到一些安全性相關(guān)的邊緣案例(包含動態(tài)場景、多模態(tài)傳感器融合)并進行數(shù)據(jù)標注工作，才能夠服務(wù)于算法構(gòu)建。因此，自動駕駛的數(shù)據(jù)處理環(huán)節(jié)，對于任何一個玩家來說，都是挑戰(zhàn)巨大、成本高企 的難題。

　　不過，一旦玩家們采用英偉達技術(shù)，就可以在英偉達云計算平臺(NGC)的助力之下，通過預訓練模型來注釋圖像，同時可以在圖像處理中采用來自于英偉達的視頻編解碼技術(shù)，并且可以通過英偉達 TAO AI 模型自適應(yīng)平臺來進行模型優(yōu)化——其結(jié)果是，采用英偉達技術(shù)之后，人工標注工作可以減少高達 50%，而整個數(shù)據(jù)標注流程的效率可以提升 30%。

　　當然，針對特定玩家的自動駕駛技術(shù)路徑選擇，英偉達也可以提供相應(yīng)的助力。

　　比如說，2024 年，理想汽車在自動駕駛技術(shù)方向上采用了端到端 + VLM 的技術(shù)方案，這一方案，對于多模態(tài)數(shù)據(jù)處理和智能駕駛的認知與決策能力提出了新要求。于是，在英偉達的幫助之下，理想汽車能夠?qū)�理�?L9 車型的數(shù)據(jù)進行重建和動態(tài)編輯，有效利用歷史數(shù)據(jù)，提高了數(shù)據(jù)處理的效率和模型訓練的泛化能力。

　　同時，英偉達 Replicator 能合成稀有場景數(shù)據(jù)，從而幫助智駕系統(tǒng)更好地處理邊緣情況;英偉達 NeMo 框架支持智能汽車的視覺語言模型應(yīng)用，提供了從數(shù)據(jù)處理到模型訓練、模型驗證的解決方案;在模型部署優(yōu)化方面，英偉達的 TensorRT-LLM 框架和深度學習加速器也都提供了很好的助力。

　　以上這些，其實都是英偉達為理想汽車端到端 + VLM 方案的實現(xiàn)而提供的有效技術(shù)支撐。

　　另外，還有一個很容易被普通用戶忽略的信息是，類似于 DRIVE Orin 和 DRIVE Thor 這些功能強大的車端算力平臺，也需要英偉達的軟件技術(shù)來加持。

　　比如說，為了推動 Orin 和Thor 芯片更好地運行，英偉達專門開發(fā)了 DriveOS。

　　具體來說， DriveOS 是整個英偉達 DRIVE 軟件堆棧的基礎(chǔ)所在，也是針對車載加速計算而率先推出的安全操作系統(tǒng)，包括用于實現(xiàn)高效并行計算的 NVIDIA CUDA 庫、用于進行實時 AI 推理的 NVIDIA TensorRT，以及用于處理傳感器輸入的 NvMedia。

　　它包含了跨 CPU、GPU 和其他 DRIVE AGX 硬件加速引擎構(gòu)建、調(diào)試、分析和部署自動駕駛汽車和自動駕駛汽車應(yīng)用程序所需的所有軟件、庫和工具，可以為自動駕駛開發(fā)者提供一個安全可靠的執(zhí)行環(huán)境，并提供安全啟動、安全服務(wù)、防火墻和無線 OTA 更新等服務(wù)。

　　值得強調(diào)的是，在 DriveOS 的基礎(chǔ)上，英偉達 DriveWorks 也提供了對自動駕駛汽車開發(fā)來說至關(guān)重要的中間件功能。這些功能包括傳感器抽象層 (SAL) 與傳感器插件、數(shù)據(jù)記錄器、車輛 I/O 支持和深度神經(jīng)網(wǎng)絡(luò) (DNN) 框架——該工具擁有模塊化和開放的特點，在設(shè)計上符合汽車行業(yè)軟件標準。

　　可以說，沒有 DriveOS 和 DriveWorks 的加持，Orin 和 Thor 就無法在車端更好地運行。

　　另外，不得不強調(diào)，盡管英偉達的 Orin 和 Thor 確實成為眾多智駕玩家在車端算力平臺選擇上的不二之選，但是被大多數(shù)普通用戶忽略的是，其實在軟件層面，英偉達也基于這些車端算力平臺做了非常巧妙的布局，從而不斷提升車端算力平臺的運算效率。

　　一個典型的案例，是英偉達為自動駕駛客戶提供的一個基于軟硬件結(jié)合的 PVA 方案。

　　具體來說，為了減輕越來越繁重的 AI 工作負載，開發(fā)者可以直接在 Orin 和 Thor 這樣的 SoC 中運行一個專門的可編程視覺加速器(PVA)， 它可以承擔一些由 GPU 或其他硬件引擎處理的任務(wù)， 從而降低負載并使之能夠更加高效地管理其他關(guān)鍵任務(wù)。

　　本質(zhì)上，PVA 更加類似于一個可以由開發(fā)者自定義的 AI 加速器，來解決自動駕駛汽車開發(fā)中的計算問題，從而能夠更高效、更有效地處理復雜的視覺任務(wù)，并提高整體系統(tǒng)性能——目前，基于 PVA 的優(yōu)化解決方案顯著提高了蔚來自動駕駛的性能，并被廣泛應(yīng)用于蔚來的量產(chǎn)車型中。

　　車端布局，不僅僅是算力

　　當然，從普通用戶感知的角度，英偉達在自動駕駛行業(yè)最受關(guān)注也最為認知的，是它所提供的車端智能駕駛計算平臺，也就是已經(jīng)大規(guī)模上車的 Orin 和即將上車的 Thor。

　　這并不令人感到意外。

　　確實，從當前行業(yè)的落地來看，AI 算力為 254 TOPS 的英偉達 Orin 計算平臺，已經(jīng)成為事實上的高階智能駕駛標準配置。

　　從目前已經(jīng)走向市場的情況來看，無論是蔚來、小鵬、理想等新勢力品牌，還是智己、騰勢、極氪等來自于大型車企的新品牌，都已經(jīng)在旗下車型中采用了英偉達 Orin 方案。

　　可以說，從整個自動駕駛行業(yè)商業(yè)落地的維度來看，英偉達 Orin 是目前全球范圍內(nèi)出貨量和車端部署量最大的算力平臺產(chǎn)品。

　　當然，從技術(shù)發(fā)展的維度，作為 Orin 的繼任者，Thor 本身更值得關(guān)注。

　　Thor 實際上是英偉達最新一代面向自動駕駛的車端計算平臺，它也將高階的智能駕駛功能和車載信息娛樂功能集成到了單個安全可靠的系統(tǒng)中。這款自動駕駛汽車處理器采用了英偉達的最新 CPU 和 GPU 技術(shù)，包括用于 Transformer 和生成式 AI 功能的 NVIDIA Blackwell GPU 架構(gòu)。

　　從算力層面來說，英偉達 Thor 支持 8 位浮點格式 (FP8)，可在降低整體系統(tǒng)成本的同時，提供 1000 INT8 TOPS 性能——這一算力幾乎是 Orin 的 4 倍。

　　當然，在具體的商業(yè)落地層面，Thor 也已經(jīng)獲得了大量合作伙伴的認可，并由此取得了明顯的突破。

　　具體來說，2024 年，Thor 獲得了越來越多的主機廠客戶。

　　比如說，在 CES 2024 活動期間，理想汽車宣布將在 Thor上構(gòu)建其未來汽車產(chǎn)品;而在 GTC 2024 活動上，比亞迪宣布將基于 Thor 構(gòu)建下一代電動車型。同時，廣汽埃安宣布旗下高端豪華品牌昊鉑下一代電動汽車將采用 Thor 平臺，新車型將于 2025 年開始量產(chǎn)。

　　另外，除了主機廠之外，Thor 也正在被一批來自于卡車、自動駕駛出租車、配送車等其他細分領(lǐng)域的廠商所選用。比如說，來自硅谷的自動駕駛配送車輛制造商 Nuro，已經(jīng)選擇 DRIVE Thor 來為它旗下的集成式自動駕駛系統(tǒng) Nuro Driver 提供助力。

　　總體可見，Thor 的商業(yè)落地場景，已經(jīng)不僅僅是瞄準了資金實力更加雄厚的主機廠，也包括一批致力于推進自動駕駛前沿技術(shù)發(fā)展的方案商——本質(zhì)上，這也是英偉達自身在面向自動駕駛行業(yè)發(fā)展過程中的更有效選擇。

　　值得強調(diào)的是，在 Orin 和 Thor 逐漸走向落地的過程中，英偉達不僅僅提供了算力基礎(chǔ)本身，也提供了諸如上文中提到的一系列軟件和算法服務(wù)——更重要的是，英偉達也在端到端、大模型等前沿技術(shù)上持續(xù)探索，為整個自動駕駛行業(yè)的發(fā)展方向?qū)で蟾鼉?yōu)解。

　　在虛擬之中，走完現(xiàn)實的路

　　在自動駕駛的落地過程中， 還有一個所有玩家都不得不面臨的真正難題：當一個智能駕駛模型被開發(fā)出來之后，如何對它在實際場景中的效果進行真正有效的測試和驗證。

　　到了端到端時代，這個難題更是被無限放大，成為各家在智能駕駛開發(fā)中的終極考驗。

　　其原因是，人類的道路場景本身就復雜多樣，任何一家車企都沒有能力在全世界的每個角度進行實地驗證;除此之外，即使是同樣的道路場景，也存在著天氣狀況、擁堵情況、交通參與者、是否施工等各種各樣的差異——這就意味著，在真實的場景中進行各種各樣的驗證，是一件根本不可能完成的事情。

　　因此，尋找到一個能夠具備廣泛通用性、普適性的替代方案，就顯得極為關(guān)鍵——正是基于這一原因，英偉達也在自動駕駛的仿真測試方面進行了深入布局。

　　具體來說，就是 NVIDIA Omniverse 平臺。

　　從概念上來說，NVIDIA Omniverse 是一個基于 USD(Universal Scene Description，通用場景描述，一種能夠表述精準物理模型的通用標準，它由蘋果、英偉達等公司定義)、用于創(chuàng)建和運行各種虛擬世界應(yīng)用的平臺。

　　這一平臺可以應(yīng)用到多個領(lǐng)域和行業(yè)——而對于自動駕駛來說，它能夠很好地滿足行業(yè)里對于高保真自動駕駛汽車仿真的需求。

　　事實上，仿真對于開發(fā)和驗證自動駕駛汽車的安全關(guān)鍵功能而言至關(guān)重要，但需要在部署之前進行充分測試。高保真仿真為各種場景下的系統(tǒng)訓練提供安全、可控且逼真的環(huán)境——利用 Omniverse，可有效地對現(xiàn)實世界條件進行仿真，使車輛得以在上路前通過數(shù)字孿生進行安全測試和驗證。

　　比如說，針對各種駕駛條件，尤其是一些無法在現(xiàn)實世界中復現(xiàn)的場景，比如說惡劣的天氣、交通變化或者罕見的危險場景，Omniverse 可以利用生成式 AI 的一些最新技術(shù)進行精準建模，并且可以作為訓練數(shù)據(jù)的一部分。

　　與此同時，當自動駕駛開發(fā)者在進行任何自動駕駛車輛的物理原型設(shè)計之前，可以通過 Omniverse 部署虛擬車隊來設(shè)計新傳感器和堆棧的原型，從而減低在實際開發(fā)過程中的物理測試和驗證成本。

　　值得一提的是，為了滿足行業(yè)里對于自動駕駛傳感器和周圍環(huán)境的物理特性和行為進行精確建模的需求，英偉達在 GTC 2024 上還專門發(fā)布了 Omniverse Cloud 應(yīng)用編程接口(API)，它們匯集了一個由仿真工具、應(yīng)用和傳感器組成的豐富生態(tài)系統(tǒng)，從而可以滿足高保真?zhèn)鞲衅鞣抡娴年P(guān)鍵需求——以安全的方式探索自主系統(tǒng)將會遇到的無數(shù)現(xiàn)實場景。

　　比如說，通過 Omniverse Cloud 應(yīng)用編程接口，開發(fā)者可以訪問不同制造商提供的傳感器模型，其中包括禾賽、速騰、Seyond 等激光雷達制造商，也包括 OMNIVISION、安森美和索尼等視覺傳感器供應(yīng)商。同時，開發(fā)者還可以調(diào)用這些應(yīng)用編程接口，從而生成大量且多樣的合成數(shù)據(jù)集，為訓練和驗證這些自主系統(tǒng)所使用的感知模型提供關(guān)鍵數(shù)據(jù)。

　　除了能夠解決在自動駕駛落地場景中的仿真測試問題，NVIDIA Omniverse 也能夠很好地服務(wù)于于自動駕駛汽車本身的外觀設(shè)計、可視化等。

　　比如說，專注于整車研發(fā)、核心零部件研發(fā)及制造、新能源汽車研發(fā)等領(lǐng)域的阿爾特汽車，就借助 NVIDIA Omniverse 平臺、NVIDIA Modulus 以及 NVIDIA RTX GPU 的算力構(gòu)建了一個面向汽車設(shè)計、評審與性能優(yōu)化的全方位數(shù)字化平臺。

　　其中，通過 Omniverse Composer，阿爾特的設(shè)計工程師們可以快速切換不同的汽車造型，從而在短時間內(nèi)探索多種設(shè)計方案;利用 Omniverse Connector，阿爾特使不同 DCC 軟件和 Composer 能夠進行實時協(xié)同，實現(xiàn)了工程師之間的并行工作，極大提高研發(fā)效率。

　　有意思的是，阿爾特汽車還利用 Omniverse Action Graph 制作汽車組件拆解爆炸效果視頻，節(jié)省大量時間。

　　技術(shù)體系，才是核心競爭力

　　如果站在技術(shù)落地的角度來看，智能駕駛是人工智能面向物理世界和汽車行業(yè)進行應(yīng)用和賦能的典型場景。

　　實際上，人工智能雖然面向各行各業(yè)都擁有很大的賦能潛力，但這個過程都是非常艱難的。因為它需要的并不僅僅是人工智能算力的構(gòu)建;更為重要的環(huán)節(jié)是，如何通過一系列復雜的全棧技術(shù)布局，把算力應(yīng)用和服務(wù)于特定的行業(yè)場景，從而賦能于人類。

　　某種程度上，人工智能的落地，考驗的是體系能力。

　　從這個角度來看，英偉達在智能駕駛行業(yè)扮演的角色，也不僅僅是車端算力平臺的提供者的角色，而是通過它在從云端訓練到車端推理的一系列過程中的整體布局，來實現(xiàn)對于自動駕駛行業(yè)的底層賦能。

　　這其中，軟件的角色最容易被忽視，但卻同樣重要。

　　也許，從這個角度來看，我們也許能夠更加容易理解，盡管英偉達為整個人工智能行業(yè)的發(fā)展提供了足夠強大和先進的算力平臺，但從業(yè)務(wù)邏輯來說，作為英偉達掌門人的黃仁勛，更愿意在公開場合反復強調(diào)它在軟件算法和應(yīng)用生態(tài)的布局。

　　從自動駕駛行業(yè)發(fā)展的角度來看，英偉達其實也一直是在軟硬件一體化的角度去進行布局和深耕，并且最終獲得市場認可。

　　盡管市場和消費者更加關(guān)注硬件和算力參數(shù)本身，但不得不承認的是，軟件能力也是英偉達在自動駕駛的技術(shù)和商業(yè)體系中所構(gòu)建出來的核心競爭力。

　　軟硬件之間密不可分，它們共同構(gòu)成了英偉達在自動駕駛行業(yè)的技術(shù)護城河。

　　當然，無論是否被市場充分認知，面對自動駕駛領(lǐng)域正在發(fā)生的 重大技術(shù)變革和商業(yè)落地機遇，英偉達硬件和軟件的持續(xù)深耕還將繼續(xù)，并且會更加緊密——這固然是技術(shù)的邏輯，但它也是商業(yè)的邏輯，但最終，這也將會是英偉達獲得市場認可、并能夠繼續(xù)為自動駕駛行業(yè)的發(fā)展貢獻長期價值的核心驅(qū)動力之所在。

　　本文來自微信公眾號“智見 Time”，作者：308