80%的數(shù)據(jù)+20%的模型=更好的AI。
這是人工智能領(lǐng)域權(quán)威學者、斯坦福大學計算機科學教授吳恩達在他45歲生日當天提出的人工智能“二八定律”。他表示,“如果我們80%的工作是數(shù)據(jù)準備,那么確保數(shù)據(jù)質(zhì)量是人工智能團隊的重要工作。”
由此延伸至端到端智能駕駛領(lǐng)域,智駕這盤菜看起來誘人,但車企想要吃到嘴里并沒有那么容易,這既要有數(shù)據(jù)作為原料食材,也要有算力燃料把火燒得旺,還要配合算法的烹調(diào)。優(yōu)質(zhì)的數(shù)據(jù)和充足的算力是一切技術(shù)迭代升級的先決條件,沒有好的食材和火候,再先進的算法也無法發(fā)揮出最大效用。
當智駕迎來最為關(guān)鍵的中場戰(zhàn)事,行業(yè)的重心不再是招募更多頂級的工程人才,而切換到模型設(shè)計、工具鏈開發(fā)以及模型的測試驗證上。一個非常明顯的現(xiàn)象是,業(yè)界曾經(jīng)以團隊規(guī)模作為描述先進性的一項指標,而到了2024下半年,行業(yè)比拼的關(guān)鍵指標變成了云端算力和數(shù)據(jù)質(zhì)量。
從2023年的開城大戰(zhàn),到2024年的“車位到車位”大戰(zhàn),這其中如何形成數(shù)據(jù)閉環(huán)成?如何建好算力“蓄水池”?如何最大化利用數(shù)據(jù)和算力資源并實現(xiàn)最優(yōu)算法?都是車企決勝智駕下半場必須要解決的問題。
一、“冰山之下”的數(shù)據(jù)閉環(huán)能力
端到端下的智能駕駛技術(shù),是數(shù)據(jù)和算力的合謀。
隨著智駕系統(tǒng)中感知定位、決策規(guī)劃和控制模塊的實現(xiàn)方式由基于規(guī)則的代碼向AI模型轉(zhuǎn)變,智駕系統(tǒng)開發(fā)范式也從規(guī)則驅(qū)動逐漸過渡到了數(shù)據(jù)驅(qū)動,當系統(tǒng)越來越依賴數(shù)據(jù)驅(qū)動,意味著數(shù)據(jù)閉環(huán)對智駕系統(tǒng)越來越關(guān)鍵了。
所謂數(shù)據(jù)閉環(huán),是從數(shù)據(jù)采集、存儲、挖掘、標注到模型訓練、仿真驗證、集成部署的整個開發(fā)工作流。數(shù)據(jù)閉環(huán)完成的是對數(shù)據(jù)價值的提取工作,其本質(zhì)是將隱藏在一個又一個駕駛數(shù)據(jù)片段中的人類駕駛知識慢慢地遷移到智駕系統(tǒng)模型的參數(shù)文件里,從而使智駕系統(tǒng)的表現(xiàn)更加趨向擬人化,大幅提升駕駛體驗的自然性和舒適性。
從數(shù)據(jù)閉環(huán)發(fā)展階段看,在第一階段,智能駕駛技術(shù)主要采取硬件驅(qū)動的方式進行研發(fā),數(shù)據(jù)閉環(huán)概念初現(xiàn)。進入第二階段,算法和軟件的重要性不斷提升,智能駕駛開始嘗試采用小模型、基于規(guī)則驅(qū)動的方法來解決智能駕駛問題。隨著智駕技術(shù)的提升,智駕系統(tǒng)對于數(shù)據(jù)的需求劇增,其優(yōu)化對數(shù)據(jù)閉環(huán)的要求越來越高,因此數(shù)據(jù)閉環(huán)已逐漸進入由數(shù)據(jù)驅(qū)動的第三階段。
對于端到端智駕系統(tǒng)所需要的數(shù)據(jù),特斯拉曾給出過一些判斷標準:一個端到端自動駕駛訓練至少需要100萬個、分布多樣、高質(zhì)量的視頻片段才能正常工作。如果片段達到1000萬個,系統(tǒng)能力會變得難以置信。
理想表示,最晚今年年初,會推出大概超過1000萬個片段訓練出來的端到端+VLM。前段時間小鵬智駕負責人也公開表示,小鵬端到端模型的訓練數(shù)據(jù)量已達到2000萬個片段。
當前,車企和智駕企業(yè)獲取數(shù)據(jù)主要有兩種方式:
一是從量產(chǎn)車上挖掘。比如針對車企賣出的幾十萬臺車,工程師會寫下專門規(guī)則,如果用戶的駕駛行為符合條件,特定數(shù)據(jù)(經(jīng)過脫敏處理)會被上傳。車企用戶也可以主動上傳一些特別案例。
二是在存量數(shù)據(jù)中挖掘數(shù)據(jù)。在早期智駕還不成熟的階段,車企和智駕企業(yè)往往積累大量數(shù)據(jù),很多都是無效數(shù)據(jù),工程師只能通過一些算法規(guī)則來挖取。
高質(zhì)量數(shù)據(jù)作為養(yǎng)料,會決定智駕系統(tǒng)迭代的質(zhì)量,也持續(xù)考驗著車企的智駕自動化閉環(huán)能力。
最近幾年,隨著量產(chǎn)車的規(guī);涞,很多車企都開始轉(zhuǎn)向采用量產(chǎn)車的影子模式采集數(shù)據(jù),但這種模式依然面臨艱巨的挑戰(zhàn)。
首先,是采集策略問題,即如何平衡數(shù)據(jù)的長尾問題(有效性)和數(shù)據(jù)的規(guī)模問題(成本)。如果采集策略比較寬松,往往采集回來的數(shù)據(jù)大部分是垃圾數(shù)據(jù),根本沒有使用價值;如果采集策略過于嚴格,又擔心丟失大量有價值的數(shù)據(jù)。
其次,是數(shù)據(jù)質(zhì)量問題,如何定義數(shù)據(jù)質(zhì)量是個艱巨的產(chǎn)品問題,“壞數(shù)據(jù)”(不熟練的駕駛、糟糕的駕駛習慣、違反交通規(guī)則等)會向下拖曳大模型的訓練效果。因此,如何精準地挑選出高質(zhì)量的數(shù)據(jù)又是一個復雜的技術(shù)問題。
第三,是數(shù)據(jù)分布問題,如何從海量的視頻片段中提取有效的特征、如何統(tǒng)計數(shù)據(jù)的分布、應該考慮哪些維度,都需要大量的工作。
對于大部分車企和智駕企業(yè),還會面臨嚴重的數(shù)據(jù)泛化問題,因為不同的車型傳感器配置差異巨大,采集的數(shù)據(jù)往往難以復用,而國內(nèi)車企普遍車型眾多,最后很可能是采了一堆數(shù)據(jù)放在那沒法使用,看起來是數(shù)據(jù)資產(chǎn),其實都是存儲成本。毫不夸張地說,數(shù)據(jù)會占據(jù)端到端智駕系統(tǒng)開發(fā)中80%以上的研發(fā)成本。
因此,越早形成數(shù)據(jù)閉環(huán)能力,就越有助于車企構(gòu)筑既寬且深的技術(shù)與產(chǎn)品護城河,也就越有機會將競爭者拒之門外。
二、“算力軍備競賽”愈演愈烈
由AI大模型催生的搶購算力潮,從去年開始陡然遷移到了汽車行業(yè)。以理想、華為和小鵬汽車為首的新勢力車企和智駕企業(yè)尤為激進。
和AI大模型技術(shù)趨同,端到端的智駕技術(shù),同樣有數(shù)十億參數(shù),也在向百億級進發(fā)。對算力資源的拼搶成為智駕領(lǐng)域繼數(shù)據(jù)之后又一個新的制勝法則。
實際上,智駕的算力軍備競賽早已愈演愈烈。一方面,隨著智駕系統(tǒng)的迭代升級,智能汽車所搭載的傳感器數(shù)量與類型進一步增多,智駕系統(tǒng)需要實時采集海量傳感器數(shù)據(jù)并進行融合處理,做出合理決策與路徑規(guī)劃,將決策實時傳送到執(zhí)行部件。在海量數(shù)據(jù)處理以及超低時延的需求之下,智駕系統(tǒng)計算量激增,算力需求呈現(xiàn)指數(shù)級增長。
一般認為,自動駕駛等級每增加一級,所需要的芯片算力就會呈現(xiàn)十倍的上升。根據(jù)Intel的推算,L5級別的全自動駕駛時代,每秒需要芯片處理的數(shù)據(jù)大約為4000G。
另一方面,智能座艙與智能車聯(lián)的發(fā)展也對算力提出了新的要求。座艙交互體驗的升級與第三生活空間趨勢之下,“顯示屏”逐漸替代車內(nèi)其它顯示方式,車載娛樂與服務進一步豐富,多模態(tài)交互成為趨勢。這些都對整車算力提出了更高的要求。
去年7月,理想汽車云端算力為2.4 EFLOPS,截至11月算力已達6.83 EFLOPS。小鵬汽車計劃到2025年,云端算力將從目前的2.51 EFLOPS增加到10 EFLOPS。華為智駕也在兩個月內(nèi)迅速將云端算力規(guī)模從5 EFLOPS擴張到7.5 EFLOPS。
當前汽車算力主要來源仍是車載計算平臺,車載算力上限決定了未來汽車能夠承載的軟件服務升級上限,進而決定汽車全生命周期價值。因此,在軟件技術(shù)仍處于持續(xù)升級迭代的當下,主機廠通過硬件堆砌,預埋足夠大的算力,以期在未來能更大程度地獲取軟件服務收入。
但在摩爾定律之下,車載計算平臺的算力終有上限,而汽車的商品屬性也無法承受不計成本的硬件堆砌。對數(shù)據(jù)的實時分析處理吞噬著飛速上漲的算力數(shù)值,這一場算力軍備競賽也逐漸演變?yōu)楸绕此懔?shù)值大小的盲目競爭,引發(fā)主機廠的算力焦慮。
為了緩解算力供給緊張,云端大模型成為可行的方案。
從目前行業(yè)主流的三種端到端技術(shù)發(fā)展路線看,一種是通過大量規(guī)則和小模型堆疊而成的“大模型”,其需要大量的優(yōu)秀規(guī)則工程師;一種是“車端大模型”,即直接將端到端模型部署于車輛上,雖然見效快,但受限于車端算力,且隨著后期訓練數(shù)據(jù)量的增加,容易陷入瓶頸;第三種便是云端大模型(Foundation Model),其參數(shù)量是車端模型的幾十倍甚至數(shù)百倍,這是單純的車端大模型所不可企及的。
但訓練一個云端大模型,也對大規(guī)模高性能算力以及數(shù)據(jù)存儲和處理提出了非常高的要求。
第一,是提高并行訓練性能和利用率的要求,這對云基礎(chǔ)設(shè)施包括網(wǎng)絡(luò)互聯(lián)、帶寬,以及系統(tǒng)軟件優(yōu)化等帶來了挑戰(zhàn)。
第二,是對模型訓練持久穩(wěn)定性的要求,比如模型訓練中斷,訓練出現(xiàn)問題后能否快速拉起任務,縮短故障時間。
第三,大規(guī)模多模態(tài)數(shù)據(jù)的存儲與處理能力,實現(xiàn)并行訓練的高性能、高吞吐,滿足模型訓練不斷提升的數(shù)據(jù)量增長需求。
第四,海量數(shù)據(jù)的存儲成本要求,在滿足數(shù)據(jù)處理性能要求的前提下,通過支持數(shù)據(jù)分層存儲,實現(xiàn)最優(yōu)的成本。
從整車角度上,當車端架構(gòu)和云端架構(gòu)進一步統(tǒng)一后,接下來的競爭是數(shù)據(jù)挖掘、數(shù)據(jù)的有效利用以及整個技術(shù)棧對數(shù)據(jù)的理解,以及如何在大規(guī)模的基礎(chǔ)設(shè)施上平衡整個計算效率。
換句話說,就是需要獲得高質(zhì)量、大規(guī)模的數(shù)據(jù),再配合高算力,來訓練和迭代算法能力,建立“冰山之下”車端和云端之間的數(shù)據(jù)閉環(huán)能力,來讓這“三大件”的能力更有效率和更低成本地運轉(zhuǎn)起來。
三、如何為智駕“降本增效”?
智能網(wǎng)聯(lián)汽車的底色,是汽車的AI化。無論是智能駕駛、智能座艙,又或者是車路云一體化,都在向著人工智能的方向進化。深度學習、大模型等技術(shù),亦深度嵌入功能開發(fā)過程中。
對于智能汽車而言,智駕水平的高低體現(xiàn)在對環(huán)境的實時感知和對數(shù)據(jù)的分析處理能力方面,而這又需要龐大且優(yōu)質(zhì)的數(shù)據(jù)集和充足的算力作支撐。在資源有限的情況下,集通信、感知、計算于一體的車路云網(wǎng)絡(luò)有望為智駕的降本增效提供新途徑。
通過車路云網(wǎng)絡(luò),可以建立一個橫跨車端、路側(cè)和云端的體系化閉環(huán),路側(cè)收集的數(shù)據(jù)上傳到云端,在云端匯集并對這些數(shù)據(jù)進行標注處理和用于算法訓練。完成后,云端再把訓練好的算法模型數(shù)據(jù)發(fā)到車端,進行OTA部署及更新。
同時,路側(cè)數(shù)據(jù)可以彌補車端的天然局限(視線盲區(qū)、超視距感知能力不足、極端天氣感知精度下降等),豐富車端的全局數(shù)據(jù),從而進一步提升智駕能力和安全性。三端數(shù)據(jù)進行協(xié)同互補,推動完成了智駕技術(shù)的迭代與進化。
交通行業(yè)是個復雜系統(tǒng),人工智能在其中目前只呈現(xiàn)碎片化應用,比如識別信號燈、識別違章等,想要真正解決問題,需要用大模型這根線把車流、道路、交通信號等所有的散點串聯(lián)起來,形成更高維度的全局智能,通過對車、路、云等交通關(guān)鍵節(jié)點開展智能協(xié)同,形成對交通態(tài)勢的全面、及時、精準的感知、控制與決策。
引入多模態(tài)大模型后,車路云網(wǎng)絡(luò)可以提升視覺分析的精準度、泛化能力和場景適應性,小模型算法面臨的問題可以通過多模態(tài)大模型進行優(yōu)化。同時,考慮成本及帶寬等問題,多模態(tài)大模型應用也需要有前端小模型來做相應支撐,大小模型協(xié)同應用其實是多級協(xié)同計算,多級協(xié)同計算可能是未來發(fā)展的主要應用點。
前端小模型進行實時檢測,快速分析,后端大模型進行深度推理、二次判斷,減少誤報,最后通過人類反饋強化學習的方法實現(xiàn)整個算法模型的優(yōu)化提升,這其中,結(jié)合了小模型計算快、成本低優(yōu)勢的同時,運用了大模型預測準確、方法能力強的優(yōu)點。
車路云一體化場景中,云計算聚焦非實時、長周期數(shù)據(jù)的大數(shù)據(jù)分析,能夠為業(yè)務決策支撐提供依據(jù),實現(xiàn)新應用服務開發(fā)的快速、靈活部署,并為整車OTA數(shù)據(jù)進行存儲、計算和分析,管理和簡化車端電子設(shè)備與軟件的復雜性。
邊緣計算則聚焦實時、短周期數(shù)據(jù)的分析,能更好地支撐車端實時智能化處理與執(zhí)行。車路云網(wǎng)絡(luò)可以在路側(cè)運用邊緣小模型進行快速感知,在邊緣云端運用大模型推理進行二次預警,在中心云端運用行業(yè)大模型進行優(yōu)化,整體利用多級協(xié)同計算來實現(xiàn)事件感知的準確。
在交通流預測方面,業(yè)界基本使用時序數(shù)據(jù)進行預測,包括實時監(jiān)測、短時預測、長期預測等。但交通流預測是一個復雜任務:交通流組成復雜、交通流參數(shù)之間并非簡單的線性關(guān)系,會受到外部因素比如天氣、特殊事件等因素的干擾,交通系統(tǒng)存在動態(tài)性和不確定性;同時也需要考慮交通數(shù)據(jù)的質(zhì)量和可用性問題。將數(shù)據(jù)預測結(jié)合交通環(huán)境的實時數(shù)字孿生,可以為路網(wǎng)管控決策提供量化支撐。
在車路云網(wǎng)絡(luò)下,車、道路、交通路口可能都是智能體,智能體發(fā)展最重要的是要進行人機協(xié)同,也就是說由人來設(shè)置目標,智能體再將目標拆分成不同步驟,讓智能體來決定每個步驟使用大模型還是小模型,最后形成完整的閉環(huán)鏈條,保障智能體的運行。
此前交通事件處置有很多預案,大部分很難定量和定性,比如無法準確知道擁堵成因和程度,也就是說以前的預案相當于知識庫,在每個步驟上不同的人的理解不同,處理方式也就不一樣。通過智能體的應用將預案知識庫轉(zhuǎn)向智能體模式,可以更加靈活的完成步驟分發(fā)和調(diào)度,從而形成對交通事件的準確分析和理解,便于交通管理部門實現(xiàn)更精細化的交通管理。
智駕技術(shù)的演進,好似從冷兵器時代到熱兵器時代,不同技術(shù)階段具有明顯的代際差異。過去的輔助駕駛依靠有限的規(guī)則、單一的功能依然有獲勝的希望,但到了端到端智駕時代,需要的是更大算力和更多數(shù)據(jù),以及讓算力和數(shù)據(jù)流轉(zhuǎn)起來的機制和工程能力,任何一環(huán)的缺失都會給這場競賽帶來變數(shù)。
到目前為止,堅持單車智能路線的車企還是占大多數(shù),但車路云一體化的潛力已不可忽視。究竟是各自發(fā)展,還是最終走向融合,目前仍沒有統(tǒng)一的答案。然而,大家都無法回避的是,智駕對降本增效的需求越來越高,數(shù)據(jù)和算力供給不僅要多,也更要精,期望靠堆卡、堆數(shù)據(jù)就能做好智駕的日子已經(jīng)一去不復返。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。
2024年的Adobe MAX 2024發(fā)布會上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標識解析專題論壇在沈陽成功舉辦。