完成國內(nèi)首次端到端智駕大模型路測，千掛科技實現(xiàn)「彎道超車」

　　2023年，由ChatGPT所掀起的大模型風(fēng)潮正在席卷科技圈，它充分展現(xiàn)了全新的技術(shù)范式所帶來的想象力、潛能以及背后的生產(chǎn)效率提升。

　　這股技術(shù)浪潮席卷至自動駕駛，智能汽車作為一個能夠承載、實現(xiàn)前沿的理想超級智能終端，能夠最大限度地展現(xiàn)新技術(shù)范式所帶來的變革。

　　2023年8月，特斯拉以直播形式向外界展示FSD V12測試版，該版本基于完全的端到端輸出，真正實現(xiàn)了從「感知」到「決策」的全流程融入一個模型中，它成功走出依靠人工規(guī)則以外的技術(shù)通途，在全局視角下，展現(xiàn)出對感知、預(yù)測、規(guī)劃、控制和決策的高度統(tǒng)一，呈現(xiàn)出流暢的駕駛行為和卓越的體驗感。

　　當(dāng)然，在這場新的技術(shù)范式變革里，參與者不止只有特斯拉;許多中國玩家們也朝著同一個突破口努力，貢獻(xiàn)自己的解題思路，甚至率先走向端到端技術(shù)應(yīng)用的前沿。

　　自動駕駛的技術(shù)奇點時刻：「端到端智能駕駛大模型」

　　此前，證明自動駕駛的可落地性是整個自動駕駛行業(yè)需要回答的問題。

　　一方面，業(yè)界不斷減少激光雷達(dá)的數(shù)量，以無圖或輕圖的方式擺脫對高精度地圖的深度依賴，減少或擺脫以「堆料」的方式實現(xiàn)對外部的感知;另一方面，「漸進(jìn)式」道路成為了業(yè)界的共識，以「高速」、「城區(qū)」等分區(qū)域落地的思路來證明自動駕駛的可實現(xiàn)性。

　　可以說，在端到端沒有到來之前的自動駕駛世界，是一個依靠天才工程師對于無數(shù)駕駛場景的觀察、歸納、提煉、總結(jié)的世界，同時也是一個依靠規(guī)則搭建的世界。這當(dāng)中存在著一個殘酷的事實：場景是不能夠窮舉的。依靠人工規(guī)則對數(shù)據(jù)的總結(jié)提煉，不僅效率低而且泛化性差，這就導(dǎo)致了最后1%的長尾場景問題始終無法解決。

　　天才的工程師們始終在做打補丁的工作，縫縫補補一個由規(guī)則所搭建起來的世界，這樣的技術(shù)路線也導(dǎo)致自動駕駛的落地未如預(yù)期。

　　端到端技術(shù)的到來則有機會徹底改變這一局面，它打破了過去業(yè)界在開發(fā)自動駕駛系統(tǒng)時，感知與規(guī)劃分離，推翻一個由人為規(guī)則所搭建起來的世界。

　　這一明確的技術(shù)趨勢使得幾乎所有人都在賽跑：在美國，F(xiàn)SD12已進(jìn)入用戶測試環(huán)節(jié)的特斯拉，是第一梯隊的排頭兵;而在中國，比亞迪投入4000人進(jìn)行智能駕駛研發(fā);理想也宣稱2024年端到端上車;而在剛剛結(jié)束的千掛科技2024年度產(chǎn)品發(fā)布會上，千掛科技公布了自己的端到端智能駕駛大模型在2023年底便已經(jīng)進(jìn)入公開道路常態(tài)化的測試階段。從公開信息上來看，這是中國首個完成端到端智能駕駛大模型公開道路閉環(huán)測試的選手——而許多企業(yè)此時依然將端到端僅僅作為一個「未來的重要規(guī)劃」。

　　端到端的技術(shù)想象力究竟在哪里?在千掛科技聯(lián)合創(chuàng)始人葉璨博士看來，端到端智能駕駛大模型對于自動駕駛至少有三點重要的意義：

　　•第一點：端到端可以大幅提升數(shù)據(jù)的利用規(guī)模和效率，打破傳統(tǒng)自動駕駛研發(fā)當(dāng)中，依靠人工規(guī)則對數(shù)據(jù)的總結(jié)提煉模式，解決效率低且泛化性差的痛點;

　　•第二點：端到端能夠?qū)��?shù)據(jù)進(jìn)行自動化學(xué)習(xí)，由模型取代規(guī)則，打破自動駕駛泛化性的瓶頸，能夠覆蓋更多的駕駛場景;

　　•第三點：在傳統(tǒng)自動駕駛當(dāng)中，不同模塊都在關(guān)注和優(yōu)化自身的代理指標(biāo)，而這些指標(biāo)存在不一致，端到端能夠解決多模塊甚至全鏈路聯(lián)合優(yōu)化的問題。

　　另一方面，在這種全面learning化的AI系統(tǒng)之上，我們有機會將世界模型(world model)進(jìn)一步引入自動駕駛系統(tǒng)中，復(fù)刻類似于GPT4.0 等大模型的模式，通過Transformer把海量的互聯(lián)網(wǎng)數(shù)據(jù)及對應(yīng)的知識壓縮到模型參數(shù)當(dāng)中，彌補現(xiàn)在自動駕駛系統(tǒng)對通用知識(world knowledge)的缺失。當(dāng)自動駕駛系統(tǒng)擁有了先驗知識以后，就能迅速提高泛化和推理能力，包括對長尾物體的識別、對場景的深度理解、對駕駛?cè)蝿?wù)的拆解規(guī)劃等，這些能力的提升使得自動駕駛有機會邁向一個更為廣闊的世界。

　　因此端到端所勾勒出的是一個全新的技術(shù)圖景，打開了全新的技術(shù)范式，開啟一個產(chǎn)業(yè)變革的契機。如果說，端到端智能駕駛大模型對于乘用車而言，是一個體驗上的升級;那么，端到端智能駕駛大模型對于干線物流而言，更具經(jīng)濟意義和效益。

　　千掛科技背后所面向的是一個龐大的干線物流市場，這個市場涵蓋770萬臺中重卡，市場規(guī)模超過4.6萬億，司機成本達(dá)到20%+，預(yù)計2030年卡車司機缺口達(dá)到15%以上。端到端智能駕駛大模型的應(yīng)用，可以提高自動駕駛系統(tǒng)的泛化性，更好地處理長尾場景，有機會在長途干線雙駕變單駕的基礎(chǔ)上，進(jìn)入無人駕駛，進(jìn)一步提升利潤率，擁有無窮的想象力與現(xiàn)實意義。

　　「端到端智能駕駛大模型」的實踐賽事：深厚的技術(shù)根基

　　知道一個最優(yōu)解并不難，難的是踐行一個最優(yōu)解。

　　在V12亮相之前，特斯拉就做了非常多的「打地基」技術(shù)工作。其中就包括了2021年，特斯拉在AI Day推出基于BEV+Transformer的自動駕駛方案，這個方案相當(dāng)于，打開了一個理解自動駕駛的全新范式。在過去的幾年里，「BEV + Transformer + 占用網(wǎng)絡(luò) + 無圖化」幾乎統(tǒng)領(lǐng)了頭部車企的研發(fā)方向。

　　作為新一代自動駕駛技術(shù)企業(yè)，千掛科技一開始便出生于GPT時代;更幸運的一點是，作為一個年輕的技術(shù)公司，千掛沒有傳統(tǒng)大廠的技術(shù)包袱和組織束縛，在新的技術(shù)道路上能夠啟動得更為從容。

　　在千掛1.0階段，千掛通過「One Model」和「Scene-centric」的方式，攻克自動駕駛卡車中感知和預(yù)測兩道難題，有效解決高速干線場景下異形車、遺撒物識別等挑戰(zhàn)。

　　在感知方面，千掛采用「One Model」，即一個大模型完成感知任務(wù)，實現(xiàn)多模態(tài)數(shù)據(jù)的前融合和多任務(wù)學(xué)習(xí)的能力。具體來說，多模態(tài)前融合即，將環(huán)視相機、激光雷達(dá)等多個傳感器采集的數(shù)據(jù)輸入到一個感知大模型中，通過模型實現(xiàn)空間融合和時序融合，獲得時空融合的特征�；�于時空融合的特征，完成多個感知任務(wù)，能夠?qū)崿F(xiàn)對障礙物的檢測與分割、路網(wǎng)結(jié)構(gòu)(如車道線、可行駛區(qū)域)的實時感知等，達(dá)到更完備、更準(zhǔn)確、更魯棒的效果。

　　在預(yù)測方面，千掛科技采用了「Scene-centric」架構(gòu)，對所有道路參與者Agents進(jìn)行聯(lián)合建模和推理，底層基于Transformer架構(gòu)完成特征編碼與解碼。相對于Agent-centric的傳統(tǒng)架構(gòu)，這種對所有障礙物統(tǒng)一建模的新架構(gòu)簡化了整體流程，提升了訓(xùn)練和推理效率，并且可以更好地理解道路參與者之間的交互關(guān)系，更好地處理蝴蝶效應(yīng)。

　　憑借著「One Model」和「Scene-centric」奠定的技術(shù)基礎(chǔ)，千掛的自動駕駛卡車如今在京滬等物流大干線上順利實現(xiàn)了「周行萬里無接管」的目標(biāo)。另一方面，以「One Model」和「Scene-centric」為起點，千掛科技開始了新一代自動駕駛技術(shù)——端到端智能駕駛大模型的研發(fā)。在12月的GADS 2023全球自動駕駛峰會上，葉璨博士提出了千掛自研端到端算法框架 - AutraFlow。

　　千掛科技AutraFlow是面向新一代的自動駕駛技術(shù)，是從全面learning化和數(shù)據(jù)驅(qū)動的角度，進(jìn)行設(shè)計研發(fā)的。據(jù)葉璨博士介紹，在研發(fā)過程中，團(tuán)隊深入調(diào)研了大量端到端的前序工作，在此基礎(chǔ)上結(jié)合干線物流的業(yè)務(wù)場景特點，在算法、工程、數(shù)據(jù)等層面做了大量的優(yōu)化工作。目標(biāo)是讓端到端算法實際上車跑起來，能應(yīng)對高速干線上的各種路況和場景，并最終在產(chǎn)品和業(yè)務(wù)中用起來。

　　整體上，AutraFlow是一個完全learning化的自動駕駛系統(tǒng)，系統(tǒng)的每個模塊都是基于Transformer的神經(jīng)網(wǎng)絡(luò)模型，模塊與模塊之間采用embedding連接，擺脫了傳統(tǒng)的人類設(shè)計的抽象概念——比如障礙物的邊界框(bounding box)或預(yù)測軌跡，做到更高效、流暢、無損地傳輸數(shù)據(jù)。

　　葉璨博士進(jìn)一步解釋，可以把整個端到端模型看作是一個大的神經(jīng)網(wǎng)絡(luò)，在訓(xùn)練時能夠?qū)崿F(xiàn)各模塊的聯(lián)合優(yōu)化，與此同時可以在中間階段，通過對embedding解碼得到具有相對明確語義的中間結(jié)果，便于理解和檢查，打破端到端的黑盒狀態(tài)，從而提升端到端算法的可解釋性。

　　目前，千掛的端到端算法AutraFlow，已經(jīng)在城市快速路和城市間高速路等公開道路進(jìn)行常態(tài)化的全功能閉環(huán)測試。近日，千掛科技也對外公布了一段2023年11月AutraFlow在北京市高級別自動駕駛示范區(qū)進(jìn)行早期路測的視頻集錦。

　　在葉璨博士的技術(shù)規(guī)劃中，以端到端技術(shù)為基礎(chǔ)，未來將借助多模態(tài)大模型，把通用知識(world knowledge)引入到自動駕駛系統(tǒng)，基于人類的知識和經(jīng)驗做出更好的駕駛決策，進(jìn)一步提升自動駕駛系統(tǒng)的泛化性、可用性。

　　在千掛新一代自動駕駛技術(shù)的研發(fā)中， 大模型成為了最核心的技術(shù)變量。在葉璨博士的帶領(lǐng)下，千掛在自動駕駛領(lǐng)域的多模態(tài)預(yù)訓(xùn)練中持續(xù)探索，將自動駕駛的多模態(tài)特征(圖像、點云等)統(tǒng)一在語言特征空間對齊，從而獲得泛化性更強的特征表達(dá)�；�于語言對齊的多模態(tài)特征，為下游的多種感知任務(wù)提供基礎(chǔ)，使得系統(tǒng)更好地識別異型車、遺撒物等長尾物體，提高對駕駛場景的理解和泛化能力。

　　對于千掛而言，大模型已經(jīng)成為自動駕駛數(shù)據(jù)閉環(huán)的核心，比如數(shù)據(jù)挖掘、自動化標(biāo)注等應(yīng)用。2023年3月起，千掛開始在華中、華北、華東、華南等區(qū)域的主要一級干線，為順豐、福佑等合作伙伴，提供常態(tài)化的物流運輸服務(wù)，單均超過1000公里。業(yè)務(wù)規(guī)模的擴展也積累了海量的高速場景數(shù)據(jù)，而這也成為千掛的核心競爭力。通過大模型對海量路測數(shù)據(jù)進(jìn)行挖掘，可以釋放數(shù)據(jù)的黃金價值。目前，千掛超過95%的訓(xùn)練數(shù)據(jù)都來自于大模型的自動化標(biāo)注，而大模型進(jìn)行模型壓縮后得到的車端模型，可以部署路測，獲得更多數(shù)據(jù)，進(jìn)一步幫助迭代優(yōu)化模型。

　　千掛正在跑通技術(shù)到產(chǎn)品的閉環(huán)

　　可以說，BEV重新定義了空間和時序，讓空間和時序統(tǒng)一，直接在「上帝視角」下完成了感知、規(guī)劃、控制、決策的高度統(tǒng)一。未來端到端將成為行業(yè)標(biāo)配。

　　在這場技術(shù)加速賽當(dāng)中，得益于葉璨博士及其團(tuán)隊極其前瞻的技術(shù)嗅覺，千掛在夯實的技術(shù)基礎(chǔ)上啟動端到端的工作，在海量仿真測試的基礎(chǔ)上，在國內(nèi)率先實現(xiàn)了公開道路的常態(tài)化的端到端智能駕駛大模型閉環(huán)測試，真正邁出了技術(shù)體系2.0的第一步，完成了從0到1的突破。在這場高手如云的比賽當(dāng)中，千掛進(jìn)入了第一梯隊，以國內(nèi)領(lǐng)先的身位，跑出了自己的第一個里程碑。

　　在千掛這支技術(shù)尖兵團(tuán)隊里，聚集了眾多在AI領(lǐng)域深耕多年的頂尖人才。葉璨博士畢業(yè)于美國卡內(nèi)基梅隆大學(xué)(CMU)的人工智能專業(yè)，曾履職快手資深技術(shù)總監(jiān)，負(fù)責(zé)了快手主站推薦、快手 AI 技術(shù)，以及快手私域和社交業(yè)務(wù)，在他的帶領(lǐng)下，快手實現(xiàn)了強化學(xué)習(xí)在工業(yè)界的首次大規(guī)模落地應(yīng)用。在葉璨博士背后，是一群有著在百度、快手、騰訊、商湯等技術(shù)巨頭豐富經(jīng)歷的技術(shù)專家，和國內(nèi)外頭部院校博士組成的技術(shù)團(tuán)隊，在這場端到端的賽跑中，他們打通了感知、預(yù)測、規(guī)劃、控制、架構(gòu)等技術(shù)的任督二脈，攻克了一個又一個的技術(shù)難題。

　　在技術(shù)的長板足夠長的同時，千掛在資本層面也取得長足的進(jìn)展，近日，千掛科技順利完成 Pre-A 輪融資的新一輪交割;在商業(yè)化層面，千掛在中國東部的主要一級干線路段完成 300 余次的載貨運輸服務(wù)。

　　這家年輕的公司正在走出從資本、商業(yè)化、技術(shù)的全面正向閉環(huán)，以領(lǐng)先的技術(shù)優(yōu)勢打開一個全新的物流實踐地圖，展現(xiàn)出技術(shù)如何驅(qū)動商業(yè)升級發(fā)展。