AI工程化趨勢顯現(xiàn)：商業(yè)創(chuàng)新不只需要算法、算力、數(shù)據(jù)

　　2020年，Gartner發(fā)布《2021年重要戰(zhàn)略技術(shù)趨勢》，認為AI工程化(AI Engineering)將是“需要深挖的趨勢”，到了2021年年底，在Gartner的《2022年十二大重要戰(zhàn)略技術(shù)趨勢》中，AI工程化又被進一步明確為未來三到五年“企業(yè)數(shù)字業(yè)務(wù)創(chuàng)新的加速器”;

　　幾乎就在同一時期，阿里發(fā)布面向AI工程化的一體化大數(shù)據(jù)和AI產(chǎn)品體系“靈杰”，稱要推動“AI落地范式的升級，共同推動AI產(chǎn)業(yè)邁向新的增長”;

　　到了不久前落幕的服貿(mào)會上，人工智能數(shù)據(jù)企業(yè)云測數(shù)據(jù)發(fā)布了面向AI工程化的新一代數(shù)據(jù)解決方案，其價值設(shè)定為“高度支持企業(yè)所需數(shù)據(jù)的高效流轉(zhuǎn)、持續(xù)進行數(shù)據(jù)處理任務(wù)，提高規(guī)模化生產(chǎn)效率”;

　　而即將召開的由 LF AI & DATA 基金會主辦、關(guān)注AI領(lǐng)域前沿革新的 AICON 2022，將為AI工程化設(shè)置專門的分論壇……

　　毫無疑問，在AI加速實現(xiàn)場景落地的今天，“AI工程化”已經(jīng)成為行業(yè)普遍的議題，被認為是AI發(fā)展必然的趨勢之一。

　　什么是AI工程化?

　　按Gartner比較官方的定義，是“使用數(shù)據(jù)處理、預(yù)訓練模型、機器學習流水線(MLOps) 等開發(fā)AI軟件的技術(shù)統(tǒng)稱，幫助企業(yè)更高效的利用AI創(chuàng)造價值”。“智能相對論”認為，AI工程化更簡單的理解，就是已經(jīng)十分成熟的軟件工程將“軟件”擴展到AI后的一種針對AI開發(fā)特點的適配與進化，通過系統(tǒng)化、規(guī)范化、可度量地使用各種工程方法和工具，確保AI軟件能夠達到預(yù)期。

　　AI工程化為什么得到從權(quán)威機構(gòu)、互聯(lián)網(wǎng)大廠到數(shù)據(jù)服務(wù)創(chuàng)新企業(yè)的普遍重視?這可能要從AI發(fā)展的階段性需求談起。

　　算法、算力、數(shù)據(jù)……AI落地現(xiàn)在還需要AI工程化

　　AI的發(fā)展有標準的算法、算力、數(shù)據(jù)三要素，在Gartner看來，任何一個行業(yè)、企業(yè)，只要有場景，有積累的數(shù)據(jù)，有算力，都可以落地AI應(yīng)用。但Gartner同時指出，落地的效率、周期可能會遠超預(yù)期，其研究擺明，“只有53%的項目能夠從AI原型有效轉(zhuǎn)化為生產(chǎn)”。

　　這意味著，在當下場景落地成為主流的階段，并非只具備了精巧的算法、充沛的算力、足夠的數(shù)據(jù)就一定能夠做好AI場景應(yīng)用、實現(xiàn)好技術(shù)的價值——正如Gartner所言，“AI 要成為企業(yè)的生產(chǎn)力，就必須以工程化的技術(shù)來解決模型開發(fā)、訓練、預(yù)測等全鏈路生命周期的問題。”

　　“智能相對論”認為，傳統(tǒng)的軟件工程針對“產(chǎn)品”，主要經(jīng)歷需求分析、系統(tǒng)設(shè)計、代碼實現(xiàn)、驗證、發(fā)布以及運維的過程，瀑布式的流水線走下來，“產(chǎn)品”做好了發(fā)出去、做做售后就可以了。

　　而AI的場景落地雖然也給出的是“產(chǎn)品”，但其背后本質(zhì)上是一系列智能化“能力”的組合。既然是能力，開發(fā)流程就與傳統(tǒng)軟件有較大出入，是問題抽象、數(shù)據(jù)準備、算法設(shè)計、模型訓練、模型評估與調(diào)優(yōu)、模型部署的過程，在部署之后，還需要根據(jù)場景實踐不斷反饋到數(shù)據(jù)準備和算法設(shè)計上，從而讓AI的“能力”不斷接近和達到預(yù)期。

　　這也說明，大規(guī)模落地階段，AI工程化更加被深刻需要。因此，傳統(tǒng)的軟件工程體系做法已經(jīng)無法支撐AI開發(fā)的需要，必須要有新的方式來推動，AI工程化提供了專門適配AI開發(fā)的一系列方法、工具和實踐的集合，就起到了這個價值，為算力、算法和數(shù)據(jù)提供了新的利用方式，持續(xù)為場景創(chuàng)造價值。

　　而除了能夠積極推動AI開發(fā)的效率和效果，隨著AI的大規(guī)模場景落地，開發(fā)過程中所面臨的日益嚴峻的風險問題的規(guī)避，也迫切呼喚AI工程化。

　　這一點，尤其體現(xiàn)在數(shù)據(jù)安全上——大批量的數(shù)據(jù)、極為繁雜的數(shù)據(jù)傳遞過程，造成了越來越明顯的數(shù)據(jù)安全隱患和越來越難以承受的數(shù)據(jù)安全事故級別，必須有對應(yīng)系統(tǒng)化應(yīng)對機制而不能只是片面的“補漏洞”。

　　所以，可以看到云測數(shù)據(jù)給出的解決方案就特別強調(diào)了數(shù)據(jù)安全的能力，包括了一套安全交付的標準和多個ISO企業(yè)安全體系認證。

　　以安全交付標準為例，方案嘗試在硬件配置、網(wǎng)絡(luò)安全、物理安全、人員安全管理上都進行能力設(shè)置，這些能力針對AI開發(fā)中涉及數(shù)據(jù)存儲、傳輸?shù)姆椒矫婷妫�以事先體系化布局而不是事后一個個補漏的方式來規(guī)避數(shù)據(jù)安全風險，而這，就是“工程化”的直觀表達。

　　正向的促進作用，規(guī)避負向的風險，AI工程化成為趨勢也就成為必然。通過面向數(shù)據(jù)服務(wù)的AI工程化過程，數(shù)據(jù)安全的提升是顯而易見的。例如，最直觀的，由于這套體系讓數(shù)據(jù)存儲、數(shù)據(jù)標注、數(shù)據(jù)傳遞等有統(tǒng)一的管理，如果能夠有效落地，將實現(xiàn)數(shù)據(jù)的流轉(zhuǎn)等不需要經(jīng)過人力環(huán)節(jié)(人力主要負責工單而不是數(shù)據(jù)本身的流轉(zhuǎn)，比如不用人力遞送數(shù)據(jù)硬盤)，這使得AI開發(fā)的數(shù)據(jù)環(huán)節(jié)大大降低了對人的依賴，減少了失誤等風險發(fā)生的可能性。

　　水到渠成，AI工程化是AI軟件開發(fā)不斷成熟的結(jié)果

　　Gartner在《2022年十二大重要戰(zhàn)略技術(shù)趨勢》認為，到2025年，前10%做到AI工程化最佳實踐的企業(yè)相對于之后90%的企業(yè)，將從AI創(chuàng)新中得到超過3倍的價值，足見AI工程化的重要性。

　　所以，相關(guān)企業(yè)尋求AI工程化成為一種必要，也催生出較為廣闊的產(chǎn)業(yè)鏈機遇空間。

　　只不過，從已有的行業(yè)引領(lǐng)性動作來看，AI工程化雖然是某種程度上的藍海市場，但卻并非人人都可以參與進來提供相關(guān)的解決方案以獲取市場機會。

　　目前而言，市面上大體有兩種面向AI工程化的做法，但無論哪種，都基于已有的AI開發(fā)實踐或服務(wù)積累，不是憑空而來，是長期的AI工程化實踐(但沒有喊出這個概念)抽離、整合而來。

　　一種是AI開發(fā)框架型，也即原本就提供AI開發(fā)服務(wù)的各種深度學習框架，將服務(wù)延展而來，其優(yōu)勢在于AI框架原本就是AI領(lǐng)域的基礎(chǔ)軟件，處于承上啟下的位置，提供面向AI工程化的服務(wù)“近水樓臺”。

　　這方面，以Google、Meta等科技巨頭為代表，國內(nèi)有華為、百度等，以TensorFlow、PyTorch、MindSpore、PaddlePaddle等各自的深度學習框架為基礎(chǔ)，提供一系列與AI工程相關(guān)的生態(tài)技術(shù)和工具，如領(lǐng)域套件、模型可視化工具、調(diào)試調(diào)優(yōu)工具、高級API等。

　　另一種是AI服務(wù)平臺型，也即過去為企業(yè)提供算力、算法、數(shù)據(jù)相關(guān)服務(wù)的企業(yè)，隨著客戶需求的發(fā)展專門提供面向AI工程化的能力。阿里的“靈杰”(算法方面)與云測數(shù)據(jù)面向AI工程化的解決方案(數(shù)據(jù)方面)都是如此。

　　以云測數(shù)據(jù)為例，其解決方案提供豐富的數(shù)據(jù)標注工具：

　　以及一個在流程和邏輯上閉環(huán)的數(shù)據(jù)流轉(zhuǎn)管理體系(這個體系也可以幫助對AI工程化究竟做了什么有比較直觀的印象)：

　　而這兩大內(nèi)容，顯然不是一個新晉玩家所能提供的，它們都源于企業(yè)過去向AI企業(yè)提供通用數(shù)據(jù)集、數(shù)據(jù)標注平臺與數(shù)據(jù)管理系統(tǒng)等生產(chǎn)工具以及多年的AI訓練數(shù)據(jù)服務(wù)的行業(yè)成熟經(jīng)驗。

　　云測數(shù)據(jù)的主要業(yè)務(wù)是面向智能駕駛、智慧城市、智能家居、智慧金融、新零售等眾多領(lǐng)域提供一站式AI數(shù)據(jù)處理服務(wù)，已經(jīng)先后推出過“云測數(shù)據(jù)標注平臺”、“AI數(shù)據(jù)集管理系統(tǒng)”等面向市場的成果，其數(shù)據(jù)標注精度最高做到了99.99%，曾幫助某自動駕駛車企實現(xiàn)數(shù)據(jù)清洗、標注工作與原流程相比提升2倍的流轉(zhuǎn)效率。

　　可以看到，正是因為過去實現(xiàn)了從“數(shù)據(jù)原料”到最后的“數(shù)據(jù)成品”全鏈條打通，做到場景數(shù)據(jù)專業(yè)化、高質(zhì)量交付，有足夠的技術(shù)成熟度和標注經(jīng)驗與管理流程，現(xiàn)在面向AI工程化的數(shù)據(jù)解決方案才能呈現(xiàn)出來。

　　而更進一步看，AI工程化機遇只屬于有行業(yè)經(jīng)驗的企業(yè)，也促成后者能夠進行更多業(yè)務(wù)合作的探索，商業(yè)空間進一步打開，生態(tài)合作的內(nèi)容進一步豐富。

　　例如，AI的開發(fā)工作除了技術(shù)性的內(nèi)容，還離不開AI人力相關(guān)的管理，離不開項目管理，而云測數(shù)據(jù)基于其過去在數(shù)據(jù)方面的人才、項目管理經(jīng)驗，在解決方案中也提供有匹配人員管理與項目管理的一套并行的體系作為支撐，包括招聘體系、項目管理體系、責任安全體系等，其本質(zhì)是以認知資源的共享換取商業(yè)價值，典型如，云測數(shù)據(jù)更了解數(shù)據(jù)標注人才的需要、更知道從哪里可以找到特定的人才、如何培育人才、更知道怎么管理項目。

　　這方面，通過API集成屏蔽不同企業(yè)的差異、做到廣泛適配是服務(wù)方的共識，例如云測數(shù)據(jù)的解決方案中就通過標準協(xié)議接口、數(shù)據(jù)價值可視化、數(shù)據(jù)處理工作臺、數(shù)據(jù)權(quán)限管理來讓不同企業(yè)的管理體系都能快速進行對接。當然，作為一種根本上的To B服務(wù)，盡管有先天優(yōu)勢，但不管是百度、阿里，還是云測數(shù)據(jù)來做面向AI工程化的數(shù)據(jù)服務(wù)，其落地還需要考慮對不同AI開發(fā)企業(yè)的適配，畢竟AI工程化是系統(tǒng)工程，牽扯面往往較廣。

　　AI應(yīng)用的“工業(yè)化大生產(chǎn)”來臨，AI工程化與大模型匯流

　　AI工程化的價值和機遇不僅在于AI開發(fā)過程，其對大模型的促進作用也不容忽視。

　　從更宏觀的視野看，AI工程化的趨勢與當下AI領(lǐng)域的熱點大模型一樣，都是在推動AI“工業(yè)化大生產(chǎn)”(高效率的批量化AI落地，而不是作坊式的一個個生產(chǎn))，只不過一個從開發(fā)全過程出發(fā)，一個從模型本身出發(fā)。

　　二者碰撞到一起并非只是一種巧合，AI工程化與大模型也在實現(xiàn)著協(xié)同。

　　一方面，這體現(xiàn)在大模型開發(fā)本身，也即“預(yù)訓練”階段的工程化。

　　例如，知名NLP領(lǐng)域的大模型GPT-3其模型復雜度非常高，僅模型參數(shù)就高達1750億個，訓練數(shù)據(jù)量達到45TB，訓練出的模型有700GB大小。

　　這么復雜的工作，肯定不是有了算法、算力以及數(shù)據(jù)就能搞定的，其開發(fā)工作有31位參與者，形成了一套在數(shù)據(jù)處理、模型設(shè)計、代碼編寫、調(diào)試參數(shù)等領(lǐng)域各司其職的復雜工作體系來保障工作的順利推進，其本質(zhì)就是AI工程化。

　　大模型時代許多場景下的模型只要基于基礎(chǔ)大模型進行微調(diào)便可以產(chǎn)生優(yōu)質(zhì)的場景應(yīng)用，云測數(shù)據(jù)總經(jīng)理賈宇航認為，AI工程化在這個“微調(diào)”的階段將起到重要的作用，幫助更多場景應(yīng)用高效、高質(zhì)量交付與持續(xù)優(yōu)化。另一方面，這體現(xiàn)在大模型的場景調(diào)優(yōu)上，也即“微調(diào)”階段的工程化。

　　當然，也有預(yù)訓練階段與“微調(diào)”階段通吃的AI工程化服務(wù)做法，例如阿里的“靈杰”就宣稱既可以實現(xiàn)超大規(guī)模模型的構(gòu)建，也可以實現(xiàn)垂直場景小模型“蒸餾”。

　　無論如何，AI工程化與大模型匯流，共同推動AI應(yīng)用加速實現(xiàn)更廣泛、更優(yōu)質(zhì)的場景落地，這其中涌現(xiàn)了新的商業(yè)合作機遇，但更重要的是在工程化開發(fā)與預(yù)訓練的優(yōu)勢疊加下，AI將真正走入千行百業(yè)，變得更加普惠。