PPTV創(chuàng)始人姚欣AI再創(chuàng)業(yè)，“分布式推理”終于有人做了

　　這個(gè)月，PPTV創(chuàng)始人姚欣再次站到了聚光燈下，組織了一場分布式云計(jì)算論壇，向外界揭開了他的新篇章。

　　姚欣的第二次創(chuàng)業(yè)，瞄準(zhǔn)了云服務(wù)，要打造 AI 時(shí)代的基礎(chǔ)設(shè)施。

　　但姿勢獨(dú)特:公司沒有自建IDC和購買GPU，而是通過獨(dú)特的方式成為了全國最多節(jié)點(diǎn)的云服務(wù)商。

　　成立六年來，PPIO派歐云已獲三輪共4億元的融資，包括百川智能創(chuàng)始人王小川、迅雷創(chuàng)始人程浩、前微軟Azure中國總裁申元慶在內(nèi)的19位CEO都參與了天使投資。

　　姚欣，曾是互聯(lián)網(wǎng)視頻時(shí)代的開拓者，2004年，他在華中科技大學(xué)讀研時(shí)輟學(xué)創(chuàng)業(yè)，發(fā)明了P2P-Streaming協(xié)議，創(chuàng)辦了覆蓋全球4.5億用戶的視頻平臺(tái)PPTV，比YouTube還早1年。

　　PPTV在PC時(shí)代創(chuàng)立，移動(dòng)互聯(lián)網(wǎng)早期就迅速崛起，2012年位列中國視頻網(wǎng)站用戶規(guī)模第2名。然而，2014年，姚欣將PPTV出售，似乎淡出了公眾視野。

　　姚欣重回到公共視野的當(dāng)下，我們不禁想問，在市場接近飽和的環(huán)境下，為何姚欣堅(jiān)持要選擇云服務(wù)賽道?又因何受到投資者如此青睞?

　　一方面，時(shí)勢造英雄，2020年Gartner開始推崇的分布式云概念，給了姚欣這個(gè)“分布式信徒”難得的發(fā)展機(jī)遇;

　　另一方面，英雄造時(shí)勢，姚欣也前瞻性地選擇跳過訓(xùn)練算力業(yè)務(wù)，全部聚焦發(fā)展分布式推理算力，下注AI應(yīng)用普及對(duì)于推理算力的巨大需求。

　　當(dāng)分布式計(jì)算遇見AI Infra

　　要理解姚欣的再創(chuàng)業(yè)，可以先從這樣的具體案例中感知——

　　國內(nèi)某Top3小說推廣APP，開始為創(chuàng)作者提供AIGC生圖功能，吸引了更多的作者和讀者。

　　AI技術(shù)帶來的流量增長自然是一件好事，但與此同時(shí)帶來的運(yùn)維壓力也陡然上升。

　　而且隨著這樣的新功能被更多人所熟知，后臺(tái)服務(wù)器性能也遇到了瓶頸，高峰時(shí)期生成速度明顯變慢的情況開始逐步顯現(xiàn)。

　　在過去，解決的方式簡單粗暴——擴(kuò)容，但一味地選擇這種方式，實(shí)際并非長久之計(jì)，不僅代價(jià)高昂，而且在面對(duì)不確定性增長時(shí)顯得力不從心。

　　而PPIO的分布式架構(gòu)，就是針對(duì)這種場景和痛點(diǎn)而生。

　　這不僅是一種技術(shù)選擇，更是一種為未來打下基礎(chǔ)的架構(gòu)方案。

　　它打破了傳統(tǒng)集中式架構(gòu)的瓶頸，不僅為企業(yè)大幅降低了運(yùn)維壓力，還將系統(tǒng)的處理效率提升到了一個(gè)全新的高度。

　　利用PPIO提供的AI推理平臺(tái)，免去了自行部署后臺(tái)服務(wù)的繁冗過程，通過API即可調(diào)用服務(wù)，不再需要自行運(yùn)維，成本直接減少了40%。

　　速度方面，得益于PPIO龐大的分布式算力網(wǎng)絡(luò)，網(wǎng)絡(luò)擁堵現(xiàn)象大幅降低。

　　據(jù)了解，采用PPIO服務(wù)后，該小說APP的平均生圖時(shí)間從10秒縮短到了2秒，生產(chǎn)效率提升了50%。

　　姚欣還介紹，如果海外AI應(yīng)用使用其推理服務(wù)，能夠獲得比硅谷還要高的綜合性價(jià)比。

　　這得益于PPIO遍布全球的分布式云服務(wù)網(wǎng)絡(luò)，無論用戶身處何地，總能找到近距離的算力節(jié)點(diǎn)，獲得20毫秒級(jí)的低延遲體驗(yàn)。

　　姚欣選擇分布式推理并非偶然，而是基于他多年對(duì)整個(gè)行業(yè)的深入理解。

　　根據(jù)TIRIAS research的研究，隨著AI的快速發(fā)展，未來算力需求的構(gòu)成將發(fā)生重大變化，95%的算力需求來自推理，訓(xùn)練算力僅占5%。推理將逐漸成為AI計(jì)算的核心。

　　姚欣看準(zhǔn)了AI時(shí)代算力結(jié)構(gòu)轉(zhuǎn)型的機(jī)遇，將重心放在推理側(cè)。

　　推理計(jì)算的核心在于實(shí)時(shí)處理用戶請(qǐng)求，低延遲和高效率是它的生命線。

　　而分布式技術(shù)，恰恰是實(shí)現(xiàn)這一需求的不二之選——

　　通過將推理計(jì)算分布到全球多個(gè)節(jié)點(diǎn)，PPIO能夠最大限度地減少到用戶的時(shí)延;

　　同時(shí)根據(jù)不同區(qū)域的需求波動(dòng)智能調(diào)度算力資源，確保全局計(jì)算效率始終保持最佳狀態(tài)。

　　分布式推理不僅是一次技術(shù)創(chuàng)新，更是一種新的商業(yè)模式，讓中小企業(yè)和開發(fā)者不再為算力門檻所困，讓他們也能走進(jìn)AI世界。

　　相比之下，傳統(tǒng)的大型數(shù)據(jù)中心雖然具備強(qiáng)大的處理能力，但其成本高昂，不僅包括硬件設(shè)備的購置和系統(tǒng)維護(hù)，還包括高度集中帶來的大量散熱能耗的需求。

　　分布式云通過調(diào)度分布在全國各地的中小型數(shù)據(jù)中心或邊緣計(jì)算節(jié)點(diǎn)，充分利用當(dāng)?shù)馗咝詢r(jià)比能源和算力資源，降低總體運(yùn)營成本。

　　當(dāng)然，姚欣還提出了“三年內(nèi)降本1000倍”的期望，要想成功實(shí)現(xiàn)，除了龐大的分布式算力網(wǎng)絡(luò)，還要有更多創(chuàng)新技術(shù)的支撐。

　　為此，姚欣給出了他的答案——Serverless彈性調(diào)度和推理加速優(yōu)化。

　　其中，Serverless架構(gòu)被用來解決跨區(qū)域服務(wù)過程中節(jié)點(diǎn)數(shù)量龐大、用戶請(qǐng)求復(fù)雜的問題。

　　該架構(gòu)通過智能整合分布式算力，自動(dòng)實(shí)現(xiàn)彈性伸縮與按需付費(fèi)。

　　用戶可將自有鏡像或模型托管到該平臺(tái)，不用再擔(dān)心海量用戶的并發(fā)響應(yīng)問題，亦無需親自管理和維護(hù)大量算力服務(wù)器。

　　△派歐算力云Serverless產(chǎn)品自動(dòng)彈性觸發(fā)時(shí)延和單實(shí)例冷啟動(dòng)速度

　　除此之外，PPIO還通過算法、系統(tǒng)和硬件的協(xié)同創(chuàng)新，推出了針對(duì)大語言模型特點(diǎn)的推理加速引擎。

　　借助全鏈路FP8量化、KV Cache稀疏壓縮算法，以及投機(jī)采樣等技術(shù)，顯著提升了推理的加速性能，打破了顯存、算力和帶寬的限制，釋放了大模型推理的更大潛能。

　　此次的分布式云計(jì)算論壇，標(biāo)志著姚欣的第二次創(chuàng)業(yè)取得了階段性的成功。

　　這背后除了有姚欣自己對(duì)行業(yè)的獨(dú)到見解，還有分布式云自身與云服務(wù)發(fā)展形勢的契合。

　　分布式云的天時(shí)地利

　　在國內(nèi)的云服務(wù)領(lǐng)域，有很多我們耳熟能詳?shù)倪x手，華為、百度、騰訊、阿里等眾多互聯(lián)網(wǎng)大廠，都擁有自己的云服務(wù)產(chǎn)品。

　　但這些云服務(wù)無一例外都采用了集中式的方式，更加襯托出了姚欣做的分布式云系統(tǒng)的別具一格。

　　不過，姚欣強(qiáng)調(diào)，分布式與集中式并非對(duì)立的選擇，而是相互補(bǔ)充的合作模式。

　　技術(shù)上看，PPIO采用了集中式云服務(wù)也在用的基于K8S技術(shù)的云原生架構(gòu)，能夠與集中式云進(jìn)行標(biāo)準(zhǔn)的互聯(lián)互通;

　　商業(yè)模式上看，用戶也不會(huì)過度關(guān)注自己的產(chǎn)品究竟運(yùn)行在哪種云，他們更在意的，是最終的運(yùn)行效果。

　　歸根結(jié)底，究竟應(yīng)該采用哪種運(yùn)算方式，取決于具體的應(yīng)用場景。

　　在競爭與合作共存的格局當(dāng)中，分布式云的獨(dú)特優(yōu)勢在于，它能夠解決集中式云難以應(yīng)付的需求。

　　隨著AI新應(yīng)用的大量落地，產(chǎn)生了大量的實(shí)時(shí)數(shù)據(jù)計(jì)算和海量IO吞吐，AI帶來的新算力需求以超越摩爾定律的方式不斷膨脹。

　　正是這些大量實(shí)時(shí)計(jì)算需求的涌現(xiàn)，讓傳統(tǒng)的集中式算力中心顯得捉襟見肘，但這真的是因?yàn)樗懔�總量不夠用�?

　　答案是否定的。

　　據(jù)統(tǒng)計(jì)，我國有47%，也就是將近一半的算力都處于閑置狀態(tài)，未被充分利用。

　　造成這一現(xiàn)象的核心原因，是算力需求與供給的不匹配。數(shù)據(jù)中心和超算中心的建設(shè)過于超前，但數(shù)據(jù)產(chǎn)生地與算力節(jié)點(diǎn)往往相距甚遠(yuǎn)，造成了算力不足的表象。

　　所以，算力唯有“去中心化”，下沉分布到網(wǎng)絡(luò)側(cè)邊緣，才能解決時(shí)延和海量數(shù)據(jù)IO吞吐問題。

　　PPIO做的就是這樣的工作，其本身不生產(chǎn)算力，而是作為空閑算力的“搬運(yùn)工”和“指揮員”，解決算力時(shí)空分布不均、利用效率低下的窘境。

　　當(dāng)然，姚欣的愿景不僅限于當(dāng)前的云服務(wù)，他提出了算力發(fā)展的三條曲線，目前已經(jīng)基本建成的，是其中的前兩條——邊緣云(紅色)和算力云(綠色)。

　　去年，PPIO更是根據(jù)這兩條“曲線”，將公司的業(yè)務(wù)線拆分成了兩個(gè)事業(yè)部。

　　而“第三條曲線”，則是實(shí)現(xiàn)各個(gè)組織機(jī)構(gòu)間，算力資源的實(shí)時(shí)調(diào)度和自由交易。

　　姚欣認(rèn)為，從技術(shù)角度看，業(yè)界已經(jīng)有能力實(shí)現(xiàn)這種模式，但在產(chǎn)業(yè)共識(shí)和商業(yè)模式上，還需要參與者的共同努力。

　　但就像從云計(jì)算誕生之初，人們都不相信公有云，到后來公共云服務(wù)逐漸成為主流一樣，這種“算力共享”也將經(jīng)歷一個(gè)形成共識(shí)的過程。

　　而之所以選擇這條與眾不同的創(chuàng)業(yè)之路，源自姚欣豐富的創(chuàng)業(yè)經(jīng)歷與技術(shù)信仰。

　　創(chuàng)業(yè)者姚欣:立志把分布式技術(shù)寫進(jìn)教科書

　　公眾眼中的姚欣有很多標(biāo)簽:大學(xué)創(chuàng)業(yè)、網(wǎng)絡(luò)電視、互聯(lián)網(wǎng)、投資人等。

　　然而，常常被忽略的是，他在技術(shù)方面同樣擁有著深厚的積淀。

　　事實(shí)上，姚欣自從高中時(shí)起就是一名學(xué)霸。

　　他曾連續(xù)兩年獲得全國奧林匹克計(jì)算機(jī)競賽一等獎(jiǎng)，1999年被保送進(jìn)入華中理工大學(xué)(現(xiàn)在的華中科大)。

　　也正是在大學(xué)生涯之中，姚欣接觸到了分布式計(jì)算這個(gè)概念——他的老師金海教授(華中科技大學(xué)教授，中國計(jì)算機(jī)學(xué)會(huì)副理事長)，正是將這一概念帶入中國的第一人。

　　金海教授早在2002年就開始負(fù)責(zé)中國教育網(wǎng)的網(wǎng)格計(jì)算(分布式計(jì)算的一種)建設(shè)，2007年也是第一批從事虛擬化和云計(jì)算研究的科研專家。

　　一直到現(xiàn)在參與設(shè)計(jì)國家提出的“東數(shù)西算”和算力網(wǎng)絡(luò)，是中國分布式計(jì)算領(lǐng)域的領(lǐng)軍人物。

　　當(dāng)時(shí)，金海教授就跟姚欣講了算力大眾化的愿景:

　　當(dāng)有一天網(wǎng)格(當(dāng)時(shí)的叫法)足夠分布的時(shí)候，我們每個(gè)人用算力就像用電用自來水一樣，隨時(shí)隨地接上插頭、打開水龍頭就可以使用到。

　　金老師所描繪的技術(shù)普惠理念深深影響了姚欣，并植入了他的創(chuàng)業(yè)初心。

　　除了金海教授讓姚欣接觸到了分布式計(jì)算，姚欣的創(chuàng)業(yè)的另一大源動(dòng)力是他對(duì)身邊事物的觀察。

　　姚欣讀大學(xué)時(shí)正值2002年世界杯，在校園中觀看足球比賽就成了一個(gè)火熱的需求。

　　其間，姚欣發(fā)現(xiàn)了一個(gè)不尋常的現(xiàn)象——

　　像HTTP、FTP這樣的傳輸協(xié)議，用的人越多速度也就越慢，但如果用BitTorrent這種P2P的傳輸方式，用的人越多，速度反而越快。

　　網(wǎng)格計(jì)算需要連接很大的計(jì)算節(jié)點(diǎn)，但可以整合每個(gè)人電腦的上行帶寬，構(gòu)建一個(gè)分布式的存儲(chǔ)和傳輸?shù)木W(wǎng)絡(luò)，提供基于P2P技術(shù)的網(wǎng)絡(luò)電視服務(wù)。

　　這一想法促使姚欣創(chuàng)建了PPLive(PPTV的前身)，起初PPLive只是一個(gè)簡陋到?jīng)]有界面的學(xué)生作品，但是很快就獲得了過億的下載量。

　　PPTV的成功，毫無疑問依賴于技術(shù)優(yōu)勢。相比(當(dāng)時(shí)的)優(yōu)酷、土豆等競爭對(duì)手，PPTV的視頻處理成本僅為其1%。

　　后來，賣掉了取得成功的PPTV后，姚欣開始重新思考自己的未來目標(biāo)。

　　他不再滿足于“一人的成功”，而是想將其轉(zhuǎn)變?yōu)?ldquo;眾人的成功”，希望通過聚集更多人的力量來實(shí)現(xiàn)改變生活的技術(shù)創(chuàng)新。

　　從視頻行業(yè)中暫時(shí)淡出的姚欣，也始終未曾遠(yuǎn)離分布式計(jì)算的技術(shù)愿景——

　　在PPTV的成功背后，正是他對(duì)資源整合和計(jì)算效率提升的深刻理解，而這些理念也是他對(duì)分布式計(jì)算長久關(guān)注的理論基礎(chǔ)。

　　這也直接推動(dòng)了他后續(xù)的技術(shù)創(chuàng)業(yè)選擇，并在分布式推理領(lǐng)域的發(fā)展中得到了實(shí)踐。

　　在姚欣看來，創(chuàng)業(yè)者最重要的，不是隨大流，不是去模仿，而是要有足夠的差異化和獨(dú)特競爭力。

　　所以即使在今天看來，PPIO選擇的分布式賽道，依然如同PPTV一樣，顯得十分“另類”而新穎;

　　自己不建大型數(shù)據(jù)中心，而是整合利用大量的閑置數(shù)據(jù)中心，這種商業(yè)模式也是獨(dú)樹一幟。

　　從P2P-Streaming到分布式推理，姚欣的創(chuàng)業(yè)路徑看似從互聯(lián)網(wǎng)內(nèi)容平臺(tái)轉(zhuǎn)向了技術(shù)基礎(chǔ)設(shè)施，但實(shí)際上，這兩者本質(zhì)上是一脈相承的。

　　姚欣始終在探索如何通過網(wǎng)絡(luò)的集體力量提升效率、降低成本，并以分布式技術(shù)為基礎(chǔ)，解決計(jì)算中的瓶頸問題。

　　如今，他將同樣的理念應(yīng)用于AI推理領(lǐng)域，專注于解決算力供需不平衡的問題。

　　走到今天，姚欣的志向已經(jīng)不只是把企業(yè)做大做強(qiáng)，而是希望能夠開創(chuàng)出具有時(shí)代意義、能夠被寫進(jìn)計(jì)算機(jī)教科書的技術(shù)。

　　正是出于這一理想，PPIO聘請(qǐng)了金海教授擔(dān)任公司技術(shù)委員會(huì)主席。

　　金海教授將為公司技術(shù)團(tuán)隊(duì)提供深入全面的指導(dǎo)，將分布式云技術(shù)邊界進(jìn)一步拓展，推動(dòng)更多應(yīng)用的落地，讓更多創(chuàng)業(yè)者輕裝上陣。

　　One More Thing

　　在剛剛結(jié)束的2024分布式云計(jì)算論壇上，PPIO除了推出了AI算力云產(chǎn)品外，還聯(lián)合PingCAP、Zilliz、AscentStream和CSDN，共同啟動(dòng)了“Pioneers AI初創(chuàng)加速計(jì)劃”。

　　面向AI初創(chuàng)企業(yè)和開發(fā)者，提供包括分布式算力、分布式關(guān)系型數(shù)據(jù)庫、分布式向量數(shù)據(jù)庫、分布式消息隊(duì)列、開發(fā)者社區(qū)等全面的資源和技術(shù)服務(wù)，助力初創(chuàng)團(tuán)隊(duì)在分布式云上實(shí)現(xiàn)快速成長，加速其創(chuàng)新成果的落地。

　　正如姚欣在分布式云計(jì)算論壇上說的那樣，他的終極目標(biāo)不僅是推動(dòng)分布式云成為廣泛應(yīng)用的技術(shù)標(biāo)準(zhǔn)，更是通過持續(xù)創(chuàng)新，幫助更多企業(yè)和開發(fā)者在AI時(shí)代中獲得成功。

　　我們站在AI時(shí)代的門檻前，正在見證一批又一批滿懷夢想的開拓者紛紛涌現(xiàn)。

　　正如當(dāng)年那個(gè)24歲的姚欣一樣，他們需要的，不僅僅是資金和技術(shù)，更需要來自同路人、來自先行者的經(jīng)驗(yàn)和鼓勵(lì)，就像當(dāng)年的金海教授一樣。

　　現(xiàn)在，輪到了我們承擔(dān)起這樣的使命，用分布式的力量，做新一代應(yīng)用的基礎(chǔ)設(shè)施，支撐起新時(shí)代的開拓者砥礪前行!