7月17日消息,近日,在全球邊緣計算大會上,網(wǎng)宿科技、分享了網(wǎng)宿邊緣計算對于大模型時代的思考與探索。
網(wǎng)宿科技邊緣智能平臺資深架構(gòu)師陳云輝表示,在未來大模型將成為一種基礎(chǔ)設(shè)施,每個行業(yè)甚至每個企業(yè)都會有屬于自己的大模型。而如何更好地將大模型落地到具體應用場景、提升生產(chǎn)力,是產(chǎn)業(yè)共同探索的方向,也是網(wǎng)宿邊緣計算的機會所在。
邊緣計算如何在大模型時代發(fā)揮價值?在陳云輝看來,邊緣計算可以從微調(diào)訓練和邊緣推理兩大場景切入。
眼下,大模型和AIGC正引領(lǐng)全球科技新浪潮,而由于從零開始訓練模型面臨周期長,GPU需求大、成本高等問題,大模型的使用范式主要為 “預訓練 + 微調(diào)訓練+提示詞工程”,即基于預訓練好的大模型進行領(lǐng)域知識微調(diào)訓練或使用提示詞工程,再應用到具體的場景,從而降低成本。
“這種模式可以加快AIGC創(chuàng)新步伐,但大模型的參數(shù)量巨大,進行所有參數(shù)的微調(diào)成本非常高,LoRA成為有效的解決方法之一。網(wǎng)宿邊緣計算可以支持LoRA、QLoRa等輕量微調(diào)訓練方法,大大降低大模型個性化、領(lǐng)域化的適配成本,促進AIGC在垂直應用場景的落地。”陳云輝分析道。
不僅如此,隨著多模態(tài)AI的發(fā)展以及AIGC在更多領(lǐng)域的應用,AIGC生成的內(nèi)容將涵蓋圖片、語音以及視頻,AI推理相對訓練的成本占比將提升,對流量需求將越來越高。同時,伴隨AIGC模型領(lǐng)域化、小型化、輕量化技術(shù)的發(fā)展,未來AIGC對算力要求也將持續(xù)降低。
“因而大模型推理運算可以從中心下沉到邊緣,實現(xiàn)更低的帶寬成本、更快的響應速度。網(wǎng)宿在邊緣側(cè)有得天獨厚的優(yōu)勢,可以很好地賦能邊緣推理場景。”陳云輝表示。
作為領(lǐng)先的邊緣計算服務(wù)商,網(wǎng)宿邊緣計算擁有顯著的資源協(xié)同優(yōu)勢,可以與CDN業(yè)務(wù)在機房、算力、帶寬、調(diào)度等方面充分協(xié)同,并且網(wǎng)宿基于全球2800個節(jié)點打造的輕量化邊緣智能平臺,節(jié)點分布廣泛,平臺運營經(jīng)驗豐富,可以復用到大模型場景。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。
2024年的Adobe MAX 2024發(fā)布會上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標識解析專題論壇在沈陽成功舉辦。