近日,研究人員在解決大型語言模型(LLM)精細(xì)調(diào)整的高成本和計(jì)算資源限制方面取得了重要突破。由斯坦福大學(xué)和加州大學(xué)伯克利分校的研究人員合作開發(fā)的S-LoRA技術(shù),使得在單個(gè)圖形處理單元(GPU)上運(yùn)行數(shù)千個(gè)LLM模型成為現(xiàn)實(shí)。
通常,對(duì)LLM進(jìn)行精細(xì)調(diào)整是企業(yè)定制人工智能功能以適應(yīng)特定任務(wù)和個(gè)性化用戶體驗(yàn)的重要工具。然而,這一過程通常伴隨著巨大的計(jì)算和財(cái)務(wù)開銷,限制了中小型企業(yè)的應(yīng)用。為解決這一難題,研究人員提出了一系列算法和技術(shù),其中S-LoRA技術(shù)成為最新的亮點(diǎn)。
S-LoRA采用了LoRA的方法,該方法由Microsoft開發(fā),通過識(shí)別LLM基礎(chǔ)模型中足夠用于精細(xì)調(diào)整的最小參數(shù)子集,將可調(diào)整參數(shù)數(shù)量減少數(shù)個(gè)數(shù)量級(jí),同時(shí)保持與全參數(shù)調(diào)整相當(dāng)?shù)臏?zhǔn)確性水平。這極大地減少了個(gè)性化模型所需的內(nèi)存和計(jì)算資源。
盡管LoRA在精細(xì)調(diào)整中的有效性已經(jīng)在人工智能社區(qū)廣泛應(yīng)用,但在單個(gè)GPU上運(yùn)行多個(gè)LoRA模型仍然面臨一些技術(shù)挑戰(zhàn),主要是內(nèi)存管理和批處理過程。S-LoRA通過引入動(dòng)態(tài)內(nèi)存管理系統(tǒng)和"Unified Paging"機(jī)制成功解決了這些挑戰(zhàn),實(shí)現(xiàn)了多個(gè)LoRA模型的高效服務(wù)。
在評(píng)估中,S-LoRA在服務(wù)Meta的Llama模型時(shí)表現(xiàn)出色,相較于Hugging Face PEFT,吞吐量提高了30倍,同時(shí)成功服務(wù)了2,000個(gè)適配器,而計(jì)算開銷增加微不足道。這使得企業(yè)能夠以較低的成本提供個(gè)性化的LLM驅(qū)動(dòng)服務(wù),從內(nèi)容創(chuàng)作到客戶服務(wù)等領(lǐng)域都有廣泛應(yīng)用前景。
S-LoRA的研究人員表示,該技術(shù)主要面向個(gè)性化LLM服務(wù),服務(wù)提供商可以通過相同的基礎(chǔ)模型為用戶提供不同的適配器,這些適配器可以根據(jù)用戶的歷史數(shù)據(jù)進(jìn)行調(diào)整。此外,S-LoRA還支持與上下文學(xué)習(xí)相容,通過添加最新數(shù)據(jù)作為上下文,進(jìn)一步提升LLM的響應(yīng)效果。
該技術(shù)的代碼已經(jīng)在GitHub上開源,研究人員計(jì)劃將其整合到常見的LLM服務(wù)框架中,以便企業(yè)能夠輕松地將S-LoRA納入其應(yīng)用中。這一創(chuàng)新為企業(yè)提供了更廣闊的LLM應(yīng)用空間,同時(shí)降低了運(yùn)行成本,推動(dòng)了個(gè)性化AI服務(wù)的發(fā)展。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。
近日,德國柏林國際電子消費(fèi)品展覽會(huì)(IFA2024)隆重舉辦。憑借在核心技術(shù)、產(chǎn)品設(shè)計(jì)及應(yīng)用方面的創(chuàng)新變革,全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)成功斬獲兩項(xiàng)“IFA全球產(chǎn)品設(shè)計(jì)創(chuàng)新大獎(jiǎng)”金獎(jiǎng),有力證明了其在全球市場(chǎng)的強(qiáng)大影響力。
近日,中國家電及消費(fèi)電子博覽會(huì)(AWE 2024)隆重開幕。全球領(lǐng)先的智能終端企業(yè)TCL實(shí)業(yè)攜多款創(chuàng)新技術(shù)和新品亮相,以敢為精神勇闖技術(shù)無人區(qū),斬獲四項(xiàng)AWE 2024艾普蘭大獎(jiǎng)。
“以前都要去窗口辦,一套流程下來都要半個(gè)月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。
由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)信委、徐匯區(qū)政府、臨港新片區(qū)管委會(huì)共同指導(dǎo),由上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開放原子開源基金會(huì)主辦的“2024全球開發(fā)者先鋒大會(huì)”,將于2024年3月23日至24日舉辦。