AI框架LoraHub：將LoRA 模塊像樂高一樣組合

　　LoraHub 是一個 AI 框架，用于自動組合 LoRA 模塊，以實現(xiàn)對新任務的適應性性能。

　　它可以根據(jù)之前未識別任務的少量樣本，自動組織合適的 LoRA 模塊，并通過 LoRA 學習的方式進行訓練。LoraHub 具有高性能和靈活性，可以在只有 CPU 的計算機上運行，并通過減少推理成本提高效率。它為用戶提供了一個共享、訪問和應用訓練過的 LoRA 模塊的平臺，為 NLP 任務的開發(fā)和應用提供了便利。

　　LoraHub 的核心功能是通過 LoRA 的模塊化和可組合性，在不需要人工干預或專業(yè)知識的情況下，自動組合合適的 LoRA 模塊。該方法可以利用僅有的幾個樣本自動組織適用于新任務的 LoRA 模塊。與傳統(tǒng)的假設特定任務的訓練不同，LoraHub 可以集成滿足要求的所有 LoRA 模塊。這種學習技術稱為 LoraHub 學習，因為它利用了現(xiàn)有的多個 LoRA 模塊。

　　該方法通過在行業(yè)標準的 BBH 基準和 Flan-T5作為底層 LLM 的基礎上進行評估。結果表明，少樣本的 LoraHub 學習過程可以組合適用于新任務的 LoRA 模塊，并且與少樣本、上下文學習相比，取得了接近的結果。與上下文學習相比，LoraHub 學習不需要將實例作為 LLM 的輸入，從而大大降低了推理成本。該學習技術采用無梯度方法生成 LoRA 模塊的系數(shù)，并且僅需要少量推理步驟。使用單個 A100，在不到一分鐘的時間內，該方法可以在 BBH 上實現(xiàn)頂級性能。

　　LoraHub 的學習只需要了解如何處理 LLM 推理，因此可以在只有 CPU 的計算機上進行。這種靈活性和高性能的工作方式為創(chuàng)建一個易于共享、訪問和應用于新任務的訓練過的 LoRA 模塊的平臺鋪平了道路。研究團隊希望這樣的系統(tǒng)可以建立一個具有各種功能的可重復使用的 LoRA 模塊庫。該團隊正在努力動態(tài)組合 LoRA 節(jié)點，以提高 LLM 的能力。