LLaMA 2：最新開源 GPT 模型的功能和演示教程

　　本文將為大家介紹最新發(fā)布的 GPT 模型 LLaMA 2 的新功能和更新內(nèi)容。LLaMA 2 在原始模型基礎(chǔ)上進(jìn)行了改進(jìn)，包括使用 40% 更大的數(shù)據(jù)集、經(jīng)過強化學(xué)習(xí)和人類反饋調(diào)優(yōu)的聊天變體以及可擴展到 700 億參數(shù)的模型。文章還會為大家展示如何在 Paperspace Gradient 筆記本中運行 LLaMA 2 模型的演示。

　　型號概覽

　　讓我們首先概述 LLaMA 2 中可用的新技術(shù)。我們將首先回顧原始的 LLaMA 架構(gòu)，該架構(gòu)在新版本中沒有變化，然后檢查更新的訓(xùn)練數(shù)據(jù)、新的聊天變體及其 RHLF 調(diào)整方法，以及與其他開源和閉源模型相比，完全擴展的 70B 參數(shù)模型的功能。

　　LLaMA 2 模型架構(gòu)

　　LLaMA 和 LLaMA 2 模型是基于原始 Transformers 架構(gòu)的生成式預(yù)訓(xùn)練 Transformer 模型。我們在最初的 LLaMA 文章中詳細(xì)概述了 LLaMA 模型與之前的 GPT 架構(gòu)迭代的區(qū)別，但總結(jié)如下：

　　LLaMA 模型具有類似于預(yù)歸一化的 GPT-3 功能。這有效地提高了訓(xùn)練的穩(wěn)定性。在實踐中，他們使用 RMS Norm 歸一化函數(shù)來歸一化每個變壓器子層的輸入而不是輸出。這重新調(diào)整了不變性屬性和隱式學(xué)習(xí)率適應(yīng)能力

　　LLaMA 使用 SwiGLU 激活函數(shù)而不是 ReLU 非線性激活函數(shù)，顯著提高了訓(xùn)練性能

　　借鑒 GPT-Neo-X 項目，LLaMA 在網(wǎng)絡(luò)的每一層都具有旋轉(zhuǎn)位置嵌入 (RoPE)。

　　正如 LLaMA 2 論文附錄中所報告的，與原始模型的主要架構(gòu)差異是增加了上下文長度和分組查詢注意力 (GQA)。上下文窗口的大小增加了一倍，從 2048 個標(biāo)記增加到 4096 個標(biāo)記。更長的處理窗口使模型能夠產(chǎn)生和處理更多的信息。值得注意的是，這有助于理解長文檔、聊天歷史和摘要任務(wù)。此外，他們還更新了注意力機制來處理上下文數(shù)據(jù)的規(guī)模。他們比較了原始的多頭注意力基線、具有單個鍵值投影的多查詢格式以及具有 8 個鍵值投影的分組查詢注意力格式，以處理原始 MHA 格式的成本，其復(fù)雜性顯著增加增加上下文窗口或批量大小。

　　總之，這些更新使 LLaMA 在各種不同任務(wù)中的表現(xiàn)明顯優(yōu)于許多競爭模型。從 LLaMA 2 項目頁面提供的上圖可以看出，與 Falcon 和 MPT 等專用和替代 GPT 模型相比，LLaMA 的性能非常好或幾乎一樣好。我們期待在未來幾個月內(nèi)進(jìn)行研究，展示它與 GPT-4 和 Bard 等大型閉源模型的比較。

　　更新的訓(xùn)練集

　　LLaMA 2 具有更新和擴展的訓(xùn)練集。據(jù)稱，該數(shù)據(jù)集比用于訓(xùn)練原始 LLaMA 模型的數(shù)據(jù)大 40%。即使對于最小的 LLaMA 2 模型，這也具有良好的意義。此外，這些數(shù)據(jù)經(jīng)過明確篩選，不包括來自顯然包含大量私人和個人信息的網(wǎng)站的數(shù)據(jù)。

　　他們總共訓(xùn)練了 2 萬億個代幣的數(shù)據(jù)。他們發(fā)現(xiàn)這個數(shù)量在成本效益權(quán)衡方面效果最好，并對最真實的來源進(jìn)行了上采樣，以減少錯誤信息和幻覺的影響。

　　聊天變體

　　Chat 變體 LLaMA 2-Chat 是經(jīng)過數(shù)月的對齊技術(shù)研究而創(chuàng)建的。通過監(jiān)督微調(diào)、RHLF 和迭代微調(diào)的融合，與原始模型相比，Chat 變體在 LLaMA 模型的人類交互性方面向前邁出了實質(zhì)性一步。

　　使用與原始 LLaMA 模型相同的數(shù)據(jù)和方法進(jìn)行監(jiān)督微調(diào) 。這是使用“有用”和“安全”響應(yīng)注釋來完成的，當(dāng)模型意識到或不知道正確的響應(yīng)時，它們會引導(dǎo)模型做出正確的響應(yīng)類型。

　　LLaMA 2 使用的 RHLF 方法涉及收集大量人類偏好數(shù)據(jù)，以供研究人員使用注釋器團隊收集獎勵方法。這些注釋者將評估兩個輸出的質(zhì)量，并對這兩個輸出進(jìn)行相互比較的定性評估。這使得模型能夠獎勵首選的答案，并對其賦予更大的權(quán)重，并對收到的不良答案進(jìn)行相反的操作。

　　最后，隨著他們收集更多數(shù)據(jù)，他們通過使用改進(jìn)的數(shù)據(jù)訓(xùn)練模型的連續(xù)版本，迭代改進(jìn)了之前的 RHLF 結(jié)果。

　　有關(guān)這些模型的聊天變體的更多詳細(xì)信息，請務(wù)必查看論文。

　　可擴展至 700 億個參數(shù)

　　最大的 LLaMA 2 模型有 700 億個參數(shù)。參數(shù)計數(shù)是指權(quán)重的數(shù)量，如 float32 變量中的權(quán)重數(shù)量，它被調(diào)整以對應(yīng)于整個語料庫中使用的文本變量的數(shù)量。因此，相應(yīng)的參數(shù)計數(shù)與模型的能力和大小直接相關(guān)。新的 70B 模型比 LLaMA 1 發(fā)布的最大 65B 模型更大。從上表中我們可以看到，即使與 ChatGPT (GPT3.5) 等閉源模型相比，放大的 70B 模型也表現(xiàn)良好。它還有很長的路要走，以匹配 GPT-4，但來自開源社區(qū)的額外指令調(diào)整和 RHLF 項目可能會進(jìn)一步縮小差距。

　　考慮到 ChatGPT 的訓(xùn)練規(guī)模為 1750 億個參數(shù)，這使得 LLaMA 的成就更加令人印象深刻。

　　演示

　　現(xiàn)在讓我們跳進(jìn)漸變筆記本來看看如何在我們自己的項目中開始使用 LLaMA 2。運行此程序所需的只是一個 Gradient 帳戶，這樣我們就可以訪問免費 GPU 產(chǎn)品。這樣，如果需要，我們甚至可以擴展到在 A100 GPU 上使用 70B 模型。

　　我們將使用在基于 Gradio 的 Oogabooga 文本生成 Web UI 上運行的 GPTQ 版本來運行模型。該演示將展示如何設(shè)置筆記本、下載模型以及運行推理。

　　(點此可在免費 GPU 驅(qū)動的 Gradient Notebook 中打開此項目)

　　設(shè)置

　　我們將從設(shè)置環(huán)境開始。我們已經(jīng)啟動了我們的筆記本，并以 WebUI 存儲庫作為根目錄。首先，讓我們打開llama.ipynb筆記本文件。這包含我們在 Web UI 中運行模型所需的一切。

　　我們首先使用提供的文件安裝需求requirements.txt。我們還需要更新一些額外的軟件包。運行下面的單元格將為我們完成設(shè)置：

　　!pipinstall-rrequirements.txt!pipinstall-Udatasetstransformerstokenizerspydanticauto_gptqgradio

　　現(xiàn)在它已經(jīng)運行了，我們已經(jīng)準(zhǔn)備好運行 Web UI 了。接下來，讓我們下載模型。

　　下載模型

　　Oogabooga 文本生成 Web UI 旨在使 GPT 模型的運行推理和訓(xùn)練變得極其簡單，并且它特別適用于 HuggingFace 格式的模型。為了方便訪問這些大文件，他們提供了一個模型下載腳本，可以輕松下載任何 HuggingFace 模型。

　　運行第二個代碼單元中的代碼以下載 LLaMA 2 的 7B 版本以運行 Web UI。我們將下載模型的GPTQ優(yōu)化版本，這可以顯著降低使用量化運行模型的成本。

　　!pythondownload-model.pyTheBloke/Llama-2-7B-GPTQ

　　幾分鐘后模型下載完成后，我們就可以開始了。

　　啟動應(yīng)用程序

　　我們現(xiàn)在準(zhǔn)備加載應(yīng)用程序!只需運行 Notebook 末尾的代碼單元即可啟動 Web UI。檢查單元格的輸出，找到公共 URL，然后打開 Web UI 以開始。這將以 8 位格式自動加載模型。

　　!pythonserver.py--share--modelTheBloke_Llama-2-7B-chat-GPTQ--load-in-8bit--bf16--auto-devices

　　可以通過任何可訪問互聯(lián)網(wǎng)的瀏覽器從任何地方訪問此公共鏈接。

　　Web UI 文本生成選項卡

　　我們將看到的第一個選項卡是文本生成選項卡。我們可以在此處使用文本輸入查詢模型。在上面，我們可以看到 LLaMA 2 的聊天變體被詢問一系列與 LLaMA 架構(gòu)相關(guān)的問題的示例。

　　頁面左下角有很多提示模板可供我們選擇。這些有助于調(diào)整聊天模型給出的響應(yīng)。然后我們可以輸入我們喜歡的任何問題或說明。該模型將使用右側(cè)的輸出讀取器將結(jié)果流式傳輸回給我們。

　　我們還想指出參數(shù)、模型和訓(xùn)練選項卡。在參數(shù)選項卡中，我們可以調(diào)整各種超參數(shù)以對模型進(jìn)行推理。模型選項卡允許我們加載任何具有或不具有適當(dāng) LoRA(低階適應(yīng))模型的模型。最后，訓(xùn)練選項卡讓我們可以根據(jù)我們可能提供的任何數(shù)據(jù)訓(xùn)練新的 LoRA。這可用于在 Web UI 中重新創(chuàng)建 Alpaca 或 Vicuna 等項目。

　　結(jié)束語

　　LLaMA 2 是開源大型語言建模向前邁出的重要一步。從論文和他們研究團隊提出的結(jié)果，以及我們自己使用模型后的定性猜想來看，LLaMA2 將繼續(xù)推動LLM的擴散和發(fā)展越來越遠(yuǎn)。我們期待未來基于該項目并對其進(jìn)行擴展的項目，就像 Alpaca 之前所做的那樣。