Stability AI發(fā)布30億參數(shù)語言模型StableLM Zephyr 3B 更小更快更節(jié)省資源

　　Stability AI以其stable diffusion文本到圖像的生成人工智能模型而聞名，但這已不再是該公司的全部業(yè)務(wù)。

　　最新發(fā)布的StableLM Zephyr3B是一款30億參數(shù)的大語言模型，專為聊天應(yīng)用場景進行了優(yōu)化，包括文本生成、摘要和內(nèi)容個性化。這款新模型是Stability AI早在今年四月首次提及的StableLM文本生成模型的較小、優(yōu)化版本。

　　StableLM Zephyr3B的承諾在于，它比7B的StableLM模型更小，帶來了一系列好處。由于體積更小，它可以在更廣泛的硬件上部署，占用更低的資源，同時仍然提供快速響應(yīng)。該模型經(jīng)過優(yōu)化，特別適用于問答和指令跟隨類型的任務(wù)。

　　Stability AI首席執(zhí)行官Emad Mostaque表示:“相對于以前的模型，StableLM經(jīng)過更長時間、更高質(zhì)量數(shù)據(jù)的訓(xùn)練，例如與LLaMA v27b相比，盡管體積只有其40%，但在基礎(chǔ)性能上卻能夠匹配。”

　　StableLM Zephyr3B并非全新模型，而是Stability AI定義的現(xiàn)有StableLM3B-4e1t模型的擴展。Zephyr的設(shè)計方法受到HuggingFace的Zephyr7B模型的啟發(fā)。HuggingFace的Zephyr模型是在開源MIT許可下開發(fā)的，旨在充當(dāng)助手。Zephyr采用一種稱為Direct Preference Optimization(DPO)的訓(xùn)練方法，StableLM現(xiàn)在也受益于這一方法。

　　Mostaque解釋說，Direct Preference Optimization(DPO)是一種替代以前模型中使用的強化學(xué)習(xí)的方法，用于調(diào)整模型以符合人類偏好。DPO通常用于更大的70億參數(shù)模型，而StableLM Zephyr是首批在更小的30億參數(shù)大小中使用該技術(shù)的模型之一。

　　Stability AI使用了來自O(shè)penBMB研究組的UltraFeedback數(shù)據(jù)集進行DPO。UltraFeedback數(shù)據(jù)集包含超過64，000個提示和256，000個響應(yīng)。DPO、較小的體積和優(yōu)化的數(shù)據(jù)訓(xùn)練集的組合為StableLM提供了在Stability AI提供的指標(biāo)中表現(xiàn)出色。例如，在MT Bench評估中，StableLM Zephyr3B能夠勝過包括Meta的Llama-2-70b-chat和Anthropric的Claude-V1在內(nèi)的更大模型。

　　StableLM Zephyr3B是Stability AI近幾個月推出的一系列新模型之一，該初創(chuàng)公司繼續(xù)推動其能力和工具的發(fā)展。雖然公司忙于進入不同領(lǐng)域，但新模型并沒有讓Stability AI忘記文本到圖像生成的基礎(chǔ)。上周，Stability AI發(fā)布了SDXL Turbo，作為其旗艦SDXL文本到圖像stable diffusion模型的更快版本。

　　Mostaque還明確表示，Stability AI還將推出更多創(chuàng)新。他表示:“我們相信，針對用戶自己的數(shù)據(jù)進行調(diào)整的小型、開放、性能良好的模型將勝過更大的通用模型。隨著我們新的StableLM模型的未來全面發(fā)布，我們期待進一步實現(xiàn)生成語言模型的民主化。”