昆侖萬維宣布開源“天工”Skywork-13B系列大模型

　　10月30日，昆侖萬維宣布開源百億級大語言模型「天工」Skywork-13B系列，并罕見地配套開源了600GB、150B Tokens的超大高質量開源中文數據集。

　　昆侖萬維「天工」Skywork-13B系列目前包括130億參數的兩大模型：Skywork-13B-Base模型、Skywork-13B-Math模型，它們在CEVAL, GSM8K等多個權威評測與基準測試上都展現了同等規(guī)模模型的最佳效果，其中文能力尤為出色，在中文科技、金融、政務等領域表現均高于其他開源模型。

　　除模型開源外，Skywork-13B系列大模型還將開源600GB、150B Tokens的高質量中文語料數據集Skypile/Chinese-Web-Text-150B，這是目前最大的開源中文數據集之一。

　　同時，昆侖萬維「天工」Skywork-13B系列大模型即將全面開放商用——開發(fā)者無需申請，即可商用。

　　130億參數、兩大模型、最大中文數據集之一、全面開放商用。昆侖萬維「天工」Skywork-13B系列大模型堪稱業(yè)內開源最徹底的百億高質量商用模型。

　　Skywork-13B系列大模型的開源將為大模型的場景應用和開源社區(qū)發(fā)展提供最佳技術支持，降低大模型商業(yè)門檻，推動人工智能技術落地千行百業(yè)，為人工智能生態(tài)建設添磚加瓦，攜手開源社區(qū)探索未知世界、創(chuàng)造美好未來。

　　兩大模型 領先行業(yè)

　　昆侖萬維「天工」Skywork-13B系列包括兩大模型及150B高質量中文數據集。

　　Skywork-13B-Base模型是Skywork-13B的基礎模型，其經由3.2萬億個多語言高質量數據訓練，在CEVAL, CMMLU, MMLU, GSM8K等評測與基準測試上都展現了同等規(guī)模模型的最佳效果。

　　Skywork-13B-Math模型經過專門的數學能力強化訓練，在GSM8K等數據集上取得了同等規(guī)模模型的最佳效果。

　　Skypile/Chinese-Web-Text-150B數據集。該數據集是根據我們經過精心過濾的數據處理流程從中文網頁中篩選出的高質量數據。本次開源的數據集大小約為600GB，總token數量約為(1500億)，是目前最大得開源中文數據集之一。

　　除此之外，Skywork-13B系列還公開了模型中使用的評估方法、數據配比研究和訓練基礎設施調優(yōu)方案等。希望這些開源內容能夠進一步啟發(fā)社區(qū)對于大型模型預訓練的認知，并推動人工智能通用智能(AGI)的實現。

　　五大特點 全面超越

　　昆侖萬維「天工」Skywork-13B系列大模型在CEVAL, GSM8K等多個權威評測與基準測試上都展現了同等規(guī)模模型的最佳效果，其中文能力尤為出色，在中文科技、金融、政務等領域表現均高于其他開源模型。

　　Skywork-13B系列模型的五大特點：

　　最強參數表現：全面超越同等規(guī)模大模型

　　本次開源的Skywork-13B系列模型在CEVAL, CMMLU, MMLU, GSM8K等幾大權威評估基準中全面超越LLaMA2-13B等開源大模型，在同等規(guī)模大模型間取得最佳效果。(截止至10月25日數據)

　　最多訓練數據：3.2T高質量的多語言訓練數據

　　Skywork-13B系列大模型擁有130億參數、3.2萬億高質量多語言訓練數據。模型的生成能力、創(chuàng)作能力和數學推理能力提升明顯。

　　最強中文語言建模能力：中文語言建模困惑度評測，超越所有中文開源模型

　　Skywork-13B系列大模型在中文語言建模方面表現出色，具有優(yōu)秀的中文文創(chuàng)能力。在中文文本創(chuàng)作領域的評測中，Skywork-13B系列大模型展現出了卓越的能力，尤其在科技、金融、政務、企業(yè)服務、文創(chuàng)、游戲等領域均表現高于業(yè)內其他開源模型。

　　上圖為不同領域數據下評估模型的困惑度，越低代表模型在該領域建模能力越強。結果顯示天工13B在技術文章，電影，政務報告，游戲，金融，通用領域均表現出色

　　最大中文開源數據集之一：150B Tokens高質量中文語料

　　Skywork-13B系列將配套開源600GB、150B Tokens的高質量中文語料數據集Skypile/Chinese-Web-Text-150B，這是目前最大的開源中文數據集之一。開發(fā)者可以最大程度地借鑒技術報告中大模型預訓練的過程和經驗，深度定制模型參數，有針對性的進行訓練與優(yōu)化。

　　最有誠意的開源商用：無需申請，即可實現商用

　　目前開源社區(qū)中的中文大模型多數并非是完全可商用，一般開源社區(qū)用戶通常需要進行復雜的商用授權申請流程，在某些情況，甚至有對公司規(guī)模、所在行業(yè)、用戶數等維度有明確規(guī)定不給予商業(yè)授權。

　　昆侖萬維對Skywork-13B系列開源的開放性和可商用性高度重視，將授權流程做到極簡，取消對行業(yè)、公司規(guī)模、用戶等方面的限制，目的是幫助更多對中文大模型感興趣的用戶和企業(yè)在行業(yè)中不斷探索和進步。

　　此次Skywork-13B系列大模型將全面開放商用許可，用戶在下載模型并同意并遵守《Skywork模型社區(qū)許可協(xié)議》后，無需再次申請授權即可將大模型進行商業(yè)用途。希望用戶能夠更便捷地探索Skywork-13B系列大模型技術能力，探索在不同場景下的商業(yè)化應用。