360智腦7B參數(shù)大模型正式開源 最長支持約50萬字輸入

　　360公司自主研發(fā)的7B參數(shù)大模型——360智腦，現(xiàn)已正式上線開源社區(qū)，并提供了基礎(chǔ)模型以及4K、32K、360K三種不同文本長度的版本。

　　這一大模型在支持文本長度方面表現(xiàn)出色，最長可處理360K長文本，相當(dāng)于約50萬字的輸入內(nèi)容。令人驚嘆的是，僅需3秒鐘，它便能讀完整部《三體》。

　　目前，在開源模型領(lǐng)域，360智腦7B無疑是支持文本長度最長的大模型之一。

　　為了方便開發(fā)者使用，360智腦7B大模型不僅提供了全套的微調(diào)訓(xùn)練代碼和推理代碼工具集，而且實(shí)現(xiàn)了開箱即用。這一舉措極大地簡化了開發(fā)流程，讓行業(yè)無需再為處理長文本而犯愁。

　　在性能評估方面，360智腦7B大模型同樣表現(xiàn)出色。通過OpenCompass與國內(nèi)外同參數(shù)模型進(jìn)行對比，其綜合能力排名前三。在C-Eval、MMLU、HellaSwag、LAMBADA等多項(xiàng)能力測試中，360智腦7B均獲得了第一的成績，顯示出強(qiáng)大的中英文知識(shí)和推理理解能力。即便是面對“弱智吧”貼吧的“刁難”，它也能從容不迫地作出清晰應(yīng)答。

　　在LongBench評測中，360智腦7B大模型的長文本處理能力同樣令人矚目。在同等參數(shù)模型的測評中，它成功拿下最高分。同時(shí)，在中英文360K大海撈針效果測試中，也取得了超過98%的高分。這一成績的背后，得益于360智腦7B采用的無損壓縮技術(shù)，它摒棄了傳統(tǒng)的滑動(dòng)窗口attention、跳躍attetion等有損壓縮路線，實(shí)現(xiàn)了超長文本的無損處理。