從 Llama、Llama2到 Mixtral8x7B,開源模型的性能記錄一直在被刷新。由于 Mistral8x7B 在大多數(shù)基準測試中都優(yōu)于 Llama270B 和 GPT-3.5,因此它也被認為是一種「非常接近 GPT-4」的開源選項。
在前段時間的一篇論文中,該模型背后的公司 Mistral AI 公布了 Mixtral8x7B 的一些技術(shù)細節(jié),并推出了 Mixtral8x7B – Instruct 聊天模型。該模型性能在人類評估基準上明顯超過了 GPT-3.5Turbo、Claude-2.1、Gemini Pro 和 Llama270B 聊天模型。在 BBQ 和 BOLD 等基準中,Mixtral - Instruct 也顯示出更少的偏見。
但最近,Mixtral Instruct 也被超越了。一家名叫 Nous Research 的公司宣布,他們基于 Mixtral8x7B 訓練的新模型 ——Nous-Hermes-2Mixtral8x7B 在很多基準上都超過了 Mixtral Instruct,達到了 SOTA 性能。
該公司聯(lián)合創(chuàng)始人、X 平臺用戶 @Teknium (e/λ) 表示,「據(jù)我所知,這是第一個擊敗 Mixtral Instruct 的基于 Mixtral 的模型,在我個人的測試中,它可能是最好的開源 LLM 模型!」
模型資料卡顯示,該模型在超過100萬個條目(主要是 GPT-4生成的數(shù)據(jù))以及來自整個 AI 領(lǐng)域開放數(shù)據(jù)集的其他高質(zhì)量數(shù)據(jù)上進行了訓練。根據(jù)后續(xù)微調(diào)方法的不同,該模型被分為兩個版本:
僅用 SFT 方法微調(diào)的 Nous Hermes2Mixtral8x7B SFT。鏈接:https://huggingface.co/NousResearch/Nous-Hermes-2-Mixtral-8x7B-SFT
用 SFT+DPO 方法微調(diào)的 Nous Hermes2Mixtral8x7B DPO。鏈接:https://huggingface.co/NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO。Mixtral Nous-Hermes2DPO Adapter 鏈接:https://huggingface.co/NousResearch/Nous-Hermes-2-Mixtral-8x7B-DPO-adapter
至于為什么發(fā)布兩個版本,@Teknium (e/λ) 給出了以下解釋:
以下是模型的輸出示例:
1、為數(shù)據(jù)可視化編寫代碼
2、寫賽博朋克迷幻詩
3、根據(jù)輸入文本創(chuàng)建提示
以下是一些性能數(shù)據(jù):
1、GPT4All
2、AGI-Eval
3、BigBench 推理測試
在模型發(fā)布之后不久,生成式 AI 初創(chuàng)公司 Together AI 就宣布了其 API 對該模型的支持。Together AI 去年11月剛完成超一億美元的 A 論融資。在 Nous Research 訓練和微調(diào) Nous Hermes2Mixtral8x7B 模型期間,Together AI 為他們提供了算力支持。
Nous Research 最初是一個志愿者項目。他們最近成功完成了520萬美元的種子融資輪,此輪融資由 Distributed Global 和 OSS Capital 聯(lián)合領(lǐng)投,同時吸引了包括 Together AI 創(chuàng)始人兼 CEO Vipul Ved Reddy 在內(nèi)的多位知名投資者的參與。Nous 計劃在2024年推出一款名為 Nous-Forge 的 AI 編排工具。
從官網(wǎng)介紹中可以看到,他們的產(chǎn)品定位是:能夠連接和運行程序,獲取和分析客戶文檔,并生成合成數(shù)據(jù)供生產(chǎn)使用。這些專有系統(tǒng)可根據(jù)客戶的需求進行微調(diào),無論其業(yè)務領(lǐng)域如何。通過這些新穎的算法,他們希望聚合并分析數(shù)字注意力生態(tài)系統(tǒng)中以往非結(jié)構(gòu)化的專題數(shù)據(jù),為客戶提供隱藏的市場脈搏信息。
文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹慎對待。投資者據(jù)此操作,風險自擔。
2024年的Adobe MAX 2024發(fā)布會上,Adobe推出了最新版本的Adobe Creative Cloud。
奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。
“以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。
華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。
9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標識解析專題論壇在沈陽成功舉辦。