Reka AI 發(fā)布全新開源模型 Reka Flash 3：21 億參數(shù)的通用推理模型

　　在當前快速發(fā)展的人工智能領域，開發(fā)者和組織面臨著多種實際挑戰(zhàn)，例如高計算需求、延遲問題以及缺乏真正靈活的開源模型等。這些問題常常限制了進展，許多現(xiàn)有的解決方案需要昂貴的云基礎設施，或者過大，無法在設備上應用，因此迫切需要高效且靈活的模型來填補這一空白。

　　為此，Reka AI 推出了 Reka Flash3，這是一款從零開始構(gòu)建的推理模型，擁有21億個參數(shù)。該模型旨在支持一般對話、編碼輔助、指令跟隨，甚至函數(shù)調(diào)用，成為各種應用的實用基礎。其訓練過程結(jié)合了公開獲取的數(shù)據(jù)集和合成數(shù)據(jù)集，并通過精心的指令調(diào)優(yōu)及 REINFORCE Leave One-Out(RLOO)方法進行強化學習。這種周密的訓練方法旨在在能力與效率之間取得平衡，使 Reka Flash3在眾多同類模型中脫穎而出。

　　在技術(shù)層面上，Reka Flash3具備多項特性，使其既靈活又資源高效。一個顯著特點是其可以處理最多32k 個令牌的上下文長度，方便處理較長的文檔和復雜任務，而不會造成過大壓力。此外，該模型還引入了 “預算強制” 機制，通過特定的 < reasoning > 標簽，使用戶能夠限制模型的思維過程步驟，從而保證在不增加計算開銷的情況下保持一致的表現(xiàn)。同時，Reka Flash3非常適合在設備上部署，完全精度大小為39GB(fp16)，通過4位量化可以進一步壓縮至11GB。這種靈活性使得在本地部署時更為流暢，相比更大且資源密集的模型更具優(yōu)勢。

　　評估指標和性能數(shù)據(jù)進一步印證了該模型的實用性。例如，雖然 Reka Flash3在 MMLU-Pro 的得分為65.0，表現(xiàn)中等，但結(jié)合網(wǎng)絡搜索等額外知識源，其競爭力依然不容小覷。此外，Reka Flash3的多語言能力在 WMT’23的 COMET 得分達到83.2，顯示出其對非英語輸入的合理支持，盡管其主要集中于英語。這些結(jié)果，加上其相對于 QwQ-32B 等同行的高效參數(shù)數(shù)量，突顯了其在實際應用中的潛力。

　　綜上所述，Reka Flash3代表了一種更為可接近的人工智能解決方案。通過在性能和效率之間的巧妙平衡，該模型為一般聊天、編碼和指令任務提供了一種穩(wěn)健且靈活的選擇。其緊湊的設計、增強的32k 令牌上下文窗口及創(chuàng)新的預算強制機制，使其成為適合設備部署和低延遲應用的實用選項。對于尋求既有能力又可管理模型的研究人員和開發(fā)者而言，Reka Flash3無疑提供了一個令人期待的基礎。