微軟研究院發(fā)布Orca 2 LLM：性能媲美10倍參數(shù)模型

　　11月22日消息，微軟研究院(Microsoft Research)近日發(fā)布新聞稿，推出了相比較主流語(yǔ)言模型更小的 Orca 2 LLM，不過(guò)依然可以回答一些復(fù)雜問(wèn)題。

　　微軟 Orca 2 共有 70 億和 130 億兩種尺寸，部分融合了 Llama 2 LLM 參數(shù)，通過(guò)融合定制的高質(zhì)量合成數(shù)據(jù)，提供更準(zhǔn)確、更優(yōu)秀的合成數(shù)據(jù)。

　　微軟表示 Orca 2 使用擴(kuò)展的、高度定制的合成數(shù)據(jù)集進(jìn)行訓(xùn)練。Orca 2 支持分步處理、回憶然后生成、回憶-原因-生成、提取-生成和直接回答等各種推理技術(shù)，同時(shí)還能為不同的任務(wù)選擇不同的解決方案策略。

　　Orca 2 模型相比較 Llama 2 和 WizardLM 等大型語(yǔ)言模型，在痛苦理解、常識(shí)推理、多步推理、數(shù)學(xué)問(wèn)題解決、閱讀理解等方面更為優(yōu)秀。