Meta新大語(yǔ)言模型LLama 3將在英特爾和高通硬件上運(yùn)行

　　Meta 最近發(fā)布了 LLama3，這是一款新的大型語(yǔ)言模型(LLM)，用于實(shí)現(xiàn)更安全、更準(zhǔn)確的生成式人工智能體驗(yàn)。除了 LLM，Meta 還推出了 Llama Guard2、Code Shield 和 CyberSec Eval2等信任和安全工具，以幫助確保符合行業(yè)和用戶安全期望。盡管 Meta 仍在開(kāi)發(fā) LLama3AI 模型，但公司現(xiàn)在已經(jīng)向公眾發(fā)布了前兩個(gè)模型。

　　Llama3將安全性內(nèi)置到模型中，并提供多平臺(tái)硬件支持。Meta 指出，LLama3的支持將很快在包括云提供商和模型 API 提供商在內(nèi)的所有主要平臺(tái)上提供。將很快托管 LLama3LLM 的公司包括 AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、Nvidia NIM 和 Snowflake。LLM 還將在 AMD、AWS、戴爾、英特爾、Nvidia 和高通的硬件上獲得支持。

　　高通和英特爾迅速將 LLama3移植到硬件平臺(tái)上。用于生成式人工智能的處理器必須快速移動(dòng)大量數(shù)據(jù)并進(jìn)行大規(guī)模并行操作的數(shù)學(xué)處理。這對(duì)于所有類型的處理器都是如此，無(wú)論是獨(dú)立的高性能處理器，還是集成到片上系統(tǒng)(SoC)處理器中的圖形處理單元(GPU)、神經(jīng)處理單元(NPU)或張量處理單元(TPU)。

　　至于 LLM 是如何工作的，特別是 LLama3，AI LLM 解釋數(shù)據(jù)集并將其轉(zhuǎn)換為機(jī)器可解釋的集。這允許生成式人工智能復(fù)制類似于構(gòu)建在先前知識(shí)庫(kù)上的類似人類的體驗(yàn)。在零炮點(diǎn)學(xué)習(xí)(0-shot)測(cè)試中，AI 模型沒(méi)有專門訓(xùn)練用于問(wèn)題中使用的數(shù)據(jù)。在 n-shot 學(xué)習(xí)(n >0)測(cè)試中，模型已經(jīng)通過(guò)至少 n 個(gè)測(cè)試問(wèn)題數(shù)據(jù)的示例進(jìn)行了訓(xùn)練。此外，Meta 還測(cè)試了 LLama 的新人類評(píng)估集，其中包含1800個(gè)涵蓋12種常見(jiàn)用例的提示。

　　Meta 考慮了 AI 的安全性。通過(guò)讓 AI 開(kāi)發(fā)人員對(duì)每個(gè)應(yīng)用程序的模型進(jìn)行微調(diào)，Meta 維持了測(cè)試用例與模型開(kāi)發(fā)人員之間的分離，以防止意外過(guò)擬合。LLM 的超擬合會(huì)導(dǎo)致復(fù)雜模型基本上是對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行記憶，而不是學(xué)會(huì)如何利用底層模式。LLama3正在開(kāi)發(fā)中，盡管 Meta 已經(jīng)發(fā)布了8B 和70B 模型，但公司仍在訓(xùn)練400B 參數(shù)版本。最后，隨著400億參數(shù)顯示出更高的準(zhǔn)確性，可以推斷出更高的 AI 硬件需求不會(huì)很快減少。