Arm 計算平臺加持，全新 Llama 3.2 LLM實現AI 推理的全面加速和擴展

　　新聞重點：

　　· 在 Arm CPU 上運行 Meta 最新 Llama 3.2 版本，其云端到邊緣側的性能均得到顯著提升，這為未來 AI 工作負載提供了強大支持

　　· Meta 與 Arm 的合作加快了用例的創(chuàng)新速度，例如個性化的端側推薦以及日常任務自動化等

　　· Arm 十年來始終積極投資AI領域，并廣泛開展開源合作，為 1B 至 90B 的 LLM 實現在 Arm 計算平臺上無縫運行

　　人工智能 (AI) 的迅猛發(fā)展意味著大語言模型 (LLM) 的新版本不斷推陳出新。要充分發(fā)揮 AI 的潛力并抓住其帶來的機遇，需要實現 LLM 從云端到邊緣側的廣泛部署，而這也伴隨著對計算和能源需求的大幅增長。整個生態(tài)系統正攜手尋找應對這一挑戰(zhàn)的解決方案，不斷推出新的更加高效的開源 LLM，以便大規(guī)模實現各種 AI 推理工作負載，加快為用戶帶來全新、快速的 AI 體驗。

　　為此，Arm與Meta 展開緊密合作，在 Arm CPU 上啟用新的Llama 3.2 LLM，集成開源創(chuàng)新與 Arm 計算平臺的優(yōu)勢，顯著推進了解決AI挑戰(zhàn)的進程。得益于Arm 的持續(xù)投資及與新型LLM 的合作， Arm CPU運行 AI 的優(yōu)勢在生態(tài)系統中脫穎而出，使Arm成為 AI 推理開發(fā)者的首選平臺。

　　加速云到邊緣側的 AI 性能

　　小型 LLM(如 Llama 3.2 1B 和 3B)能夠支持基于文本的基礎生成式 AI 工作負載，對于大規(guī)模 AI 推理的實現至關重要。通過 Arm CPU 優(yōu)化內核在 Arm 技術驅動的移動設備上運行新的 Llama 3.2 3B LLM，可讓提示詞處理速度提高五倍，詞元 (token) 生成速度提高三倍，在生成階段實現每秒 19.92 個詞元。這將直接減少了在設備上處理 AI 工作負載的延遲，大大提升了用戶整體體驗。此外，當邊緣側能處理的 AI 工作負載越多，往返云端傳輸數據所節(jié)省的電量就越多，進而節(jié)省了能源和成本。

　　除了在邊緣側運行小型模型，Arm CPU同樣支持在云端運行更大的模型(如 Llama 3.2 11B 和 90B)。11B 和 90B 的模型非常適合云端基于 CPU 的推理工作負載，可生成文本和圖像，其中，在Arm Neoverse V2上的測試結果展現出了更大的性能提升。在基于 Arm 架構的 AWS Graviton4上運行 11B 的圖像和文本模型，可以在生成階段實現每秒 29.3 個詞元的表現，遠遠超出了人類大約每秒閱讀五個詞元的速度。

　　AI 將通過開源創(chuàng)新和生態(tài)系統協作迅速擴展

　　能公開獲取新的 LLMs(如Llama 3.2)至關重要。開源創(chuàng)新正以迅猛速度發(fā)展，在之前的版本中，開源社區(qū)在不到 24 小時的時間內便能在 Arm 上部署并運行新的 LLM。

　　Arm將通過Arm Kleidi進一步支持軟件社區(qū)，讓整個 AI 技術棧能夠充分發(fā)揮這一優(yōu)化的 CPU 性能。Kleidi 可在任何 AI 框架上解鎖 Arm Cortex 和 Neoverse CPU 的 AI 功能和性能，無需應用程序開發(fā)者進行額外的集成工作。

　　通過最近的Kleidi 與 PyTorch 集成以及正在推進的與 ExecuTorch 集成，Arm正在為基于 Arm CPU的開發(fā)者提供從云端到邊緣側的無縫 AI 性能。得益于Kleidi 與 PyTorch 的集成，在基于 Arm 架構的 AWS Graviton 處理器上運行 Llama 3 LLM 的詞元首次響應時間加快了 2.5 倍。

　　同時，在端側，與參考實現相比，在 KleidiAI 庫的加持下，使用 llama.cpp庫在新的Arm Cortex-X925 CPU上運行 Llama 3 的詞元首次響應時間加快了 190%。

　　構建 AI 的未來

　　Arm與Meta的合作成為了行業(yè)合作的新標桿，匯聚了 Arm 計算平臺的靈活性、普及性和 AI 功能，以及 Meta 等行業(yè)巨頭的技術專長，共同解鎖AI 廣泛應用的新機遇。無論是利用端側 LLM 滿足用戶的個性化需求，如根據用戶所處的位置、日程和偏好來執(zhí)行任務，還是通過企業(yè)級應用來優(yōu)化工作效率，讓用戶能夠更專注于戰(zhàn)略性任務，Arm 技術的集成都為未來奠定了基礎。未來，設備不再只是命令和控制工具，更是能在提升用戶整體體驗方面扮演積極的作用。

　　在 Arm CPU 上運行 Meta 最新 Llama 3.2 版本，其AI 性能實現了顯著提升。這類開放式合作是實現無處不在的 AI 創(chuàng)新、促進AI可持續(xù)發(fā)展的最佳途徑。通過新的 LLM、開源社區(qū)和 Arm 的計算平臺，Arm 正在構建 AI 的未來，到 2025 年，將有 1000 多億臺基于 Arm 架構的設備支持 AI。