“客服來(lái)電”有詐?抖音客服上線“驗(yàn)證助手”助用戶識(shí)別詐騙OpenAI新模型GPT-5研發(fā)未達(dá)預(yù)期:成本高昂 效果不佳曝天馬打入果鏈:為蘋(píng)果HomePod供應(yīng)LCD屏 每塊屏僅10美元曝OPPO或首發(fā)新款天璣次旗艦芯片 兩大子品牌Q2發(fā)力諾基亞攜手阿聯(lián)酋運(yùn)營(yíng)商e&,展示全球首個(gè)固網(wǎng)游戲端到端網(wǎng)絡(luò)切片方案零下25℃制熱26℃!海爾水暖通黑科技亮相冰雪大世界三星沒(méi)放棄曲面屏開(kāi)發(fā)!最新專利曝光暗示有望回歸三大運(yùn)營(yíng)商11月成績(jī)單:用戶數(shù)據(jù)增幅放緩打造下一個(gè)英偉達(dá),孫正義的2026芯片計(jì)劃曝光瞭望2025全球6G技術(shù)發(fā)展趨勢(shì)AI時(shí)代云安全新范式,暢捷通智能守護(hù)小微企業(yè)安全上云百川智能發(fā)布全鏈路領(lǐng)域增強(qiáng)金融大模型 Baichuan4-Finance年末家電消費(fèi)觀察:品質(zhì)生活類產(chǎn)品熱賣(mài),將持續(xù)迎來(lái)剛需式普及?GPT-5研發(fā)受阻:OpenAI 新一代模型難見(jiàn)突破性進(jìn)展新一代語(yǔ)言模型ModernBERT發(fā)布,RAG等任務(wù)處理速度快四倍、成本低新研究顯示:Anthropic 的 Claude AI 在合作能力上領(lǐng)先于 OpenAI 和谷歌模型谷歌向投資者保證人工智能本月將迎來(lái)“驚人”表現(xiàn)多模態(tài)大模型引爆應(yīng)用場(chǎng)景 階躍星辰完成數(shù)億美元融資星動(dòng)紀(jì)元發(fā)布端到端原生機(jī)器人大模型ERA-42 實(shí)現(xiàn)機(jī)器人復(fù)雜場(chǎng)景操作免費(fèi)模式強(qiáng)攻下,快手、抖音用“短劇VIP”反擊?
  • 首頁(yè) > 云計(jì)算頻道 > 大模型

    蘋(píng)果為自家芯片打造開(kāi)源框架MLX,實(shí)現(xiàn)Llama 7B并在M2 Ultra上運(yùn)行

    2023年12月07日 10:43:57   來(lái)源:機(jī)器之心公眾號(hào)

      2020年11月,蘋(píng)果推出 M1芯片,其速度之快、功能之強(qiáng)大一時(shí)令人驚艷。2022年蘋(píng)果又推出了 M2,今年10月,M3芯片正式登場(chǎng)。

      蘋(píng)果在發(fā)布芯片的同時(shí),也非常注重在其芯片上訓(xùn)練和部署 AI 模型的能力。

      蘋(píng)果推出的 ML Compute 可用于在 Mac 上進(jìn)行 TensorFlow 模型的訓(xùn)練。PyTorch 則支持在 M1版本的 Mac 上進(jìn)行 GPU 加速的 PyTorch 機(jī)器學(xué)習(xí)模型訓(xùn)練,使用蘋(píng)果 Metal Performance Shaders (MPS) 作為后端來(lái)實(shí)現(xiàn)。這些使得 Mac 用戶能夠在本地訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

      現(xiàn)在,蘋(píng)果宣布推出專門(mén)在 Apple 芯片上用于機(jī)器學(xué)習(xí)的開(kāi)源陣列框架 ——MLX。

      MLX 是專門(mén)為機(jī)器學(xué)習(xí)研究人員設(shè)計(jì)的,旨在有效地訓(xùn)練和部署 AI 模型?蚣鼙旧淼脑O(shè)計(jì)在概念上也很簡(jiǎn)單。研究人員能夠輕松地?cái)U(kuò)展和改進(jìn) MLX,以快速探索、測(cè)試新的想法。MLX 的設(shè)計(jì)靈感來(lái)自 NumPy、PyTorch、Jax 和 ArrayFire 等框架。

      MLX 項(xiàng)目貢獻(xiàn)者之一、Apple 機(jī)器學(xué)習(xí)研究團(tuán)隊(duì)(MLR)研究科學(xué)家 Awni Hannun 展示了一段使用 MLX 框架實(shí)現(xiàn) Llama7B 并在 M2Ultra 上運(yùn)行的視頻。

      MLX 迅速引起機(jī)器學(xué)習(xí)研究人員的關(guān)注。TVM、MXNET、XGBoost 作者,CMU 助理教授,OctoML CTO 陳天奇轉(zhuǎn)推表示:「蘋(píng)果芯片又有新的深度學(xué)習(xí)框架了!

      有網(wǎng)友評(píng)價(jià) MLX 稱,蘋(píng)果再次「重造了輪子」。

      MLX 特性、示例

      在該項(xiàng)目中,我們可以看到,MLX 有以下一些主要特性。

      熟悉的 API。MLX 擁有非常像 NumPy 的 Python API,以及功能齊備的 C++ API(與 Python API 非常相似)。MLX 還有更高級(jí)的包(比如 mlx.nn 和 mlx.optimizers),它們的 API 很像 PyTorch,可以簡(jiǎn)化構(gòu)建更復(fù)雜的模型。

      可組合函數(shù)變換。MLX 擁有自動(dòng)微分、自動(dòng)矢量化和計(jì)算圖優(yōu)化的可組合函數(shù)變換。

      惰性計(jì)算。MLX 中的計(jì)算是惰性的,陣列只有在需要時(shí)才被實(shí)例化。

      動(dòng)態(tài)圖構(gòu)建。MLX 中的計(jì)算圖構(gòu)建是動(dòng)態(tài)的,改變函數(shù)參數(shù)的形狀不會(huì)導(dǎo)致編譯變慢,并且 debug 很簡(jiǎn)單、容易上手。

      多設(shè)備。任何支持的設(shè)備上(如 CPU 和 GPU)都可以運(yùn)行操作。

      統(tǒng)一內(nèi)存。MLX 與其他框架的顯著差異在于統(tǒng)一內(nèi)存,陣列共享內(nèi)存。MLX 上的操作可以在任何支持的設(shè)備類型上運(yùn)行,無(wú)需移動(dòng)數(shù)據(jù)。

      此外,項(xiàng)目中提供了多種使用 MLX 框架的示例,比如 MNIST 示例可以很好地讓你學(xué)習(xí)如何使用 MLX。

      MLX 還有其他更多有用的示例,包括如下:

      Transformer 語(yǔ)言模型訓(xùn)練;

      LLaMA 大規(guī)模文本生成和 LoRA 微調(diào);

      Stable Diffusion 生成圖片;

      OpenAI 的 Whisper 語(yǔ)音識(shí)別。

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。投資者據(jù)此操作,風(fēng)險(xiǎn)自擔(dān)。

    即時(shí)

    新聞

    明火炊具市場(chǎng):三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來(lái)都要半個(gè)月了,現(xiàn)在方便多了!”打開(kāi)“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進(jìn)了21600元。

    3C消費(fèi)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實(shí)力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來(lái)實(shí)質(zhì)性的幫助,雙十一期間低至2799元,性價(jià)比很高,簡(jiǎn)直是創(chuàng)作者們的首選。

    研究

    中國(guó)信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會(huì)——工業(yè)互聯(lián)網(wǎng)標(biāo)識(shí)解析專題論壇在沈陽(yáng)成功舉辦。