蘋果大模型MM1入場：參數(shù)達到300億 超半數(shù)作者是華人

　　蘋果公司最新發(fā)布了一款名為MM1的大型多模態(tài)基礎(chǔ)模型，擁有300億參數(shù)，采用了MoE架構(gòu)，并且超過一半的作者是華人。該模型在多模態(tài)領(lǐng)域具有重要意義，可能預(yù)示著蘋果未來推出與此相關(guān)的產(chǎn)品。

　　今年以來，蘋果明顯加大了對生成式人工智能(GenAI)領(lǐng)域的投入，這一舉措體現(xiàn)了蘋果在GenAI領(lǐng)域取得重大進展的決心。據(jù)悉，蘋果一部分轉(zhuǎn)向GenAI的團隊原本是從事造車項目的，而如今他們也開始投身于GenAI領(lǐng)域的研發(fā)工作。

　　MM1的發(fā)布引起了廣泛關(guān)注。據(jù)論文介紹，該模型采用了MoE變體，并且在預(yù)訓(xùn)練指標和多項多模態(tài)基準測試上表現(xiàn)出了領(lǐng)先水平。研究者通過多項消融試驗，探討了模型架構(gòu)、預(yù)訓(xùn)練數(shù)據(jù)選擇以及訓(xùn)練程序等方面的重要性。他們發(fā)現(xiàn)，圖像分辨率、視覺編碼器損失和預(yù)訓(xùn)練數(shù)據(jù)在建模設(shè)計中都起著關(guān)鍵作用。

　　在預(yù)訓(xùn)練數(shù)據(jù)選擇方面，研究者發(fā)現(xiàn)了幾個重要經(jīng)驗:交錯數(shù)據(jù)對提高少樣本和純文本性能有幫助，而字幕數(shù)據(jù)則對提高零樣本性能具有重要作用。

　　此外，純文本數(shù)據(jù)對于提高少樣本和純文本性能同樣至關(guān)重要。通過合理混合圖像和文本數(shù)據(jù)，可以獲得最佳的多模態(tài)性能，并保留較強的文本性能。研究者還發(fā)現(xiàn)，人工合成數(shù)據(jù)有助于少樣本學(xué)習(xí)。

　　最終，研究者確定了MM1的最終配方，包括圖像編碼器、視覺語言連接器和預(yù)訓(xùn)練數(shù)據(jù)的選擇。他們還將LLM的大小擴大到3B、7B和30B個參數(shù)，并通過專家混合(MoE)進一步擴展了模型。在監(jiān)督微調(diào)實驗中，MM1在多項基準測試上表現(xiàn)出了競爭力，并且MoE模型在幾乎所有基準測試中均表現(xiàn)優(yōu)于密集模型。

　　MM1的發(fā)布標志著蘋果在多模態(tài)領(lǐng)域的重要進展，也為未來蘋果可能推出的相關(guān)產(chǎn)品奠定了技術(shù)基礎(chǔ)。該研究的成果對于推動生成式人工智能領(lǐng)域的發(fā)展具有重要意義，值得業(yè)界密切關(guān)注。