Stability AI與Arm合作 推出離線生成音頻技術(shù)

　　Stability AI因其Stable Diffusion文本生成圖像模型而聞名。最近，該公司與全球半導(dǎo)體巨頭 Arm 展開合作，致力于將生成音頻人工智能能力引入移動(dòng)設(shè)備。這一合作使得Stable Audio Open模型能夠完全在 Arm CPU 上運(yùn)行，用戶可以在設(shè)備上快速生成音效、音頻樣本和制作元素，且無需互聯(lián)網(wǎng)連接。

　　Stability AI表示，隨著生成性人工智能在企業(yè)和專業(yè)創(chuàng)作者中的應(yīng)用越來越廣泛，確保我們的模型和工作流程在各個(gè)創(chuàng)造領(lǐng)域都能便捷使用顯得尤為重要。這不僅能夠提升創(chuàng)作效率，也有助于將這些技術(shù)無縫整合進(jìn)視覺媒體制作流程中。

　　面對不斷增長的需求，該公司旨在提高其模型在邊緣設(shè)備上的運(yùn)行效率。在優(yōu)化Stable Audio Open模型以適應(yīng)移動(dòng)設(shè)備的過程中，初始測試在一臺 Arm CPU 設(shè)備上生成音頻的時(shí)間達(dá)到了240秒。通過對模型的蒸餾處理，并利用 Arm 的軟件棧，特別是通過 XNNPack 的 KleidiAI 中的 int8矩陣乘法內(nèi)核，該公司成功將生成一個(gè)11秒音頻片段的時(shí)間縮短至8秒，提升了30倍的響應(yīng)速度。

　　需要注意的是，用戶需要一部兼容的移動(dòng)設(shè)備才能體驗(yàn)這一功能�？紤]到如今大多數(shù)智能手機(jī)都配備 Arm 架構(gòu)的 CPU，因此這一技術(shù)應(yīng)對各類用戶而言都變得更加可及。未來，Stability AI還計(jì)劃將其在圖像、視頻和3D 領(lǐng)域的所有模型都帶到邊緣設(shè)備，旨在徹底改變移動(dòng)設(shè)備上的視覺媒體創(chuàng)作方式。