字節(jié)跳動開源基于SD1.5的 MagicAnimate 一張照片秒變真人舞蹈視頻

　　從今天起，在社交平臺上看到的小姐姐舞蹈短視頻很可能就是AI生成的。字節(jié)跳動新開源基于SD1.5的MagicAnimate，它只需要一張照片和一組動作，就能生成近似真人的舞蹈視頻。

　　MagicAnimate是一項利用先進的擴散模型實現(xiàn)人體圖像動畫的創(chuàng)新性項目。其核心優(yōu)勢在于確保生成內(nèi)容的時間一致性，通過提供預訓練的穩(wěn)定擴散V1.5和MSE微調(diào)的VAE基礎模型，使用戶能夠輕松入門。

　　使用MagicAnimate只需要一張照片和一組動作。用戶可以選擇一張喜歡的小姐姐的照片，然后通過輸入一組動作，讓AI根據(jù)這些信息生成一個舞蹈視頻。這個舞蹈視頻看起來非常逼真，幾乎可以讓人誤以為是真實人物在跳舞。

　　為使用MagicAnimate，用戶需下載穩(wěn)定擴散V1.5和MSE微調(diào)的VAE預訓練基模型，并按照提供的結(jié)構(gòu)組織檢查點。安裝簡便，僅需Python(3.8以上版本)、CUDA(11.3以上版本)和FFmpeg�？赏ㄟ^conda或pip安裝依賴項。

　　推理過程:

　　MagicAnimate提供了用戶友好的推理過程。用戶可通過提供的bash腳本在單個GPU上運行推理，或使用另一個腳本在多個GPU上運行，以優(yōu)化性能。這種簡便的推理方式確保了從初學者到經(jīng)驗豐富的研究人員的廣泛可訪問性。