霉霉憨豆講中文、蔡明阿姨秀英語，能讓你說任何語種的AI神器火了

　　本文來自于微信公眾號GenAI新世界(ID：gh_e06235300f0d)，作者：張瀟雪。

　　如果你平時玩微博、逛B站，最近肯定被一條“沒有譯制片腔調(diào)的翻譯”視頻刷屏過。

　　影片中，霉霉、特朗普、艾瑪沃森、憨豆先生等一眾外國友人操著流利的中文，口型語氣聲線無縫銜接，毫無違和;而以塑造“毒舌女王”角色著稱的蔡明阿姨，則來了個如假包換的英文脫口秀，聽口音還是倫敦市區(qū)的。

　　還沒看的朋友可以點開感受一下：

　　搬運視頻的博主表示自己真的被嚇到了，完全一致的音色+完美契合的口型，早已超越了真人配音所能達到的水準(zhǔn)。評論區(qū)也炸開鍋，網(wǎng)友們不敢相信自己的眼睛和耳朵，直呼外面的世界已經(jīng)發(fā)展成這樣了嗎，別說老年人了，這誰看了不迷糊啊?

　　影片原作者「johnhuu教英語」稱，要達成這種“沒有譯制片腔調(diào)的配音效果”，需要同時符合三個條件：地道的口語翻譯、克隆說話者的聲音、替換嘴型。關(guān)于是怎么做出來的他卻賣了個關(guān)子，表示自己是“先掌握了這種技術(shù)，但是制作起來還是非常麻煩”。

　　但是聰明的網(wǎng)友們很快發(fā)現(xiàn)，其實還挺容易的?

　　Johnhuu所使用的工具應(yīng)該是HeyGen，一款在線AI數(shù)字人視頻生成平臺。它將人工智能技術(shù)融入一般的視頻制作流程中，為用戶快速生成定制化內(nèi)容。目前可以做到創(chuàng)建自己的AI形象、制作虛擬主播、文字/圖片轉(zhuǎn)視頻、聲音克隆等。

　　這則風(fēng)靡全網(wǎng)的影片似乎就是結(jié)合了HeyGen前不久更新的Video Translation(視頻翻譯)功能。只需上傳一段視頻，選擇要轉(zhuǎn)換的語言，就可以讓視頻里的「美國甜心」霉霉保留原本的聲線語氣，搖身一變成為“中文十級學(xué)者”了(Johnhuu亦有對翻譯、字幕等進行剪輯調(diào)整)。

　　而在國外的社交網(wǎng)站上，大家也早已興奮地玩出了花：

　　從硅谷到中國發(fā)展的連續(xù)創(chuàng)業(yè)者Jim Fields就在X對HeyGen大加贊賞，他嘗試把他說的英語翻譯成中文，又把他講的中文翻譯回英語，表示“效果還挺溜兒!說不定未來我也可以'說'廣東話

　　HeyGen的Co-founder和CPO Wayne Liang錄制了英文視頻，來展示日語和法語版本。更有人一次性解鎖了韓語、印尼語、意大利語、土耳其語、德語、英語 6 種語言，每一個都惟妙惟肖，切換自如，不輸母語者。

　　于是互聯(lián)網(wǎng)上，金發(fā)碧眼的網(wǎng)友們滿世界純熟地“你好、扣尼基哇”，亞洲的家人們優(yōu)雅地微微一笑：“Bonjour、Hola”。語言的巴別塔似乎暫時消失了，畢竟，誰不想看到說著異國他鄉(xiāng)外語的“世另我”呢?

　　所以，這個讓大家如此著迷的HeyGen是個什么來頭，怎么忽然就爆火了?

　　HeyGen是誰

　　其實，推出HeyGen的公司中文名叫詩云科技，成立于 2020 年底，總部在深圳。他們的愿景是“顛覆內(nèi)容生產(chǎn)的方式，用 AI 生成來打造新一代的內(nèi)容生產(chǎn)平臺” ，希望代替攝像機，讓用戶以更為低廉的成本完成高質(zhì)量內(nèi)容創(chuàng)作。其核心技術(shù)是深度學(xué)習(xí)、生成對抗網(wǎng)絡(luò)(GAN)、強化學(xué)習(xí)和3D建模等。目前已獲得來自IDG資本、真格基金、紅杉中國和百度的早期投資。

　　創(chuàng)始人Joshua Xu和Wayne Liang是美國卡內(nèi)基梅隆大學(xué)的兩位校友。其中Joshua曾是Snapchat 前 100 號員工，Monetization團隊的 3 號工程師和Ads Ranking團隊首席工程師，參與創(chuàng)建了Snapchat機器學(xué)習(xí)平臺Barista。Wayne則曾任字節(jié)跳動美國的設(shè)計主管，負責(zé)企業(yè)軟件和內(nèi)部產(chǎn)品創(chuàng)新的設(shè)計。

　　從公司發(fā)布的招聘信息來看，團隊成員人數(shù)不多且都很年輕，主要來自 Snapchat、谷歌、Pinterest、字節(jié)、騰訊和百度等國內(nèi)外互聯(lián)網(wǎng)大廠，在洛杉磯和舊金山灣區(qū)都分布有辦公點。

　　圖片來自詩云科技/Boss直聘

　　今年 4 月，Joshua在X上高興地向大眾宣布，HeyGen在推出短短 7 個月內(nèi)就迭代了 30 多個版本，實現(xiàn) 100 萬美元的年度經(jīng)常性收入(ARR)，達到一個重要的里程碑。

　　8 月份，步履不停的他又在社交平臺官宣了自己的最新數(shù)字人影像「Joshua Avatar 2.0」：下面這兩個視頻片段都是百分百由AI生成的，展示了Joshua的虛擬形象和聲音克隆。他說， 這次HeyGen對數(shù)字人的視頻質(zhì)量進行了大幅改進，并微調(diào)了語音技術(shù)，可以完美模仿自己的獨特口音和語言模式。效果之炸裂，又引發(fā)了一波小轟動，獲得 300 多萬觀看量。

　　那么目前，我們用HeyGen都可以做些什么呢?

　　AI視頻內(nèi)容創(chuàng)作矩陣

　　登進賬戶控制面板，官方羅列了以下這四大主要功能。

　　首先，最受歡迎的就是制作自己的AI Avatar。你可以通過錄制一段 2 分鐘左右的清晰視頻，短時間內(nèi)創(chuàng)建自己的數(shù)字人形象，生成符合你聲線的多語種視頻。值得一提的是，正如Joshua 2. 0 演示的那樣，這里的你并非像以往常見的AI換臉軟件，只是生硬的面部在動，而是表情、口型、肢體動作都自然一致，足以以假亂真。

　　同時，用戶還可以在線AI制作或上傳圖片生成影像，讓你的照片動起來、并且會說話。推上有網(wǎng)友就先在 GPT- 4 里用DALL·E3 捏出皮克斯風(fēng)格的卡通人物圖片，再傳到HeyGen分分鐘搞定，制作小動畫從此不求人。

　　此外，對于短視頻內(nèi)容創(chuàng)作者來說，不再需要昂貴的攝影團隊和布景、編輯制作，只需在平臺內(nèi)置成百上千的模版中選擇背景、主題、虛擬主播，輸入臺詞，點選聲音，就能制作符合自己需求的視頻片段。用戶還可以根據(jù)喜好更改背景、添加動畫元素、AI換臉換衣�？梢哉f是市場營銷、電子商務(wù)從業(yè)者的福音了。

　　如果臺詞不會寫也沒關(guān)系，在最后這項AI Script里，只需要輸入主題、風(fēng)格，選好語種，HeyGen就能幫你撰寫好幾段專業(yè)級別的出來。甚至連主題也不確定，只是粘貼上鏈接也能生成文字腳本。

　　現(xiàn)在，HeyGen已經(jīng)內(nèi)置 300 余種聲音，支持 40 多種語言，還實現(xiàn)了與在線設(shè)計工具Canva、ChatGPT Plugin等集成，允許用戶在這些第三方平臺隨時調(diào)用它來創(chuàng)建視頻。

　　價格方面，大家可以注冊免費用戶使用有限資源，也可以升級為每月 29 美元的創(chuàng)作者用戶或每月 89 美元的商業(yè)用戶。

　　在作家劉慈欣的小說《詩云》里，一個高級外星文明為了創(chuàng)作出能超越唐代詩人李白的詩歌，窮盡太陽系的大部分能源，列舉了所有可能的字詞組合。盡管他們借助先進的技術(shù)寫出了令人印象深刻的詩作，最終還是選擇認輸，放棄侵略地球。

　　Joshua Xu和團隊都很喜歡《詩云》這個描述「藝術(shù)與技術(shù)對抗」的故事，「詩云科技」也以此命名。在人工智能賽道擁擠，AIGC應(yīng)用扎堆的今天，詩云科技推出的HeyGen作為新晉殺出來的一匹黑馬，進入了大眾的視野。也許用技術(shù)去升華藝術(shù)，正是這個年輕團隊所追尋的。

　　后續(xù)它會如何發(fā)展，能否保持現(xiàn)在這樣不斐的成績，獲得越來越多的用戶群?對于網(wǎng)友們最關(guān)心的AI安全和監(jiān)管，大家又有什么看法呢?歡迎留言告訴我們!