E Ink元太科技連三年入選道瓊可持續(xù)雙指數(shù)撬動6000億GTV后,抖音計劃偷襲美團大本營AGI Open Network(AON):賦能每個人創(chuàng)建、部署和貨幣化AI Agent貸款利率史上最低了嗎?東融教你看懂歷年啥水平“客服來電”有詐?抖音客服上線“驗證助手”助用戶識別詐騙OpenAI新模型GPT-5研發(fā)未達預(yù)期:成本高昂 效果不佳曝天馬打入果鏈:為蘋果HomePod供應(yīng)LCD屏 每塊屏僅10美元曝OPPO或首發(fā)新款天璣次旗艦芯片 兩大子品牌Q2發(fā)力諾基亞攜手阿聯(lián)酋運營商e&,展示全球首個固網(wǎng)游戲端到端網(wǎng)絡(luò)切片方案零下25℃制熱26℃!海爾水暖通黑科技亮相冰雪大世界三星沒放棄曲面屏開發(fā)!最新專利曝光暗示有望回歸三大運營商11月成績單:用戶數(shù)據(jù)增幅放緩打造下一個英偉達,孫正義的2026芯片計劃曝光瞭望2025全球6G技術(shù)發(fā)展趨勢AI時代云安全新范式,暢捷通智能守護小微企業(yè)安全上云百川智能發(fā)布全鏈路領(lǐng)域增強金融大模型 Baichuan4-Finance年末家電消費觀察:品質(zhì)生活類產(chǎn)品熱賣,將持續(xù)迎來剛需式普及?GPT-5研發(fā)受阻:OpenAI 新一代模型難見突破性進展新一代語言模型ModernBERT發(fā)布,RAG等任務(wù)處理速度快四倍、成本低新研究顯示:Anthropic 的 Claude AI 在合作能力上領(lǐng)先于 OpenAI 和谷歌模型
  • 首頁 > 企業(yè)IT頻道 > 人工智能

    霉霉憨豆講中文、蔡明阿姨秀英語,能讓你說任何語種的AI神器火了

    2023年10月26日 16:58:37   來源:微信公眾號GenAI新世界

      本文來自于微信公眾號GenAI新世界(ID:gh_e06235300f0d),作者:張瀟雪。

      如果你平時玩微博、逛B站,最近肯定被一條“沒有譯制片腔調(diào)的翻譯”視頻刷屏過。

      影片中,霉霉、特朗普、艾瑪沃森、憨豆先生等一眾外國友人操著流利的中文,口型語氣聲線無縫銜接,毫無違和;而以塑造“毒舌女王”角色著稱的蔡明阿姨,則來了個如假包換的英文脫口秀,聽口音還是倫敦市區(qū)的。

      還沒看的朋友可以點開感受一下:

      搬運視頻的博主表示自己真的被嚇到了,完全一致的音色+完美契合的口型,早已超越了真人配音所能達到的水準(zhǔn)。評論區(qū)也炸開鍋,網(wǎng)友們不敢相信自己的眼睛和耳朵,直呼外面的世界已經(jīng)發(fā)展成這樣了嗎,別說老年人了,這誰看了不迷糊啊?

      影片原作者「johnhuu教英語」稱,要達成這種“沒有譯制片腔調(diào)的配音效果”,需要同時符合三個條件:地道的口語翻譯、克隆說話者的聲音、替換嘴型。關(guān)于是怎么做出來的他卻賣了個關(guān)子,表示自己是“先掌握了這種技術(shù),但是制作起來還是非常麻煩”。

      但是聰明的網(wǎng)友們很快發(fā)現(xiàn),其實還挺容易的?

      Johnhuu所使用的工具應(yīng)該是HeyGen,一款在線AI數(shù)字人視頻生成平臺。它將人工智能技術(shù)融入一般的視頻制作流程中,為用戶快速生成定制化內(nèi)容。目前可以做到創(chuàng)建自己的AI形象、制作虛擬主播、文字/圖片轉(zhuǎn)視頻、聲音克隆等。

      這則風(fēng)靡全網(wǎng)的影片似乎就是結(jié)合了HeyGen前不久更新的Video Translation(視頻翻譯)功能。只需上傳一段視頻,選擇要轉(zhuǎn)換的語言,就可以讓視頻里的「美國甜心」霉霉保留原本的聲線語氣,搖身一變成為“中文十級學(xué)者”了(Johnhuu亦有對翻譯、字幕等進行剪輯調(diào)整)。

      而在國外的社交網(wǎng)站上,大家也早已興奮地玩出了花:

      從硅谷到中國發(fā)展的連續(xù)創(chuàng)業(yè)者Jim Fields就在X對HeyGen大加贊賞,他嘗試把他說的英語翻譯成中文,又把他講的中文翻譯回英語,表示“效果還挺溜兒!說不定未來我也可以'說'廣東話

      HeyGen的Co-founder和CPO Wayne Liang錄制了英文視頻,來展示日語和法語版本。更有人一次性解鎖了韓語、印尼語、意大利語、土耳其語、德語、英語 6 種語言,每一個都惟妙惟肖,切換自如,不輸母語者。

      于是互聯(lián)網(wǎng)上,金發(fā)碧眼的網(wǎng)友們滿世界純熟地“你好、扣尼基哇”,亞洲的家人們優(yōu)雅地微微一笑:“Bonjour、Hola”。語言的巴別塔似乎暫時消失了,畢竟,誰不想看到說著異國他鄉(xiāng)外語的“世另我”呢?

      所以,這個讓大家如此著迷的HeyGen是個什么來頭,怎么忽然就爆火了?

      HeyGen是誰

      其實,推出HeyGen的公司中文名叫詩云科技,成立于 2020 年底,總部在深圳。他們的愿景是“顛覆內(nèi)容生產(chǎn)的方式,用 AI 生成來打造新一代的內(nèi)容生產(chǎn)平臺” ,希望代替攝像機,讓用戶以更為低廉的成本完成高質(zhì)量內(nèi)容創(chuàng)作。其核心技術(shù)是深度學(xué)習(xí)、生成對抗網(wǎng)絡(luò)(GAN)、強化學(xué)習(xí)和3D建模等。目前已獲得來自IDG資本、真格基金、紅杉中國和百度的早期投資。

      創(chuàng)始人Joshua Xu和Wayne Liang是美國卡內(nèi)基梅隆大學(xué)的兩位校友。其中Joshua曾是Snapchat 前 100 號員工,Monetization團隊的 3 號工程師和Ads Ranking團隊首席工程師,參與創(chuàng)建了Snapchat機器學(xué)習(xí)平臺Barista。Wayne則曾任字節(jié)跳動美國的設(shè)計主管,負(fù)責(zé)企業(yè)軟件和內(nèi)部產(chǎn)品創(chuàng)新的設(shè)計。

      從公司發(fā)布的招聘信息來看,團隊成員人數(shù)不多且都很年輕,主要來自 Snapchat、谷歌、Pinterest、字節(jié)、騰訊和百度等國內(nèi)外互聯(lián)網(wǎng)大廠,在洛杉磯和舊金山灣區(qū)都分布有辦公點。

      圖片來自詩云科技/Boss直聘

      今年 4 月,Joshua在X上高興地向大眾宣布,HeyGen在推出短短 7 個月內(nèi)就迭代了 30 多個版本,實現(xiàn) 100 萬美元的年度經(jīng)常性收入(ARR),達到一個重要的里程碑。

      8 月份,步履不停的他又在社交平臺官宣了自己的最新數(shù)字人影像「Joshua Avatar 2.0」:下面這兩個視頻片段都是百分百由AI生成的,展示了Joshua的虛擬形象和聲音克隆。他說, 這次HeyGen對數(shù)字人的視頻質(zhì)量進行了大幅改進,并微調(diào)了語音技術(shù),可以完美模仿自己的獨特口音和語言模式。效果之炸裂,又引發(fā)了一波小轟動,獲得 300 多萬觀看量。

      那么目前,我們用HeyGen都可以做些什么呢?

      AI視頻內(nèi)容創(chuàng)作矩陣

      登進賬戶控制面板,官方羅列了以下這四大主要功能。

      首先,最受歡迎的就是制作自己的AI Avatar。你可以通過錄制一段 2 分鐘左右的清晰視頻,短時間內(nèi)創(chuàng)建自己的數(shù)字人形象,生成符合你聲線的多語種視頻。值得一提的是,正如Joshua 2. 0 演示的那樣,這里的你并非像以往常見的AI換臉軟件,只是生硬的面部在動,而是表情、口型、肢體動作都自然一致,足以以假亂真。

      同時,用戶還可以在線AI制作或上傳圖片生成影像,讓你的照片動起來、并且會說話。推上有網(wǎng)友就先在 GPT- 4 里用DALL·E3 捏出皮克斯風(fēng)格的卡通人物圖片,再傳到HeyGen分分鐘搞定,制作小動畫從此不求人。

      此外,對于短視頻內(nèi)容創(chuàng)作者來說,不再需要昂貴的攝影團隊和布景、編輯制作,只需在平臺內(nèi)置成百上千的模版中選擇背景、主題、虛擬主播,輸入臺詞,點選聲音,就能制作符合自己需求的視頻片段。用戶還可以根據(jù)喜好更改背景、添加動畫元素、AI換臉換衣。可以說是市場營銷、電子商務(wù)從業(yè)者的福音了。

      如果臺詞不會寫也沒關(guān)系,在最后這項AI Script里,只需要輸入主題、風(fēng)格,選好語種,HeyGen就能幫你撰寫好幾段專業(yè)級別的出來。甚至連主題也不確定,只是粘貼上鏈接也能生成文字腳本。

      現(xiàn)在,HeyGen已經(jīng)內(nèi)置 300 余種聲音,支持 40 多種語言,還實現(xiàn)了與在線設(shè)計工具Canva、ChatGPT Plugin等集成,允許用戶在這些第三方平臺隨時調(diào)用它來創(chuàng)建視頻。

      價格方面,大家可以注冊免費用戶使用有限資源,也可以升級為每月 29 美元的創(chuàng)作者用戶或每月 89 美元的商業(yè)用戶。

      在作家劉慈欣的小說《詩云》里,一個高級外星文明為了創(chuàng)作出能超越唐代詩人李白的詩歌,窮盡太陽系的大部分能源,列舉了所有可能的字詞組合。盡管他們借助先進的技術(shù)寫出了令人印象深刻的詩作,最終還是選擇認(rèn)輸,放棄侵略地球。

      Joshua Xu和團隊都很喜歡《詩云》這個描述「藝術(shù)與技術(shù)對抗」的故事,「詩云科技」也以此命名。在人工智能賽道擁擠,AIGC應(yīng)用扎堆的今天,詩云科技推出的HeyGen作為新晉殺出來的一匹黑馬,進入了大眾的視野。也許用技術(shù)去升華藝術(shù),正是這個年輕團隊所追尋的。

      后續(xù)它會如何發(fā)展,能否保持現(xiàn)在這樣不斐的成績,獲得越來越多的用戶群?對于網(wǎng)友們最關(guān)心的AI安全和監(jiān)管,大家又有什么看法呢?歡迎留言告訴我們!

      文章內(nèi)容僅供閱讀,不構(gòu)成投資建議,請謹(jǐn)慎對待。投資者據(jù)此操作,風(fēng)險自擔(dān)。

    即時

    新聞

    明火炊具市場:三季度健康屬性貫穿全類目

    奧維云網(wǎng)(AVC)推總數(shù)據(jù)顯示,2024年1-9月明火炊具線上零售額94.2億元,同比增加3.1%,其中抖音渠道表現(xiàn)優(yōu)異,同比有14%的漲幅,傳統(tǒng)電商略有下滑,同比降低2.3%。

    企業(yè)IT

    重慶創(chuàng)新公積金應(yīng)用,“區(qū)塊鏈+政務(wù)服務(wù)”顯成效

    “以前都要去窗口辦,一套流程下來都要半個月了,現(xiàn)在方便多了!”打開“重慶公積金”微信小程序,按照提示流程提交相關(guān)材料,僅幾秒鐘,重慶市民曾某的賬戶就打進了21600元。

    3C消費

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,高能實力,創(chuàng)

    華碩ProArt創(chuàng)藝27 Pro PA279CRV顯示器,憑借其優(yōu)秀的性能配置和精準(zhǔn)的色彩呈現(xiàn)能力,為您的創(chuàng)作工作帶來實質(zhì)性的幫助,雙十一期間低至2799元,性價比很高,簡直是創(chuàng)作者們的首選。

    研究

    中國信通院羅松:深度解讀《工業(yè)互聯(lián)網(wǎng)標(biāo)識解析體系

    9月14日,2024全球工業(yè)互聯(lián)網(wǎng)大會——工業(yè)互聯(lián)網(wǎng)標(biāo)識解析專題論壇在沈陽成功舉辦。