字節(jié)豆包大模型已支持實時語音通話

2024年08月09日 17:21:58 來源：IT之家

　　字節(jié)跳動旗下火山引擎今日宣布推出對話式 AI 實時交互解決方案，搭載火山方舟大模型服務(wù)平臺。

　　該方案通過火山引擎 RTC 實現(xiàn)語音數(shù)據(jù)的采集、處理和傳輸，并深度整合豆包語音識別模型和豆包語音合成模型，簡化語音到文本和文本到語音的轉(zhuǎn)換過程，提供智能對話和自然語言處理能力，幫助應(yīng)用實現(xiàn)用戶和云端大模型的實時語音通話。

　　▲ 對話式 AI 實時交互服務(wù)方案架構(gòu)

　　字節(jié)跳動介紹稱，對話式 AI 實時交互解決方案支持開箱即用快速搭建，只需調(diào)用標準的 OpenAPI 接口即可配置所需的語音識別（ASR）、大語音模型（LLM）、語音合成（TTS）類型和參數(shù)。而火山引擎 AIGC RTC-Server 負責邊緣用戶接入、云端資源調(diào)度、文本與語音轉(zhuǎn)換處理以及數(shù)據(jù)訂閱傳輸?shù)拳h(huán)節(jié)。

　　該技術(shù)擁有三大亮點：

　　支持隨時打斷，甚至直接插話;

　　不受限于 AI 服務(wù)部署區(qū)域，整體響應(yīng)延時可低至 1s;

　　客戶端提供音頻幀級別的語音活動性檢測(VAD)，可以檢測出音頻信號中何時有人正在說話，何時是靜默狀態(tài)。

　　附火山引擎對話式 AI 實時交互 Demo 如下：