字節(jié)豆包大模型已支持實(shí)時(shí)語音通話

　　字節(jié)跳動旗下火山引擎今日宣布推出對話式 AI 實(shí)時(shí)交互解決方案，搭載火山方舟大模型服務(wù)平臺。

　　該方案通過火山引擎 RTC 實(shí)現(xiàn)語音數(shù)據(jù)的采集、處理和傳輸，并深度整合豆包 語音識別模型和豆包 語音合成模型，簡化語音到文本和文本到語音的轉(zhuǎn)換過程，提供智能對話和自然語言處理能力，幫助應(yīng)用實(shí)現(xiàn)用戶和云端大模型的實(shí)時(shí)語音通話。

　　▲ 對話式 AI 實(shí)時(shí)交互服務(wù)方案架構(gòu)

　　字節(jié)跳動介紹稱，對話式 AI 實(shí)時(shí)交互解決方案支持開箱即用快速搭建，只需調(diào)用標(biāo)準(zhǔn)的 OpenAPI 接口即可配置所需的語音識別（ASR）、大語音模型（LLM）、語音合成（TTS）類型和參數(shù)。而火山引擎 AIGC RTC-Server 負(fù)責(zé)邊緣用戶接入、云端資源調(diào)度、文本與語音轉(zhuǎn)換處理以及數(shù)據(jù)訂閱傳輸?shù)拳h(huán)節(jié)。

　　該技術(shù)擁有三大亮點(diǎn)：

　　支持隨時(shí)打斷，甚至直接插話;

　　不受限于 AI 服務(wù)部署區(qū)域，整體響應(yīng)延時(shí)可低至 1s;

　　客戶端提供音頻幀級別的語音活動性檢測(VAD)，可以檢測出音頻信號中何時(shí)有人正在說話，何時(shí)是靜默狀態(tài)。

　　附火山引擎對話式 AI 實(shí)時(shí)交互 Demo 如下：