火山引擎：提供超高性價(jià)比，簡(jiǎn)化企業(yè) AI 應(yīng)用落地門(mén)檻

　　在近日舉辦的火山引擎AI創(chuàng)新巡展(上海站)活動(dòng)中，火山引擎總裁譚待表示，豆包大模型在三個(gè)月內(nèi)綜合能力提升了20.3%，在降低價(jià)格門(mén)檻的同時(shí)確保高性能，讓大模型更容易在千行百業(yè)落地。

　　在今年5月舉辦的Force原動(dòng)力大會(huì)上，字節(jié)跳動(dòng)發(fā)布了豆包大模型，并將推理成本打到最低，豆包通用模型pro在企業(yè)市場(chǎng)的推理輸入定價(jià)為0.0008元/千Tokens。

　　豆包通用模型pro為客戶提供業(yè)內(nèi)最高標(biāo)準(zhǔn)的初始 TPM(每分鐘 Tokens)和 RPM(每分鐘請(qǐng)求數(shù))，有助于企業(yè)的業(yè)務(wù)在高并發(fā)場(chǎng)景中落地。

　　在演講中，譚待以經(jīng)常出現(xiàn)高并發(fā)、高負(fù)載的企業(yè)客服行業(yè)為例，分享了豆包大模型的性能情況。

　　他表示，在企業(yè)客服行業(yè)，隨著交易量出現(xiàn)波峰、波谷，場(chǎng)景始終在不斷變化。而憑借豆包大模型，以及火山引擎的能力和服務(wù)，已經(jīng)幫助很多企業(yè)客服客戶優(yōu)化了效果，并支持住最高并發(fā)挑戰(zhàn)。

　　火山引擎智能算法負(fù)責(zé)人、火山方舟負(fù)責(zé)人吳迪則表示，為應(yīng)對(duì)企業(yè)日常業(yè)務(wù)的真實(shí)需求，火山引擎通過(guò)將調(diào)度做到極致，在成本方面極具優(yōu)勢(shì)。

　　同時(shí)，火山引擎支持在分鐘級(jí)時(shí)間段內(nèi)，完成數(shù)千卡伸縮，有效支持突發(fā)流量和業(yè)務(wù)高峰。另外，火山引擎推出的批量推理模式，使得接入豆包模型批量推理模式的客戶，默認(rèn)可獲得13億tokens的起始額度。

　　沐瞳智能服務(wù)負(fù)責(zé)人張文文則在現(xiàn)場(chǎng)分享了沐瞳與火山引擎合作的真實(shí)案例。沐瞳通過(guò)將豆包大模型能力應(yīng)用于旗下游戲的 AI 實(shí)時(shí)判罰場(chǎng)景，基于游戲內(nèi)聊天文本對(duì)辱罵/攻擊性發(fā)言進(jìn)行識(shí)別，取得良好的真實(shí)效果。

　　他表示，在對(duì)戰(zhàn)游戲領(lǐng)域，玩家很容易情緒激動(dòng)，情不自禁地“口吐芬芳”。如不能對(duì)此有效管理，則可能導(dǎo)致玩家流失、游戲口碑下降。

　　大模型出現(xiàn)之前，對(duì)于這種情況的傳統(tǒng)解法，只有關(guān)鍵字屏蔽，以及客服解決等。但真實(shí)場(chǎng)景是，游戲中每天發(fā)生上億場(chǎng)戰(zhàn)斗，其中三百萬(wàn)場(chǎng)可能出現(xiàn)相關(guān)投訴，只依靠客服處理并不現(xiàn)實(shí)。

　　在使用豆包大模型后，與舉報(bào)相關(guān)的聊天記錄會(huì)發(fā)給大模型，以編制過(guò)的prompt，讓大模型對(duì)其加以識(shí)別，再根據(jù)識(shí)別結(jié)果做出針對(duì)性的判罰、處理、禁言等。最終，召回率超過(guò)80%，個(gè)別語(yǔ)種甚至能夠超過(guò)90%，并且用通用模型即可管理52種語(yǔ)言的業(yè)務(wù)。

　　火山引擎云基礎(chǔ)產(chǎn)品負(fù)責(zé)人羅浩則表示，在與沐瞳的合作中，大量用到了各種的云基礎(chǔ)，以及包括豆包大模型在內(nèi)的火山引擎AI產(chǎn)品，并且所有的產(chǎn)品使用都在同一朵云之上，在整體調(diào)用過(guò)程中也沒(méi)有出現(xiàn)額外的流量成本，調(diào)用的延時(shí)也做到了最優(yōu)化。

　　在現(xiàn)場(chǎng)，羅浩還列舉了客戶美圖的具體案例，進(jìn)一步解讀了企業(yè)如何在具體業(yè)務(wù)場(chǎng)景中更高效地利用火山引擎的云端資源。他表示，火山引擎提供彈性資源池，利用潮汐算力，使得美圖在整體使用GPU和CPU云資源時(shí)，成本達(dá)到最優(yōu)化。(作者：唐明)