環(huán)信：基于大規(guī)模邊緣計(jì)算的千萬級(jí)聊天室技術(shù)實(shí)踐

　　聊天室的場(chǎng)景，大部分場(chǎng)景下是采用直接推送消息的方式。大型的聊天室消息的過濾，篩選以及丟棄的策略的方式也是非常復(fù)雜的問題。至于消息到投遞階段之后，直接推消息給客戶端，這樣消息的即時(shí)性確實(shí)得到了保證，但是客戶端的情況是不同的，機(jī)器的配置不同，機(jī)器當(dāng)時(shí)的運(yùn)行狀態(tài)不同，網(wǎng)絡(luò)狀況也是不同的，所以在這種情況，需要支持客戶端能夠根據(jù)自己的情況進(jìn)行拉取一定數(shù)量的消息，這樣能夠更加靈活的適應(yīng)不同的場(chǎng)景。這些策略雖然說這簡(jiǎn)單，但是真正的落實(shí)到線上的服務(wù)，還是有很多的細(xì)節(jié)點(diǎn)需要考慮，真正做到穩(wěn)定還是比較困難的，畢竟這種特定的場(chǎng)景期望很好的監(jiān)控也是比較困難的。我們也是先從簡(jiǎn)單的固定模式的推拉方式進(jìn)行處理，后續(xù)根據(jù)具體的情況進(jìn)行更加細(xì)節(jié)性的調(diào)優(yōu)。

　　固定路由

　　針對(duì)一些明確大型直播的場(chǎng)景需求，也提供了一種簡(jiǎn)單的路由方式，從上述的聊天室路由管理，可以看出出問題的情況還是可能存在的，所以針對(duì)已知特別大的聊天室場(chǎng)景，該場(chǎng)景的話，可以認(rèn)為能夠覆蓋到所有的 IMS 服務(wù)，所以聊天室的分級(jí)注冊(cè)就顯得有點(diǎn)多余，所以聊天室級(jí)別的注冊(cè)變更為節(jié)點(diǎn)的注冊(cè)，依賴系統(tǒng)的服務(wù)注冊(cè)發(fā)現(xiàn)默認(rèn)就完成相關(guān)的內(nèi)容，這樣整個(gè)事情就變得非常的簡(jiǎn)單高效了。

　　這種方式有其在這種超大型聊天室的優(yōu)勢(shì)，也存在其自身的瓶頸點(diǎn)，所以的消息不管是否在本節(jié)點(diǎn)有用戶加入了該聊天室，消息都會(huì)投遞到該節(jié)點(diǎn)，故而每個(gè) IMS 都要處理所有的消息，盡管很多的消息是沒有下發(fā)投遞的需求。方案沒有萬能的，所以這兩種處理方式是互補(bǔ)的，并不是互斥的。

　　7、大規(guī)模邊緣聊天室 VS 中心集群

　　大規(guī)模邊緣聊天室的方案，相較于傳統(tǒng)的中心集群式的聊天室，從技術(shù)的大的架構(gòu)是沒有本質(zhì)的區(qū)別，依然是多級(jí)路由，消息推拉結(jié)合的方式。

　　不同的點(diǎn)在于部署的形態(tài)不同，而恰恰是這些的不同使得很多東西發(fā)生了變化。大規(guī)模邊緣聊天室的方式，增加了邊緣的連通性，能夠在更加靠近用戶的地方進(jìn)行就近部署，達(dá)到解決最后五公里的目的。并且能夠利用各個(gè)機(jī)房的資源，從而達(dá)到百萬，千萬級(jí)別甚至更高量級(jí)的用戶數(shù)量。大規(guī)模邊緣聊天室的方案在實(shí)施的過程中，對(duì)成本的降低也起到了關(guān)鍵作用，由于中心機(jī)房一般保證可用性和穩(wěn)定性，一般采用的都是 BGP 的網(wǎng)絡(luò)，成本相對(duì)邊緣機(jī)房的非 BGP 網(wǎng)絡(luò)要貴很多。系統(tǒng)整體可用性的角度，大規(guī)模邊緣聊天室相比于中心集群式的聊天室，對(duì)于機(jī)房故障的容災(zāi)性更好。當(dāng)然這里主要介紹了大規(guī)模聊天室的優(yōu)點(diǎn)，任何一種方案都不是全能的，有其優(yōu)點(diǎn)就有其自身的劣勢(shì)。大規(guī)模邊緣聊天室部署形態(tài)復(fù)雜，對(duì)于運(yùn)維體系的要求相對(duì)較高，服務(wù)間網(wǎng)絡(luò)穩(wěn)定性也比較難以保障，所以一般適用于對(duì)大規(guī)模的，公開的聊天室，對(duì)于比價(jià)多精細(xì)玩法的場(chǎng)景，或者小規(guī)模不太適合，反而增加了很多的不確定性。

　　8、大規(guī)模邊緣聊天室 VS CDN 方式

　　針對(duì)大規(guī)模聊天室，曾考慮過是否可以使用業(yè)界比較成熟的 CDN 分發(fā)技術(shù)。在具體的實(shí)踐過程中發(fā)現(xiàn)，針對(duì)這種小包，而且不會(huì)重復(fù)分發(fā)的場(chǎng)景，這里指的是同一個(gè)消息，不太會(huì)被一段時(shí)間不斷的獲取，聊天室的場(chǎng)景一般是當(dāng)時(shí)收到了就收到了，如果沒有收到，后續(xù)也不太期望需要收到消息。而且 CDN 的方案都是將消息聚合后，客戶端定時(shí)拉取的方式，消息存在重疊性，延時(shí)性等不能滿足客戶的需求。

　　技術(shù)難度上，加入 1000 萬的聊天室，每 10s 重新刷新一次消息，也有將近 100W 的 QPS 請(qǐng)求，這對(duì)于 CDN 系統(tǒng)也是一個(gè)非常大的調(diào)整，而且即使接入多家的 CDN 也會(huì)存在比較高比例的超時(shí)。更何況 10S 的延時(shí)，對(duì)于有些場(chǎng)景已經(jīng)能夠明顯感知到了。

　　大規(guī)模聊天室相對(duì)于集中式，單中心的方案，不僅僅在服務(wù)的穩(wěn)定性，承載的用戶量級(jí)上有了顯著的提升，而且在成本上也能有大幅的降低，同時(shí)用戶體驗(yàn)也變得更好。至于業(yè)界一直嘗試的 CDN 的聊天室方案同樣存在著本身的局限性，不同于音視頻消息單個(gè)內(nèi)容相對(duì)較小，瞬時(shí)性訪問量較大，重復(fù)訪問的概率幾乎沒有等特定，使得 CDN 的實(shí)踐方案無法滿足該場(chǎng)景的需求。

　　8、典型案例：卡特爾世界杯，邊緣網(wǎng)絡(luò)+低時(shí)延，支持1800萬用戶同時(shí)在線大規(guī)模聊天室，消息下發(fā)每秒4000萬條;

　　2022卡塔爾世界杯已經(jīng)圓滿落幕，期間，環(huán)信針對(duì)運(yùn)營(yíng)商客戶對(duì)于世界杯的直播聊天室進(jìn)行專業(yè)改造，并且?guī)椭�客戶�?shí)現(xiàn)千萬級(jí)聊天室的技術(shù)支持。解決了客戶對(duì)于世界杯賽事直播海量用戶在線的需求，通過架構(gòu)的調(diào)整，能夠同時(shí)支撐1800萬用戶同時(shí)在線，消息的處理能力達(dá)到了5000QPS，消息的下發(fā)量達(dá)到了4000萬+/秒的級(jí)別。環(huán)信整體方案不僅能夠支持到如此大規(guī)模的量級(jí)，而且成本也能夠比肩CDN的方案，機(jī)器能夠進(jìn)行高效的擴(kuò)縮容。

　　作者：張超  環(huán)信即時(shí)通訊云后臺(tái)研發(fā)負(fù)責(zé)人，負(fù)責(zé)環(huán)信IM消息平臺(tái)的架構(gòu)設(shè)計(jì)工作，有超過9年的即時(shí)通訊行業(yè)經(jīng)驗(yàn)。