一款手游有400+個(gè)AI角色！騰訊游戲新系統(tǒng)炸場(chǎng)GDC：訓(xùn)練成本大減90%

　　你敢信?一款手游里藏著400+個(gè)AI角色，且各自有各自的性格……

　　這就是騰訊在一年一度的“游戲界春晚”GDC上展示的一場(chǎng)技術(shù)肌肉秀——

　　《火影忍者》手游相關(guān)負(fù)責(zé)人介紹了大規(guī)模強(qiáng)化學(xué)習(xí)AI訓(xùn)練系統(tǒng)，該方法的訓(xùn)練成本和時(shí)間比傳統(tǒng)的訓(xùn)練方案減少90%。

　　除此之外，移動(dòng)端光追、144幀渲染、跨平臺(tái)開發(fā)管線管理等技術(shù)也都逐一亮相。

　　目前這些技術(shù)已經(jīng)部署到了騰訊游戲現(xiàn)有游戲當(dāng)中去，包括魔方工作室群的《火影忍者》手游和《暗區(qū)突圍》手游、本月剛開始測(cè)試的天美工作室群作品《三角洲行動(dòng)》。

　　所以這些騰訊游戲背后到底有哪些技術(shù)?我們提前同團(tuán)隊(duì)聊了聊，這就來揭秘一下~

　　400+AI角色同時(shí)訓(xùn)練

　　本屆GDC，AI成為關(guān)鍵詞。大會(huì)共設(shè)有16場(chǎng)AI主題峰會(huì)和14場(chǎng)機(jī)器學(xué)習(xí)峰會(huì)，涵蓋游戲制作多個(gè)環(huán)節(jié)。

　　騰訊互娛魔方技術(shù)中心AI團(tuán)隊(duì)負(fù)責(zé)人廖詩飏在AI主題峰會(huì)上，分享了將強(qiáng)化學(xué)習(xí)技術(shù)應(yīng)用于格斗游戲的經(jīng)驗(yàn)。

　　他分享的主題是:

　　《火影忍者》手游:針對(duì)格斗游戲大規(guī)模強(qiáng)化學(xué)習(xí)的優(yōu)化

　　他曾擔(dān)任南洋理工大學(xué)教授，目前帶領(lǐng)《火影忍者》手游和《暗區(qū)突圍》AI項(xiàng)目的研發(fā)團(tuán)隊(duì)，在物理仿真、大規(guī)模虛擬世界、游戲AI等領(lǐng)域有20年多研發(fā)經(jīng)驗(yàn)。

　　據(jù)介紹，《火影忍者》是全球首個(gè)使用強(qiáng)化學(xué)習(xí)技術(shù)的格斗游戲產(chǎn)品，于2021年就開始運(yùn)用強(qiáng)化學(xué)習(xí)技術(shù)。

　　以往早在2016年就有相關(guān)論文在討論該技術(shù)，也曾有一些格斗游戲的AI比賽舉辦，但真正做到商業(yè)化應(yīng)用，以及如此大規(guī)模強(qiáng)化學(xué)習(xí)訓(xùn)練的尚且只有這一款游戲。

　　目前，他們實(shí)現(xiàn)了400+角色強(qiáng)化學(xué)習(xí)訓(xùn)練，且訓(xùn)練時(shí)間和成本比以往降低了90%。

　　什么概念呢?

　　還得從訓(xùn)練方式說起，他們采用的方式叫做自博弈(Self-Play)，顧名思義就是對(duì)自我博弈以獲得生成策略，不斷提升AI選手的能力。

　　當(dāng)年人機(jī)大戰(zhàn)，谷歌AlphaGo實(shí)際就是應(yīng)用這一訓(xùn)練方法。

　　以往用這一方法訓(xùn)練20個(gè)角色，大概需要2天時(shí)間。而將角色規(guī)模擴(kuò)大到300+，那么對(duì)局?jǐn)?shù)量起碼是前者200多倍，訓(xùn)練時(shí)間可能會(huì)超過一年。

　　于是，他們提出了集海訓(xùn)練系統(tǒng)，對(duì)計(jì)算時(shí)間和成本進(jìn)行了大量?jī)?yōu)化，也是業(yè)界首個(gè)針對(duì)數(shù)百個(gè)角色(400+)的大規(guī)模強(qiáng)化學(xué)習(xí)訓(xùn)練方案。

　　之所以打造這樣一個(gè)大規(guī)模強(qiáng)化學(xué)習(xí)訓(xùn)練系統(tǒng)，主要有三個(gè)方面的需求考量。

　　首先，最早的考量來自于角斗場(chǎng)的教學(xué)需求。因?yàn)楦穸飞鲜帜酥辆�通門檻較高，可以由AI教練出手，根據(jù)玩家情況來因材施教。

　　其次，就是角色的平衡性問題。據(jù)團(tuán)隊(duì)透露，一年他們大概會(huì)投放40個(gè)新角色進(jìn)去，如何保證角色之間的公平性，這需要大量的數(shù)據(jù)去驗(yàn)證。目前AI訓(xùn)練能做到一周左右。

　　再者，就是一些新功能的探索。比如每個(gè)IP的AI角色都有自己本身的性格，或保守、或激進(jìn)、或霸氣，給玩家?guī)�來更豐富和多元的體驗(yàn)。

　　騰訊游戲炸場(chǎng)GDC

　　除此之外，還有兩款游戲，也大秀特秀了一把技術(shù)。

　　一個(gè)則是魔方出品的射擊手游《暗區(qū)突圍》。另一個(gè)本月剛開始測(cè)試的特戰(zhàn)干員戰(zhàn)術(shù)射擊游戲《三角洲行動(dòng)》，天美工作室出品。

　　首先是《暗區(qū)突圍》手游，作為上線一年半即用戶破億的FPS游戲，此次團(tuán)隊(duì)分享的的則是他們其中一個(gè)核心競(jìng)爭(zhēng)力，即畫面的寫實(shí)和沉浸感強(qiáng)的表現(xiàn)。

　　背后依靠的技術(shù)包括光線追蹤、高幀率渲染等在移動(dòng)端的部署。也成為本次分享的主題:

　　下一代的手游畫面:暗區(qū)突圍中的光線追蹤

　　在移動(dòng)端實(shí)現(xiàn)144幀渲染:暗區(qū)突圍手游中的幀預(yù)測(cè)

　　其中光線追蹤技術(shù)，已經(jīng)廣泛應(yīng)用于PC和主機(jī)端的3A游戲，但受制于性能和算法等原因暫時(shí)無法在移動(dòng)端普及。

　　騰訊互娛魔方《暗區(qū)突圍》手游項(xiàng)目圖形程序負(fù)責(zé)人王俊宏介紹了為呈現(xiàn)更極致的游戲畫面，《暗區(qū)突圍》手游的技術(shù)團(tuán)隊(duì)開發(fā)了一套混合渲染管線，首次在移動(dòng)端大世界場(chǎng)景中應(yīng)用了光線追蹤技術(shù)，實(shí)現(xiàn)了反射、陰影和環(huán)境光遮蔽，使游戲畫面更加真實(shí)生動(dòng)。

　　渲染方面，騰訊互娛魔方《暗區(qū)突圍》手游項(xiàng)目程序工程師齊越，展示了技術(shù)與算法完全自研的基于幀預(yù)測(cè)的高幀率渲染管線。該方法能夠高效地復(fù)用前一幀已渲染的像素，從而節(jié)省新一幀中大部分的計(jì)算量，可以在不降低游戲畫面質(zhì)量的情況下顯著提高游戲的幀率與流暢度，并節(jié)省電池功耗，進(jìn)一步提升手游玩家的游戲體驗(yàn)。

　　而為了打造游戲的沉浸感，團(tuán)隊(duì)還做了不少工作，比如實(shí)時(shí)全局光照、實(shí)時(shí)天氣系統(tǒng)、自動(dòng)曝光以及人眼適應(yīng)等工作，這些都屬于行業(yè)首創(chuàng)。

　　而《三角洲行動(dòng)》這邊，它是騰訊首款面向三端(PC端、移動(dòng)端以及主機(jī))的游戲產(chǎn)品。此次他們主要分享整個(gè)跨端生產(chǎn)的過程以及當(dāng)中經(jīng)歷的挑戰(zhàn)。

　　內(nèi)容主要包括兩個(gè)方面:整個(gè)跨端生產(chǎn)管線的支撐、運(yùn)行時(shí)的解決方案和性能優(yōu)化。

　　團(tuán)隊(duì)強(qiáng)調(diào)，整個(gè)生產(chǎn)過程(包括美術(shù)、策劃、資產(chǎn)生產(chǎn)、內(nèi)容生產(chǎn)等過程)是在同一環(huán)境下進(jìn)行的，并非雙端獨(dú)立開發(fā)。

　　因此，保持思維上的統(tǒng)一是這個(gè)過程最重要的事情。團(tuán)隊(duì)坦言，不然很容易出現(xiàn)問題。

　　比如我們單盯著這端看，他的操作很好，但是另外一端是完全不可用的。到最后才發(fā)現(xiàn)會(huì)導(dǎo)致這個(gè)方案完全被推倒重來。

　　除此之外，騰訊游戲?qū)⒃谄湔刮簧险故酒渥钚碌挠螒蚣夹g(shù)。

　　包括來自騰訊AI Lab的GiiNEX AI游戲引擎、決策AI和生成式AI產(chǎn)品與方案;還有騰訊的反外掛服務(wù)“反作弊專家(ACE)”、游戲研發(fā)工具與平臺(tái)“云端工作室(CES)”和全球游戲質(zhì)量保障服務(wù)WeTest Global也亮相了今年的GDC。

　　好了，GDC還有哪些好玩的呢?歡迎有參與到GDC的小伙伴，與我們分享。