微礦Qlib：業(yè)內(nèi)首個AI量化投資開源平臺

　　近期,微軟亞洲研究院正式發(fā)布了 AI 量化投資開源平臺“微礦 Qlib”。這是微軟亞洲研究院成立“創(chuàng)新匯”三年以來,在與金融行業(yè)的成員企業(yè)合作研究的基礎之上,打造的 AI+金融跨界創(chuàng)新的階段性重要成果,通過創(chuàng)建一個通用的技術平臺,幫助實現(xiàn)量化投資流程的 AI 閉環(huán)。

　　Qlib 涵蓋了量化投資的全過程,為用戶的 AI 算法提供了高性能的底層基礎架構,從框架設計上讓用戶可以更容易地應用 AI 算法來輔助解決量化投資的各個關鍵問題(例如 Alpha 預測,風險預測,市場動態(tài)性建模)。

　　對于金融從業(yè)者來說,Qlib 平臺大大降低了使用 AI 算法的門檻,其內(nèi)部集成了十幾個 AI 算法在金融場景下的使用樣例以供參考,并且為整個金融行業(yè)提供了一個適應 AI 算法的高性能基礎設施和數(shù)據(jù)、模型管理平臺。而對于 AI 從業(yè)者來說,Qlib 則提供了一個完備的投資研究框架,以及基于領域知識設計的多個跨市場的數(shù)據(jù)集和業(yè)內(nèi)領先的基準。

　　專為AI而生的量化投資平臺

　　與傳統(tǒng)量化投資工具不同,Qlib 覆蓋了量化投資的全過程,而且從底層構造開始就專為 AI 而生,從數(shù)據(jù)處理到計算力支撐,再到模型的訓練與驗證,都為基于 AI 的量化投資提供了全方位的框架支持。用戶可以通過 Qlib 平臺提供的多個工具模塊,更加輕松地管理和使用自己的算法,特別是其 AI 算法。Qlib 的三大特點:

　　涵蓋量化投資全流程

　　從 Qlib 的功能模塊圖我們便可一窺全貌。

　　Qlib 平臺功能模塊

　　最底層的是基礎架構層(Infrastructure)。Qlib 的數(shù)據(jù)服務模塊(Data Server)提供了高性能的數(shù)據(jù)存儲設計,讓 AI 算法可以更快地處理更多金融數(shù)據(jù)。訓練模塊(Trainer)則為 AI 算法提供了靈活的接口來定義訓練模型的過程,讓 Auto-ML 等算法成為可能,也為分布式訓練提供了接口。而模型管理模塊(Model Manager)可以讓用戶更好地管理繁多的 AI 模型,更快地迭代其 AI 算法。

　　中間層是量化投資流程(Workflow)。信息抽取模塊(Information Extractor)負責從異構數(shù)據(jù)中提取有效的信息,因為用 AI 進行投資分析數(shù)據(jù)是關鍵,盡管金融行業(yè)有一定的數(shù)據(jù)基礎,但 AI 模型可以直接使用的高質量數(shù)據(jù)仍然十分有限,所以這就需要更多精細化處理和信息抽取。之后,預測模型(Forecast Model)會輸入抽取的信息,輸出可供金融專家參考的未來收益、風險等等預測,然而預測模型需要依靠底層海量數(shù)據(jù)才能訓練出精準、有效的預測模型。而投資組合生成模塊(Portfolio Generator)則能根據(jù)預測得到 Alpha 信號和風險信號輔助生成投資策略組合。訂單執(zhí)行模塊(Order Executor)是投資的最后一步——交易執(zhí)行,幫助用戶判斷何時下單也是一門藝術。

　　在量化投資中,幾乎不可能有一個模型在全時段都一直保持卓越的表現(xiàn),所以對市場動態(tài)性建模,以及在不同時期適時地調整模型、策略、執(zhí)行也是一個非常重要的課題。Qlib 中元控制器模塊 (Meta Controller) 的設計正是要支持這類問題的研究,實時提供精準的參考信息和方案,輔助用戶進行操作。

　　最上層是交互層(Interface)。其中,分析模塊(Analyzer)會根據(jù)下層的預測信號、倉位、執(zhí)行結果做出詳細的分析并呈現(xiàn)給用戶。

　　事實上,傳統(tǒng)量化投資開源平臺的誕生大多早于 AI 和機器學習的興起,更偏重于量化投資的回測、分析或執(zhí)行方面的功能,不少平臺只包含其中的某些部分。而 Qlib 所提供的數(shù)據(jù)處理、模型訓練、投資組合生成等部分都是其特有的能力。Qlib 完整的投資流程框架不僅讓分析人員可以擁有更加整體的視角,而且工具齊全,需要什么都可以信手拈來。

　　數(shù)據(jù)、算法和算力,聚齊AI三大要素

　　由于 AI 技術是最近幾年才開始進入投資研究領域的,傳統(tǒng)的量化投資幾乎沒有采用 AI 技術,只需應對傳統(tǒng)算法,所以基于 AI 的量化投資平臺自然需要提供更強大的底層架構和接口支持。因此,Qlib 提供了一個高性能的基礎平臺,從算力支撐到數(shù)據(jù)存取,都能夠滿足金融 AI 對于性能的高級別要求。

　　在數(shù)據(jù)層面,Qlib 提供了基于領域知識設計的多個跨市場的數(shù)據(jù)集。其數(shù)據(jù)服務模塊中內(nèi)含了為金融數(shù)據(jù)專門設計的表達式計算引擎,對金融數(shù)據(jù)和運算進行了存儲和計算優(yōu)化。相比傳統(tǒng) IT 平臺,Qlib 的計算性能要快數(shù)十倍,可以讓用戶的 AI 模型更輕松地駕馭更多的數(shù)據(jù)。在數(shù)據(jù)的使用方面,AI 模型與傳統(tǒng)模式也有很大不同,傳統(tǒng)量化投資的信息抽取依賴于金融行業(yè)研究員根據(jù)經(jīng)驗和領域知識實現(xiàn)的因子,但 AI 算法則有能力自動從數(shù)據(jù)中抽取信息。對此,Qlib 的數(shù)據(jù)管理框架未來會滿足 AI 模型所特有的使用方式。

　　在算法與模型層面,Qlib 目前內(nèi)置了常見的金融 AI 模型(例如 LightGBM、GRU、GATs 等十幾個模型),用戶可以基于平臺和自己的數(shù)據(jù)甚至是引用的最新的外部論文去創(chuàng)建全新的模型,挖掘差異化的投資因子,針對不同的數(shù)據(jù)和目標訓練相應的預測模型并構建自己的投資組合。如果用戶愿意分享自己的模型,也可以開源到 Qlib 平臺,與更多業(yè)內(nèi)人士共享。

　　值得一提的是,模型管理也是 Qlib 特有的部分。由于管理過程中會涉及模型眾多、參數(shù)復雜、數(shù)據(jù)海量、管理追蹤難/復現(xiàn)難等問題,Qlib 提供了專門的模型管理器模塊(Model Manager)幫助用戶更加系統(tǒng)化地管理自己的 AI 模型。只有管理有序,才能在需要的時候找到最適合的模型,提高預測分析的效率和準確率。

　　Qlib 支持的數(shù)據(jù)集和 AI 模型(持續(xù)更新中), 進入Github的Qlib頁面,一鍵“跑遍”所有模型

　　所有模塊均可靈活配置

　　投資研究是一個復雜的過程,其中的每個環(huán)節(jié)實際上都可以獨立出來作為一個單獨的研究課題。所以,Qlib 在框架構建之初就考慮到了研究過程的靈活性,不能將流程固化,框架中的各個模塊分則各具特點,合則渾然一體,這樣研究人員就可以根據(jù)自己的工作流將不同的模塊組合,靈活配置架構。

　　隔行如隔山?在Qlib這里不存在

　　人們常說,術業(yè)有專攻,隔行如隔山,但在 Qlib,行業(yè)區(qū)隔不再是難題,因為無論是金融從業(yè)者還是 AI 從業(yè)人員都可以從中找到自己的所需。

　　AI 技術人員最擅長的是“調參煉丹”,讓他們來做金融投資分析,首先需要學習金融領域的知識,但從何學起很有講究,如果方法不當,會額外耗費很多精力。Qlib 在每個模塊中都預置了一系列相關問題、金融領域數(shù)據(jù)處理知識以及完備的投資研究框架。例如,在最常見的選股場景中,非金融專業(yè)人員很可能一開始就會選擇大盤的漲跌進行研究,但這是行業(yè)內(nèi)非常困難的一個問題,無疑會給研究過程帶來極大的挑戰(zhàn)。而 Qlib 會基于框架分類設定步驟,AI 技術人員只需根據(jù)樣例就能循序漸進地切入到金融領域,避免走彎路。

　　另一方面,對于傳統(tǒng)金融從業(yè)者來說,盡管他們十分熟悉量化投資的流程,但卻不清楚應該在哪個環(huán)節(jié)、引入哪項 AI 技術或哪個算法。因此,Qlib 平臺將相關問題拆分,并在每一步和每個模塊中提供了簡單易學的 AI 技術、數(shù)據(jù)引入的方法,以及模型的訓練方式,大大降低了 AI 使用的專業(yè)門檻。Qlib 還提供了很多現(xiàn)成的例子、模型供相關人員參考。隨著更多用戶愿意在 Qlib 平臺上開源自己的模型算法,今后將會有越來越多的用戶從中受益。

　　此外,Qlib 也正在逐步成為學術界科研人員的有力工具。Qlib 提供了大量的公開數(shù)據(jù)集、業(yè)界基準和相對統(tǒng)一的評價指標,有助于研究人員在測試新算法時省去不必要的、與核心工作無關的工作而專心于研究任務,同時也能夠幫助研究人員定義合理的學術研究問題。

　　Qlib 平臺開源僅一個月多,目前已經(jīng)在 Github 上獲得了近700顆星的好評,并得到了社區(qū)成員和用戶的積極反饋�，F(xiàn)在 Qlib 的更新非常活躍,未來還將有更多功能開放出來。歡迎大家關注、使用Github的Qlib 平臺:,希望通過基于 Qlib 平臺更多的交流和分享,可以助力投資領域形成更大規(guī)模的良性循環(huán)。

　　更多信息，請進入Github的Qlib頁面,了解更多Qlib細節(jié)。