日志易智能日志中心平臺(tái)榮獲“2020金融數(shù)據(jù)智能運(yùn)維創(chuàng)新優(yōu)秀解決方案”

　　“第二屆金融數(shù)據(jù)智能優(yōu)秀解決方案評(píng)選”活動(dòng)是在中國銀行業(yè)協(xié)會(huì)金融科技專委會(huì)指導(dǎo)、北京軟件和信息服務(wù)業(yè)協(xié)會(huì)支持下，由金科創(chuàng)新社主辦的。經(jīng)過網(wǎng)絡(luò)投票環(huán)節(jié)與兩輪來自銀行、證券、基金、保險(xiǎn)等金融領(lǐng)域的59位專家的嚴(yán)格評(píng)分環(huán)節(jié)之后，日志易智能日志中心榮登榜單，獲評(píng)“2020金融數(shù)據(jù)智能運(yùn)維創(chuàng)新優(yōu)秀解決方案”。

　　在評(píng)審過程中，日志易智能日志中心得到了來自中信建投證券信息技術(shù)部董事總經(jīng)理肖鋼、中國建設(shè)銀行數(shù)據(jù)管理部副總經(jīng)理劉賢榮、中國人壽保險(xiǎn)股份有限公司研發(fā)中心總工程師張新宇等眾多評(píng)委的高度好評(píng)。中信建投證券信息技術(shù)部董事總經(jīng)理肖鋼這樣評(píng)價(jià)到: “與開源ELK相比，日志易是一個(gè)針對(duì)日志生態(tài)的完整解決方案，包含了從日志收集、解析、處理計(jì)算到統(tǒng)計(jì)分析、展示的全過程。內(nèi)置多種解析器且無需大量編碼即可實(shí)現(xiàn)日志解析，優(yōu)于Logstash。存儲(chǔ)方面基于用C++實(shí)現(xiàn)了類似ES的搜索引擎。此外界面可視化操作也是一大亮點(diǎn)，減少開發(fā)工作量并且簡單易用。”

　　“日志生態(tài)”、“智能日志分析”、“自研創(chuàng)新”、“可視化操作”等專家評(píng)語關(guān)鍵詞也正是日志易多年來為客戶逐一實(shí)現(xiàn)的價(jià)值。

　　智能日志中心

　　1、解決方案簡介

　　日志易智能日志中心平臺(tái)是一個(gè)配置靈活、功能強(qiáng)大、容易使用的日志管理工具，它可對(duì)日志進(jìn)行集中采集和實(shí)時(shí)索引，提供搜索、分析、可視化和監(jiān)控告警等功能，幫助企業(yè)進(jìn)行線上業(yè)務(wù)實(shí)時(shí)監(jiān)控、業(yè)務(wù)異常原因定位、業(yè)務(wù)日志數(shù)據(jù)統(tǒng)計(jì)分析、安全與合規(guī)審計(jì)。日志易一直堅(jiān)定不移地走自主研發(fā)、自主創(chuàng)新的技術(shù)路線，2018年發(fā)布國內(nèi)首個(gè)專用的日志搜索分析引擎Beaver。日志易采用分布式、松耦合、可擴(kuò)展的集群架構(gòu)，各模塊可水平擴(kuò)展，如果哪個(gè)模塊成為性能瓶頸，只需要增加運(yùn)行那個(gè)模塊的服務(wù)器數(shù)量即可。日志易已在數(shù)百家大型企業(yè)機(jī)構(gòu)得到應(yīng)用，獲得政府、行業(yè)、客戶等各界的普遍認(rèn)可，與此同時(shí)日志易積極投身行業(yè)標(biāo)準(zhǔn)化建設(shè)，為行業(yè)發(fā)展獻(xiàn)計(jì)獻(xiàn)策，積極響應(yīng)國家產(chǎn)教融合政策，取得了良好的社會(huì)和經(jīng)濟(jì)效益。

　　【圖：日志易部署架構(gòu)圖】

　　2、應(yīng)用場(chǎng)景痛點(diǎn)

　　在互聯(lián)網(wǎng)時(shí)代，各種各樣的行為都會(huì)被以“日志”形態(tài)記錄存儲(chǔ)下來，這些日志數(shù)據(jù)包括了用戶的基本信息、網(wǎng)絡(luò)瀏覽行為、交易行為、社交行為等。而對(duì)于金融行業(yè)，面對(duì)每天交易所產(chǎn)生的海量數(shù)據(jù)，以及各種服務(wù)器、防火墻所產(chǎn)生的日志，如何在大體量數(shù)據(jù)中實(shí)現(xiàn)集中管理、搜索分析、監(jiān)控告警、故障溯源及挖掘有效信息加以利用成為一個(gè)重大難題。

　　• 日志分散難以管理

　　日志產(chǎn)生于不同的業(yè)務(wù)部門，分布在不同的服務(wù)器上無人重視，隨時(shí)可能被覆蓋和刪除。只有將這些分散的日志數(shù)據(jù)系統(tǒng)收集，才能相互對(duì)照，發(fā)現(xiàn)問題所在。以投資銀行為例，傳統(tǒng)模式下，交易部門和研究部門的數(shù)據(jù)是相互獨(dú)立的，甚至數(shù)據(jù)的儲(chǔ)存格式都不同，由此形成一個(gè)個(gè)信息孤島，造成不同系統(tǒng)間關(guān)聯(lián)分析困難、事故原因分析困難。

　　• 缺乏海量日志處理能力

　　數(shù)據(jù)體量大帶來的問題不僅僅在于存儲(chǔ)，更重要的是龐大的數(shù)據(jù)無法利用。作為成熟的金融機(jī)構(gòu)，隨著網(wǎng)上支付、手機(jī)銀行、互聯(lián)網(wǎng)金融等新一代業(yè)務(wù)的出現(xiàn)，每天產(chǎn)生的各種業(yè)務(wù)數(shù)據(jù)、網(wǎng)絡(luò)設(shè)備數(shù)據(jù)及防火墻數(shù)據(jù)等可輕松突破TB級(jí)別，傳統(tǒng)的數(shù)據(jù)庫及系統(tǒng)架構(gòu)已經(jīng)無法支撐如此龐大的數(shù)據(jù)量，傳統(tǒng)方法處理效率低、時(shí)延長，企業(yè)完全淹沒在一片數(shù)據(jù)汪洋之中。

　　• 日志格式復(fù)雜難以解讀

　　就數(shù)據(jù)處理而言，最容易處理的是企業(yè)內(nèi)部的傳統(tǒng)數(shù)據(jù)——結(jié)構(gòu)化數(shù)據(jù)。然而隨著信息技術(shù)的飛速發(fā)展，日志數(shù)據(jù)的范圍已經(jīng)擴(kuò)大到企業(yè)的各個(gè)層面，服務(wù)器、各種網(wǎng)絡(luò)設(shè)備及五花八門的應(yīng)用軟件催生了多種多樣的數(shù)據(jù)格式。這些數(shù)據(jù)的可讀性很差，對(duì)于普通人來說無異于亂碼，即便是專業(yè)的技術(shù)人員，也很難一眼看懂一整條日志數(shù)據(jù)。

　　• 高昂的使用成本

　　作為電子貨幣與交易信息傳輸系統(tǒng)，一旦出現(xiàn)賬戶盜用、虛假信息等現(xiàn)象，將影響到國家金融與個(gè)人經(jīng)濟(jì)利益，又涉及到交易隱私的安全性，同時(shí)還增加了金融風(fēng)險(xiǎn)的傳導(dǎo)與擴(kuò)散危險(xiǎn)。面對(duì)海量日志帶來的運(yùn)維難題，無論是購買國外最先進(jìn)的產(chǎn)品還是聘請(qǐng)專業(yè)的技術(shù)團(tuán)隊(duì)，對(duì)企業(yè)來說都將是一筆不小的開支，需要耗費(fèi)大量的人力物力。

　　3、解決方案亮點(diǎn)

　　▪ 搜索引擎Beaver性能優(yōu)勢(shì)

　　國內(nèi)首個(gè)自研日志搜索引擎，真正的自主可控日志分析產(chǎn)品。同樣資源配置情況下，它可比國內(nèi)大多數(shù)采用ELK架構(gòu)的日志產(chǎn)品處理更多數(shù)據(jù);同樣日志量的情況下Beaver入庫查詢的效率更高�；�于ELK架構(gòu)或底層采用ES的產(chǎn)品在大數(shù)據(jù)量查詢時(shí)會(huì)報(bào)OOM的異常，導(dǎo)致查詢崩潰，采用C++的Beaver則無該問題。

　　▪ SPL(Search Processing Language)靈活統(tǒng)計(jì)優(yōu)勢(shì)

　　SPL主要優(yōu)勢(shì)是通過其豐富的命令實(shí)現(xiàn)日志的統(tǒng)計(jì)分析、組合、處理與計(jì)算。普通的SQL由于局限性無法滿足要求，同時(shí)SPL本身需要大量的研發(fā)人員進(jìn)行開發(fā)與實(shí)踐。因此目前國內(nèi)成功開發(fā)并應(yīng)用SPL語言的公司并不多，其中日志易可提供的SPL命令數(shù)量已達(dá)到150個(gè)之多，覆蓋絕大部分日常的日志分析場(chǎng)景。

　　▪ 基于APP生態(tài)的復(fù)雜日志解析

　　各行業(yè)的IT業(yè)務(wù)日志種類千差萬別，單純想要從正則方式解析或適應(yīng)復(fù)雜的日志需求簡直是天方夜譚。因此經(jīng)過多年的迭代和優(yōu)化，智能日志分析平臺(tái)搭建了APP生態(tài)，可通過一鍵導(dǎo)入實(shí)現(xiàn)日志數(shù)據(jù)的自動(dòng)化解析。同時(shí)，平臺(tái)本身也研發(fā)出了自動(dòng)劃線解析、kv-正則、Geo解析、字段格式化等20多種智能解析規(guī)則來適應(yīng)多種場(chǎng)景。

　　▪ 機(jī)器學(xué)習(xí)與智能運(yùn)維

　　基于日志易平臺(tái)的大數(shù)據(jù)處理能力，日志易團(tuán)隊(duì)運(yùn)用先進(jìn)的機(jī)器學(xué)習(xí)算法如CAVE、IForest、KDE等，實(shí)現(xiàn)針對(duì)海量數(shù)據(jù)的異常自動(dòng)發(fā)現(xiàn)、KPI檢測(cè)、容量預(yù)測(cè)等AIOps功能。