川慶物探數(shù)據(jù)機(jī)房運(yùn)維：實(shí)現(xiàn)資源統(tǒng)一、自動(dòng)化調(diào)度管理

　　經(jīng)過快速穩(wěn)定的發(fā)展，川慶物探IT規(guī)模逐漸擴(kuò)大，IT基礎(chǔ)架構(gòu)建設(shè)趨于完備。云計(jì)算時(shí)代，川慶物探著眼于業(yè)務(wù)擴(kuò)展的需要，引入云資源，加快了川慶物探信息化建設(shè)的步伐。但是，川慶物探原有的IT運(yùn)維并不完善，IT運(yùn)維服務(wù)模式的改革創(chuàng)新勢(shì)在必行。

　　目前川慶物探共有3個(gè)數(shù)據(jù)中心機(jī)房：2個(gè)在成都，1個(gè)在新疆庫(kù)爾勒。其中庫(kù)爾勒為移動(dòng)式機(jī)房，成都1樓機(jī)房主要為利舊將下線的老設(shè)備，2樓機(jī)房為承載川慶物探重要業(yè)務(wù)應(yīng)用的集群化服務(wù)器和存儲(chǔ)資源。

　　目前針對(duì)機(jī)房及設(shè)備間的管理都比較完善，服務(wù)器和存儲(chǔ)設(shè)備資源均已池化，但隨著支撐業(yè)務(wù)應(yīng)用的逐漸增多，資源的合理利用是一個(gè)較大問題。

　　1 行業(yè)特性

　　對(duì)石油勘探行業(yè)而言，IT資源除了存儲(chǔ)海量數(shù)據(jù)的設(shè)備外，最關(guān)鍵的就是計(jì)算資源。石油勘探行業(yè)采集的地質(zhì)數(shù)據(jù)數(shù)量龐大，而且需要經(jīng)由地震資料處理類軟件和地震資料解釋類軟件復(fù)雜的運(yùn)算才能完成數(shù)據(jù)分析工作，這兩類軟件分別用于地震數(shù)據(jù)的處理和地震數(shù)據(jù)的解釋，其所需要的運(yùn)算量相當(dāng)龐大。

　　采集上來的原始數(shù)據(jù)經(jīng)過地震資料處理類軟件或解釋類軟件的復(fù)雜運(yùn)算，再通過矩陣的變化，迭代后會(huì)產(chǎn)生更龐大的數(shù)據(jù)量。最后，輸出原始數(shù)據(jù)處理結(jié)果時(shí)，又需要進(jìn)行大量計(jì)算，最后變成與原始數(shù)據(jù)體量規(guī)模相似的數(shù)據(jù)。

　　2 項(xiàng)目背景

　　2016年底，勤智運(yùn)維與川慶物探研究中心合作，搭建一體化智能運(yùn)維平臺(tái)承擔(dān)整個(gè)研究中心的運(yùn)維支撐工作。川慶物探研究中心通過部署勤智OneCenter一體化運(yùn)維管理平臺(tái)，對(duì)川慶成都數(shù)據(jù)中心機(jī)房的核心網(wǎng)絡(luò)設(shè)備、計(jì)算和存儲(chǔ)集群資源進(jìn)行了全面監(jiān)控;通過網(wǎng)絡(luò)拓?fù)鋱D、設(shè)備性能視圖、設(shè)備告警視圖、自動(dòng)化運(yùn)維及定制化功能，直觀了解網(wǎng)絡(luò)設(shè)備、技術(shù)、存儲(chǔ)集群資源的使用情況，并能及時(shí)發(fā)現(xiàn)設(shè)備故障;通過自動(dòng)化資源調(diào)度合理分配、計(jì)算、存儲(chǔ)資源，由被動(dòng)運(yùn)維變?yōu)橹鲃?dòng)運(yùn)維。

　　3 現(xiàn)狀描述及需求分析

　　3.1 現(xiàn)狀描述

　　類似川慶物探研究中心計(jì)算所這樣的科研機(jī)構(gòu)，承載地學(xué)研究、勘探數(shù)據(jù)分析等任務(wù)的石油勘探行業(yè)的研究所或計(jì)算中心，都面臨著同樣的信息化運(yùn)維難題。隨著數(shù)據(jù)規(guī)模不斷增長(zhǎng)，計(jì)算壓力逐漸變大，計(jì)算所的規(guī)模也在擴(kuò)大。川慶物探現(xiàn)有3個(gè)數(shù)據(jù)中心，2個(gè)在成都，1個(gè)在新疆。各數(shù)據(jù)中心只能負(fù)責(zé)各自的數(shù)據(jù)，數(shù)據(jù)中心之間的遠(yuǎn)程監(jiān)控還未實(shí)現(xiàn)。

　　為了保障勘探項(xiàng)目的順利進(jìn)行，為各項(xiàng)目組提供服務(wù)，川慶物探研究中心計(jì)算所投資建設(shè)的高性能計(jì)算平臺(tái)有2000多個(gè)計(jì)算節(jié)點(diǎn)，近40000個(gè)CPU，每個(gè)CPU的核數(shù)超過了10000。硬件上的投入看似足夠，但當(dāng)項(xiàng)目繁忙需要很多應(yīng)用軟件同時(shí)在高性能計(jì)算平臺(tái)上運(yùn)行時(shí)，系統(tǒng)的穩(wěn)定性就會(huì)出現(xiàn)問題。川慶物探急需一套專業(yè)的一體化運(yùn)維平臺(tái)，實(shí)現(xiàn)網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)資源監(jiān)控、遠(yuǎn)程、自動(dòng)化的調(diào)度管理，讓投資的硬件、軟件資源的利用率更高，為業(yè)務(wù)順利開展提供服務(wù)保障。

　　3.2 需求分析

　　隨著川慶物探投資建設(shè)的高性能計(jì)算平臺(tái)上線運(yùn)行，各核心網(wǎng)絡(luò)設(shè)備運(yùn)行基本暢通，計(jì)算及存儲(chǔ)資源在實(shí)際項(xiàng)目中的合理高效利用成為關(guān)注的焦點(diǎn)。為此，川慶物探從實(shí)際業(yè)務(wù)出發(fā)提出了如下要求：

　　1)實(shí)現(xiàn)對(duì)核心網(wǎng)絡(luò)設(shè)備的全面監(jiān)控，并可在拓?fù)湟晥D中直觀顯示網(wǎng)絡(luò)架構(gòu)、設(shè)備的運(yùn)行狀態(tài)和網(wǎng)絡(luò)鏈路的性能和通斷情況。

　　2)實(shí)現(xiàn)對(duì)計(jì)算及存儲(chǔ)集群資源監(jiān)控，并通過統(tǒng)計(jì)視圖展現(xiàn)集群資源CPU、內(nèi)存使用情況。

　　3)實(shí)現(xiàn)磁盤陣列各文件系統(tǒng)的信息采集，并以圖表方式展現(xiàn)。

　　4)實(shí)現(xiàn)以矩陣方式展現(xiàn)各計(jì)算集群節(jié)點(diǎn)運(yùn)行應(yīng)用分布情況，不同應(yīng)用以不同顏色區(qū)分。

　　5)實(shí)現(xiàn)計(jì)算集群資源通過自動(dòng)化執(zhí)行腳本方式自動(dòng)調(diào)度分配。

　　4 解決方案

　　經(jīng)過前期需求調(diào)研，考慮到需監(jiān)控管理的計(jì)算節(jié)點(diǎn)超過1000個(gè)，勤智運(yùn)維決定采用分布式部署方式，數(shù)據(jù)處理器單獨(dú)部署一臺(tái)服務(wù)器，兩個(gè)數(shù)據(jù)采集器、集中門戶等組件單獨(dú)部署一臺(tái)服務(wù)器，數(shù)據(jù)庫(kù)采用Oracle11g單獨(dú)部署一臺(tái)服務(wù)器。

　　1)通過網(wǎng)絡(luò)拓?fù)湟晥D展示，自動(dòng)發(fā)現(xiàn)生成網(wǎng)絡(luò)拓?fù)洌�并且關(guān)聯(lián)設(shè)備的性能和告警信息，便于進(jìn)行故障隔離和快速定位。

　　1 拓?fù)鋱D展示

　　2)通過勤智OneCenter一體化智能運(yùn)維平臺(tái)實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)、計(jì)算、存儲(chǔ)集群資源全面監(jiān)控，實(shí)時(shí)展現(xiàn)各資源的CPU、內(nèi)存、磁盤、接口等性能指標(biāo)信息。

　　2 網(wǎng)絡(luò)設(shè)備

　　3 計(jì)算集群節(jié)點(diǎn)

　　4 存儲(chǔ)集群節(jié)點(diǎn)

　　將業(yè)務(wù)資源分組，以統(tǒng)計(jì)視圖方式集中展現(xiàn)各計(jì)算、存儲(chǔ)集群資源CPU、內(nèi)存使用情況。

　　5 計(jì)算集群資源使用統(tǒng)計(jì)視圖

　　6 計(jì)算集群各節(jié)點(diǎn)CPU利用率

　　川慶物探數(shù)據(jù)機(jī)房運(yùn)維：實(shí)現(xiàn)資源統(tǒng)一、自動(dòng)化調(diào)度管理

　　7 計(jì)算集群各節(jié)點(diǎn)內(nèi)存利用率

　　3)磁盤陣列使用情況統(tǒng)計(jì)：通過定時(shí)代理方式，在指定存儲(chǔ)節(jié)點(diǎn)上執(zhí)行腳本命令采集獲取磁盤陣列文件系統(tǒng)目錄使用情況，并以圖表方式進(jìn)行集中展現(xiàn)。

　　8 存儲(chǔ)文件系統(tǒng)一級(jí)目錄

　　9 存儲(chǔ)文件系統(tǒng)一級(jí)目錄

　　4)項(xiàng)目應(yīng)用矩陣視圖展現(xiàn)：按照川慶物探的業(yè)務(wù)，每個(gè)計(jì)算集群節(jié)點(diǎn)上均會(huì)部署運(yùn)行一個(gè)項(xiàng)目應(yīng)用，例如：Omega、Paradigm等。計(jì)算集群節(jié)點(diǎn)為L(zhǎng)inux系統(tǒng)，勤智OneCenter一體化智能運(yùn)維平臺(tái)按照Linux對(duì)各節(jié)點(diǎn)進(jìn)行監(jiān)控，并將川慶物探的項(xiàng)目應(yīng)用名稱同Linux操作系統(tǒng)的“系統(tǒng)說明”字段進(jìn)行綁定，綁定策略可在后臺(tái)配置文件中進(jìn)行維護(hù)。

　　以矩陣方式集中展現(xiàn)a段、b段、c段等計(jì)算集群節(jié)點(diǎn)上運(yùn)行應(yīng)用情況。

　　10 矩陣視圖展示

　　5)自動(dòng)化資源調(diào)度：通過對(duì)計(jì)算集群資源的全面監(jiān)控，及時(shí)掌控各集群節(jié)點(diǎn)的使用情況，結(jié)合資源調(diào)度功能實(shí)現(xiàn)自動(dòng)化在線分配節(jié)點(diǎn)資源(釋放空閑節(jié)點(diǎn)的資源到業(yè)務(wù)緊張的節(jié)點(diǎn)中)。

　　11 資源調(diào)度

　　5 用戶收益

　　勤智OneCenter一體化智能運(yùn)維平臺(tái)，能夠幫助川慶物探用戶找到問題出現(xiàn)的根源，比如哪些資源已經(jīng)超負(fù)荷，哪些資源處于閑置狀態(tài)，并通過在線資源調(diào)度合理分配超負(fù)荷資源和閑置資源，使其得到高效利用。川慶物探能夠?qū)崟r(shí)掌控計(jì)算平臺(tái)上的應(yīng)用運(yùn)行情況，預(yù)知分配給應(yīng)用的計(jì)算節(jié)點(diǎn)何時(shí)達(dá)到峰值。如果當(dāng)前CPU利用率較低，就可以加載將要運(yùn)行的軟件，提高平臺(tái)處理效率。

　　川慶物探反饋引入勤智OneCenter一體化智能運(yùn)維平臺(tái)后，業(yè)務(wù)能夠更好地順利開展，所有可監(jiān)控的業(yè)務(wù)都做到了提前報(bào)警，計(jì)算集群節(jié)點(diǎn)使用狀況實(shí)時(shí)可控，實(shí)現(xiàn)了資源的統(tǒng)一、自動(dòng)化管理，投資的軟硬件資源利用率更高。

　　6 案例亮點(diǎn)

　　本項(xiàng)目一期建設(shè)亮點(diǎn)如下：

　　1)實(shí)現(xiàn)對(duì)川慶物探核心網(wǎng)絡(luò)設(shè)備、計(jì)算和存儲(chǔ)集群資源全面監(jiān)控，結(jié)合ITAM平臺(tái)實(shí)現(xiàn)自動(dòng)調(diào)用腳本實(shí)現(xiàn)計(jì)算集群資源的在線調(diào)度。

　　2)通過定制化需求對(duì)計(jì)算集群節(jié)點(diǎn)CPU、內(nèi)存性能指標(biāo)進(jìn)行集中展現(xiàn);以矩陣方式展現(xiàn)各計(jì)算集群節(jié)點(diǎn)運(yùn)行業(yè)務(wù)應(yīng)用情況。

　　3)通過定時(shí)代理方式在指定存儲(chǔ)節(jié)點(diǎn)上執(zhí)行腳本命令，獲取磁盤陣列文件系統(tǒng)目錄使用情況，并以圖表方式進(jìn)行集中展現(xiàn)。