星環(huán)科技?xì)庀蟠髷?shù)據(jù)為“黃金水道”航運(yùn)安全保駕護(hù)航

　　案例背景

　　上海市氣象局是上海政府的專業(yè)管理部門，主要負(fù)責(zé)上海行政區(qū)域內(nèi)的氣象監(jiān)測(cè)、天氣預(yù)報(bào)、災(zāi)害性天氣預(yù)警等工作。氣象能見(jiàn)度是氣象要素觀測(cè)中的基本項(xiàng)目之一，是直接影響人類生活、生產(chǎn)、交通的重要問(wèn)題。此次長(zhǎng)江中下游流域能見(jiàn)度預(yù)報(bào)預(yù)警和監(jiān)測(cè)平臺(tái)搭建項(xiàng)目旨在通過(guò)大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù)，提高能見(jiàn)度預(yù)測(cè)精度，并通過(guò)可視化模塊實(shí)現(xiàn)氣象數(shù)據(jù)的價(jià)值傳遞。

　　問(wèn)題與需求

　　作為全國(guó)最長(zhǎng)的內(nèi)陸航道，長(zhǎng)江干線航道年貨運(yùn)量超20億噸，位居全球內(nèi)河第一，年客運(yùn)量3.2億人次，對(duì)沿岸經(jīng)濟(jì)發(fā)展至關(guān)重要，是名副其實(shí)的“黃金水道”。航道船舶的航行安全與航道的能見(jiàn)度高低休戚相關(guān)， 能見(jiàn)度預(yù)報(bào)的準(zhǔn)確與否決定著各大宗干散貨、集裝箱、滾裝運(yùn)輸在長(zhǎng)江中下游的航運(yùn)安全。

　　1、能見(jiàn)度預(yù)測(cè)精度低

　　在能見(jiàn)度預(yù)測(cè)方面，氣象局之前主要使用數(shù)值預(yù)報(bào)的方法進(jìn)行預(yù)測(cè)，其精度還有很大的提升空間，因此希望借助于機(jī)器學(xué)習(xí)的算法，來(lái)對(duì)誤差進(jìn)行修正，整體提高能見(jiàn)度預(yù)測(cè)精度，以便做好預(yù)警，避免惡劣天氣下的人員傷亡和財(cái)產(chǎn)損失。預(yù)測(cè)對(duì)象為未來(lái)72h內(nèi)的逐小時(shí)能見(jiàn)度，預(yù)測(cè)頻率為每小時(shí)預(yù)報(bào)一次，數(shù)據(jù)更新頻率為每天。

　　2、缺乏可視化呈現(xiàn)

　　為方便公眾用戶、決策用戶和行業(yè)用戶快速了解72h內(nèi)的逐小時(shí)能見(jiàn)度，長(zhǎng)江中下游流域能見(jiàn)度預(yù)報(bào)預(yù)警和監(jiān)測(cè)平臺(tái)的可視化功能亟待開(kāi)發(fā)，在計(jì)算得出能見(jiàn)度預(yù)測(cè)數(shù)據(jù)后，自動(dòng)形成可視化地圖，以便用戶快速響應(yīng)做出決策。

　　解決方案

　　上海市氣象局的此次項(xiàng)目旨在建立長(zhǎng)江中下游流域能見(jiàn)度預(yù)報(bào)預(yù)警和監(jiān)測(cè)平臺(tái)，實(shí)現(xiàn)預(yù)報(bào)、產(chǎn)品可視化以及評(píng)估檢驗(yàn)功能。

　　整體的數(shù)據(jù)架構(gòu)主要分為三個(gè)層次，第一層是運(yùn)行環(huán)境，包含氣象局自建的應(yīng)用服務(wù)器及操作系統(tǒng);第二層是數(shù)據(jù)存儲(chǔ)層，存儲(chǔ)氣象和數(shù)值預(yù)報(bào)相關(guān)的數(shù)據(jù);第三層是業(yè)務(wù)應(yīng)用層，包括預(yù)報(bào)產(chǎn)品的綜合顯示、相關(guān)預(yù)報(bào)效果的檢驗(yàn)等。

　　能見(jiàn)度預(yù)測(cè)模型架構(gòu)如下。

　　實(shí)施成效

　　1、氣象數(shù)據(jù)質(zhì)量控制

　　數(shù)據(jù)質(zhì)量控制的流程是指對(duì)收集到的濕度、溫度、氣壓、降水、風(fēng)速、風(fēng)向、地表污染物、時(shí)間及空間數(shù)據(jù)進(jìn)行一體化的數(shù)據(jù)處理，將數(shù)據(jù)格式轉(zhuǎn)換形成歸一化的數(shù)據(jù)。之后進(jìn)行自動(dòng)標(biāo)識(shí)，檢測(cè)數(shù)據(jù)是否有效，保留有效數(shù)據(jù)，剔除無(wú)效數(shù)據(jù)。數(shù)據(jù)質(zhì)量控制流程通過(guò)前期的數(shù)據(jù)清洗核查，大幅提高了進(jìn)入模型的數(shù)據(jù)質(zhì)量以及能見(jiàn)度的預(yù)測(cè)精度。

　　2、單個(gè)站點(diǎn)個(gè)性建模

　　由于長(zhǎng)江流域的某些站點(diǎn)之間距離較遠(yuǎn)，并且所處的地理位置、氣候環(huán)境、社會(huì)環(huán)境、生產(chǎn)環(huán)境均有非常大的差異，而這些差異難以在有限的數(shù)據(jù)中體現(xiàn)。因此為了降低站點(diǎn)之間的數(shù)據(jù)干擾，保證預(yù)測(cè)精度，分別對(duì)單個(gè)站點(diǎn)進(jìn)行單獨(dú)建模，降低不可控?cái)?shù)據(jù)的干擾。整個(gè)系統(tǒng)的建模數(shù)為兩百多個(gè)，模型更新頻率為每天一次。

　　3、數(shù)值預(yù)報(bào)誤差補(bǔ)全

　　氣象局先前使用的預(yù)測(cè)方法為數(shù)值預(yù)報(bào)，即用大量的數(shù)據(jù)方程描述整個(gè)大氣運(yùn)動(dòng)的動(dòng)態(tài)，再用大型計(jì)算機(jī)對(duì)方程進(jìn)行計(jì)算。這些方程的假設(shè)比較多，需要簡(jiǎn)化后機(jī)器才能算，如果簡(jiǎn)化太多，則方程無(wú)法完全描述大氣特征，因此會(huì)在確保能夠描述大氣特征的前提下適當(dāng)簡(jiǎn)化方程。在簡(jiǎn)化方程之后，必然會(huì)產(chǎn)生一些誤差，需要借助機(jī)器學(xué)習(xí)的算法填補(bǔ)數(shù)值預(yù)報(bào)的誤差缺陷，提升氣象能見(jiàn)度預(yù)報(bào)的精度。

　　算法方面，使用二分類模型、XGboost和lightGBM模型進(jìn)行多模型融合預(yù)測(cè)，由于每個(gè)氣象站每小時(shí)都會(huì)監(jiān)測(cè)到準(zhǔn)確的氣象實(shí)時(shí)數(shù)據(jù)，因此為機(jī)器學(xué)習(xí)模型不斷地注入新的訓(xùn)練集。經(jīng)機(jī)器學(xué)習(xí)的優(yōu)化后的能見(jiàn)度預(yù)測(cè)模型，對(duì)長(zhǎng)江中下游流域的城市，如：江蘇、安徽、浙江、湖北、湖南、江西、上海等，大部分城市的能見(jiàn)度預(yù)測(cè)誤差和相關(guān)系數(shù)都有9%~67%的顯著提升。

　　4、能見(jiàn)度可視化呈現(xiàn)

　　經(jīng)過(guò)機(jī)器學(xué)習(xí)算法預(yù)測(cè)的每個(gè)氣象站的能見(jiàn)度數(shù)值，以深淺不一的顏色顯示在地圖上，綠色表示能見(jiàn)度較好，深色表示能見(jiàn)度較差，刷新頻率為每小時(shí)。用戶可選擇“實(shí)時(shí)”或“預(yù)報(bào)”功能，查看實(shí)時(shí)的能見(jiàn)度或未來(lái)72h內(nèi)的每小時(shí)能見(jiàn)度預(yù)報(bào)。

　　星環(huán)憑借大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù)助力氣象局搭建長(zhǎng)江中下游流域能見(jiàn)度預(yù)報(bào)預(yù)警和監(jiān)測(cè)平臺(tái)，昭示了上海市氣象局向人工智能、智慧氣象方向的成功轉(zhuǎn)型，平臺(tái)實(shí)現(xiàn)能見(jiàn)度的自動(dòng)建模、參數(shù)調(diào)優(yōu)和模型優(yōu)化，提升預(yù)測(cè)精度，并借助可視化模塊連接公眾用戶、決策用戶和行業(yè)用戶，加強(qiáng)了信息的互通共享，為“黃金水道”的安全航運(yùn)保駕護(hù)航。