星環(huán)科技?xì)庀蟠髷?shù)據(jù)為“黃金水道”航運(yùn)安全保駕護(hù)航

　　案例背景

　　上海市氣象局是上海政府的專業(yè)管理部門，主要負(fù)責(zé)上海行政區(qū)域內(nèi)的氣象監(jiān)測、天氣預(yù)報(bào)、災(zāi)害性天氣預(yù)警等工作。氣象能見度是氣象要素觀測中的基本項(xiàng)目之一，是直接影響人類生活、生產(chǎn)、交通的重要問題。此次長江中下游流域能見度預(yù)報(bào)預(yù)警和監(jiān)測平臺搭建項(xiàng)目旨在通過大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù)，提高能見度預(yù)測精度，并通過可視化模塊實(shí)現(xiàn)氣象數(shù)據(jù)的價(jià)值傳遞。

　　問題與需求

　　作為全國最長的內(nèi)陸航道，長江干線航道年貨運(yùn)量超20億噸，位居全球內(nèi)河第一，年客運(yùn)量3.2億人次，對沿岸經(jīng)濟(jì)發(fā)展至關(guān)重要，是名副其實(shí)的“黃金水道”。航道船舶的航行安全與航道的能見度高低休戚相關(guān)， 能見度預(yù)報(bào)的準(zhǔn)確與否決定著各大宗干散貨、集裝箱、滾裝運(yùn)輸在長江中下游的航運(yùn)安全。

　　1、能見度預(yù)測精度低

　　在能見度預(yù)測方面，氣象局之前主要使用數(shù)值預(yù)報(bào)的方法進(jìn)行預(yù)測，其精度還有很大的提升空間，因此希望借助于機(jī)器學(xué)習(xí)的算法，來對誤差進(jìn)行修正，整體提高能見度預(yù)測精度，以便做好預(yù)警，避免惡劣天氣下的人員傷亡和財(cái)產(chǎn)損失。預(yù)測對象為未來72h內(nèi)的逐小時(shí)能見度，預(yù)測頻率為每小時(shí)預(yù)報(bào)一次，數(shù)據(jù)更新頻率為每天。

　　2、缺乏可視化呈現(xiàn)

　　為方便公眾用戶、決策用戶和行業(yè)用戶快速了解72h內(nèi)的逐小時(shí)能見度，長江中下游流域能見度預(yù)報(bào)預(yù)警和監(jiān)測平臺的可視化功能亟待開發(fā)，在計(jì)算得出能見度預(yù)測數(shù)據(jù)后，自動形成可視化地圖，以便用戶快速響應(yīng)做出決策。

　　解決方案

　　上海市氣象局的此次項(xiàng)目旨在建立長江中下游流域能見度預(yù)報(bào)預(yù)警和監(jiān)測平臺，實(shí)現(xiàn)預(yù)報(bào)、產(chǎn)品可視化以及評估檢驗(yàn)功能。

　　整體的數(shù)據(jù)架構(gòu)主要分為三個(gè)層次，第一層是運(yùn)行環(huán)境，包含氣象局自建的應(yīng)用服務(wù)器及操作系統(tǒng);第二層是數(shù)據(jù)存儲層，存儲氣象和數(shù)值預(yù)報(bào)相關(guān)的數(shù)據(jù);第三層是業(yè)務(wù)應(yīng)用層，包括預(yù)報(bào)產(chǎn)品的綜合顯示、相關(guān)預(yù)報(bào)效果的檢驗(yàn)等。

　　能見度預(yù)測模型架構(gòu)如下。

　　實(shí)施成效

　　1、氣象數(shù)據(jù)質(zhì)量控制

　　數(shù)據(jù)質(zhì)量控制的流程是指對收集到的濕度、溫度、氣壓、降水、風(fēng)速、風(fēng)向、地表污染物、時(shí)間及空間數(shù)據(jù)進(jìn)行一體化的數(shù)據(jù)處理，將數(shù)據(jù)格式轉(zhuǎn)換形成歸一化的數(shù)據(jù)。之后進(jìn)行自動標(biāo)識，檢測數(shù)據(jù)是否有效，保留有效數(shù)據(jù)，剔除無效數(shù)據(jù)。數(shù)據(jù)質(zhì)量控制流程通過前期的數(shù)據(jù)清洗核查，大幅提高了進(jìn)入模型的數(shù)據(jù)質(zhì)量以及能見度的預(yù)測精度。

　　2、單個(gè)站點(diǎn)個(gè)性建模

　　由于長江流域的某些站點(diǎn)之間距離較遠(yuǎn)，并且所處的地理位置、氣候環(huán)境、社會環(huán)境、生產(chǎn)環(huán)境均有非常大的差異，而這些差異難以在有限的數(shù)據(jù)中體現(xiàn)。因此為了降低站點(diǎn)之間的數(shù)據(jù)干擾，保證預(yù)測精度，分別對單個(gè)站點(diǎn)進(jìn)行單獨(dú)建模，降低不可控?cái)?shù)據(jù)的干擾。整個(gè)系統(tǒng)的建模數(shù)為兩百多個(gè)，模型更新頻率為每天一次。

　　3、數(shù)值預(yù)報(bào)誤差補(bǔ)全

　　氣象局先前使用的預(yù)測方法為數(shù)值預(yù)報(bào)，即用大量的數(shù)據(jù)方程描述整個(gè)大氣運(yùn)動的動態(tài)，再用大型計(jì)算機(jī)對方程進(jìn)行計(jì)算。這些方程的假設(shè)比較多，需要簡化后機(jī)器才能算，如果簡化太多，則方程無法完全描述大氣特征，因此會在確保能夠描述大氣特征的前提下適當(dāng)簡化方程。在簡化方程之后，必然會產(chǎn)生一些誤差，需要借助機(jī)器學(xué)習(xí)的算法填補(bǔ)數(shù)值預(yù)報(bào)的誤差缺陷，提升氣象能見度預(yù)報(bào)的精度。

　　算法方面，使用二分類模型、XGboost和lightGBM模型進(jìn)行多模型融合預(yù)測，由于每個(gè)氣象站每小時(shí)都會監(jiān)測到準(zhǔn)確的氣象實(shí)時(shí)數(shù)據(jù)，因此為機(jī)器學(xué)習(xí)模型不斷地注入新的訓(xùn)練集。經(jīng)機(jī)器學(xué)習(xí)的優(yōu)化后的能見度預(yù)測模型，對長江中下游流域的城市，如：江蘇、安徽、浙江、湖北、湖南、江西、上海等，大部分城市的能見度預(yù)測誤差和相關(guān)系數(shù)都有9%~67%的顯著提升。

　　4、能見度可視化呈現(xiàn)

　　經(jīng)過機(jī)器學(xué)習(xí)算法預(yù)測的每個(gè)氣象站的能見度數(shù)值，以深淺不一的顏色顯示在地圖上，綠色表示能見度較好，深色表示能見度較差，刷新頻率為每小時(shí)。用戶可選擇“實(shí)時(shí)”或“預(yù)報(bào)”功能，查看實(shí)時(shí)的能見度或未來72h內(nèi)的每小時(shí)能見度預(yù)報(bào)。

　　星環(huán)憑借大數(shù)據(jù)和機(jī)器學(xué)習(xí)技術(shù)助力氣象局搭建長江中下游流域能見度預(yù)報(bào)預(yù)警和監(jiān)測平臺，昭示了上海市氣象局向人工智能、智慧氣象方向的成功轉(zhuǎn)型，平臺實(shí)現(xiàn)能見度的自動建模、參數(shù)調(diào)優(yōu)和模型優(yōu)化，提升預(yù)測精度，并借助可視化模塊連接公眾用戶、決策用戶和行業(yè)用戶，加強(qiáng)了信息的互通共享，為“黃金水道”的安全航運(yùn)保駕護(hù)航。