速來報(bào)名！戴爾科技PRAVEGA創(chuàng)客大賽圓你創(chuàng)新夢

 

　　​一個(gè)窨井蓋壞了

　　多久能被工作人員發(fā)現(xiàn)?

　　在上海浦東

　　只需要幾分鐘

　　這離不開物聯(lián)網(wǎng)設(shè)備提供的

　　實(shí)時(shí)數(shù)據(jù)支持

　　IDC預(yù)測到2025年

　　全球物聯(lián)網(wǎng)設(shè)備數(shù)量

　　將達(dá)到416億臺

　　如何存儲、利用這些

　　實(shí)時(shí)產(chǎn)生的流數(shù)據(jù)

　　成為一個(gè)亟待解決的問題

　　美劇《上載新生》大開“腦洞”，對未來數(shù)字化生活“狠狠”進(jìn)行了一番暢想，人工智能提醒你買菠菜補(bǔ)鐵，虛擬交警借助無人機(jī)飛到違章車主面前罰款……如果將邁向新階段的數(shù)字化生活比作向目的地高速行駛的汽車，那么數(shù)據(jù)就是提供源動(dòng)力的燃料。

　　如今，“燃料”的供應(yīng)來源正在擴(kuò)大。數(shù)據(jù)的創(chuàng)建、使用和存儲位置不再局限于傳統(tǒng)的數(shù)據(jù)中心，也不再僅限于云端。數(shù)據(jù)源源不斷地從各種來源和位置流式傳輸而來，包括通過無線和移動(dòng)方式傳送的數(shù)據(jù)。

　　隨著邊緣的數(shù)據(jù)量呈指數(shù)級增長，如同水龍頭里的水，流數(shù)據(jù)嘩嘩地流出，5G網(wǎng)絡(luò)的興起，更是為流數(shù)據(jù)打開了流量“閥門”。容器云、高性能存儲硬件水平的不斷提高，讓實(shí)時(shí)流處理擁有越來越廣泛的市場前景。

　　流數(shù)據(jù)，簡言之，是指沒有明確定義開始或結(jié)束的連續(xù)數(shù)據(jù)流。比如，我們看的“下飯”綜藝屬于視頻流、上下班聽的音樂屬于音頻流。流數(shù)據(jù)的來源包括日常生活中的移動(dòng)應(yīng)用程序、安全攝像頭、無人機(jī)等邊緣設(shè)備。

　　這些來源豐富的流數(shù)據(jù)呈現(xiàn)出以下特點(diǎn)：

　　1

　　數(shù)據(jù)實(shí)時(shí)到達(dá);

　　2

　　數(shù)據(jù)規(guī)模宏大且不能預(yù)知其最大值;

　　3

　　數(shù)據(jù)到達(dá)次序獨(dú)立，不受應(yīng)用系統(tǒng)所控制;

　　4

　　數(shù)據(jù)一經(jīng)處理，除非特意保存，否則不能被再次取出處理，或者再次提取數(shù)據(jù)代價(jià)昂貴。

　　流數(shù)據(jù)的這些特點(diǎn)，令企業(yè)開始重新審視應(yīng)用程序以及基礎(chǔ)架構(gòu)的部署。加之，數(shù)字化時(shí)代，用戶需要沉浸式、實(shí)時(shí)的數(shù)字體驗(yàn)和互動(dòng)，流數(shù)據(jù)處理解決方案面臨著諸多需求。

　　一方面，傳統(tǒng)的批處理數(shù)據(jù)引擎已經(jīng)完全無法滿足現(xiàn)代企業(yè)對實(shí)時(shí)性的要求;另一方面，現(xiàn)有的流數(shù)據(jù)系統(tǒng)大都基于消息模型，例如Kafka、Spark等，這些系統(tǒng)從本質(zhì)上看，僅僅只是一些高速消息系統(tǒng)，因此很難適應(yīng)當(dāng)今物聯(lián)網(wǎng)趨勢下的各種復(fù)雜數(shù)據(jù)處理需求。

　　為了滿足層出不窮的實(shí)時(shí)應(yīng)用場景，同時(shí)降低大數(shù)據(jù)應(yīng)用平臺的投入，戴爾易安信流數(shù)據(jù)處理平臺（Streaming Data Platform,SDP）應(yīng)運(yùn)而生。作為一個(gè)可彈性擴(kuò)展的平臺，SDP用于實(shí)時(shí)獲取、存儲和分析連續(xù)的流數(shù)據(jù)，可在同一個(gè)應(yīng)用程序中同時(shí)處理實(shí)時(shí)和收集的歷史數(shù)據(jù)。

　　該平臺可以從各種來源捕獲和存儲流數(shù)據(jù)，這些來源包括物聯(lián)網(wǎng)設(shè)備、網(wǎng)絡(luò)日志、工業(yè)自動(dòng)化、財(cái)務(wù)數(shù)據(jù)、實(shí)時(shí)視頻、社交媒體源、應(yīng)用程序和事件流。SDP能夠處理來自多個(gè)來源的數(shù)百萬個(gè)數(shù)據(jù)流，并確保低延遲和高可用性。

　　在今年的戴爾科技集團(tuán)全球峰會，升級后的戴爾易安信流數(shù)據(jù)平臺全新亮相。新的SDP能夠在邊緣提供強(qiáng)大的實(shí)時(shí)分析能力。同時(shí)占用空間較小，非常適合在邊緣實(shí)時(shí)捕獲、存儲和分析流數(shù)據(jù)。

　　目前，戴爾易安信流數(shù)據(jù)平臺已經(jīng)在工業(yè)制造、建筑等行業(yè)得到實(shí)際應(yīng)用，為客戶業(yè)務(wù)提供預(yù)防性維護(hù)、檢測等服務(wù)，并參與到戴爾科技為中國賽艇隊(duì)、皮劃艇隊(duì)開發(fā)的綜合智能訓(xùn)練輔助系統(tǒng)中，提供邊緣流數(shù)據(jù)處理解決方案。

　　而SDP的成功落地離不開其“得力干將”——流數(shù)據(jù)存儲引擎Pravega。

　　“Good Speed”是如何實(shí)現(xiàn)的

　　Pravega在梵語中意為“Good Speed”，其設(shè)計(jì)宗旨是成為流的實(shí)時(shí)存儲解決方案。作為平臺內(nèi)的自研開源組件，Pravega是戴爾易安信流數(shù)據(jù)平臺最基礎(chǔ)的組件，承擔(dān)著為所有其它組件提供流式數(shù)據(jù)存取服務(wù)的重任。

 

　　應(yīng)用程序?qū)��?shù)據(jù)持久化存儲到Pravega中，Pravega的Stream可以有無限制的數(shù)量并且持久化存儲任意長時(shí)間，使用同樣的Reader API提供尾讀(tail read)和追趕讀(catch-up read)功能，能夠有效滿足兩種處理方式的統(tǒng)一。

　　Kafka和Pulsar等消息中間件提供了非常適合當(dāng)今數(shù)據(jù)密集型應(yīng)用程序的現(xiàn)代Pub/Su基礎(chǔ)架構(gòu)。Pravega進(jìn)一步增強(qiáng)了這種流行的編程模型，提供了云原生流媒體基礎(chǔ)設(shè)施，并解決了令Kafka和Pulsar束手無策的架構(gòu)問題，如分區(qū)的自動(dòng)擴(kuò)展、如何為大量分區(qū)保持高性能。

 

　　▲Pravega架構(gòu)圖

　　Pravega采取了存儲分層的設(shè)計(jì)：

　　Tier 1存儲

　　Tier1的存儲通常部署在Pravega集群內(nèi)部，主要是提供對低延遲，短期的熱數(shù)據(jù)的存儲。在每個(gè)Segment Store結(jié)點(diǎn)都有Cache以加快數(shù)據(jù)讀取速率，Pravega使用Apache Bookeeper來保證低延遲的日志存儲服務(wù)。

　　Long-term存儲

　　Long-term的存儲通常部署在Pravega集群外部，主要是提供對流數(shù)據(jù)的長期存儲，即冷數(shù)據(jù)的存儲。不僅支持HDFS、NFS，還會支持企業(yè)級的存儲如戴爾易安信Isilon、ECS等產(chǎn)品。

　　存儲分層使Pravega在延遲與吞吐量之間達(dá)到了一個(gè)最佳狀態(tài)。這使得Pravega成為向?qū)崟r(shí)和批處理（分析）應(yīng)用程序提供數(shù)據(jù)的理想存儲基礎(chǔ)。并且，Pravega是以Kubernetes Operator來對集群各組件進(jìn)行有狀態(tài)的應(yīng)用部署，這可以使得應(yīng)用的彈性伸縮更為靈活方便。

　　Pravega解決了使用傳統(tǒng)消息隊(duì)列數(shù)據(jù)丟失問題和自動(dòng)伸縮難題，客戶可以借助其降低存儲和計(jì)算成本，減小運(yùn)維壓力，提高代碼開發(fā)效率。此前，Pravega還聯(lián)合TiDB構(gòu)建了實(shí)時(shí)數(shù)據(jù)倉方案，提高了實(shí)時(shí)數(shù)倉系統(tǒng)的并行性，可用性與安全性。

　　豐富的應(yīng)用場景，令Pravega擁有廣闊的空間大施拳腳。下面我們跟隨戴爾易安信流數(shù)據(jù)平臺產(chǎn)品營銷經(jīng)理Amy Tenanes的介紹，一起來了解下它是如何為企業(yè)降低運(yùn)營成本、提供實(shí)時(shí)洞察力和流程優(yōu)化的。

　　Pravega的典型應(yīng)用場景

　　游樂園設(shè)施的預(yù)防性維護(hù)

　　通過使用Pravega，客戶可以從游樂園過山車沿線的數(shù)千個(gè)傳感器中，獲取實(shí)時(shí)流數(shù)據(jù)。這些數(shù)據(jù)可用于識別關(guān)鍵點(diǎn)，比如過山車上軌道上有多少輛車，這些車在某一點(diǎn)經(jīng)過時(shí)傳感器每秒經(jīng)歷多少次振動(dòng)。

　　假設(shè)一個(gè)正常的振動(dòng)讀數(shù)是每秒3000次，當(dāng)振動(dòng)讀數(shù)過高時(shí)，Pravega可以提醒維護(hù)技術(shù)人員某個(gè)特定的游樂設(shè)施需要維護(hù)。同樣的數(shù)據(jù)可以在以后使用完全相同的工具進(jìn)行訪問，有助于客戶在更長的時(shí)間段內(nèi)進(jìn)行比較，總結(jié)出趨勢，以預(yù)測故障或確定維修需求。

　　不僅是過山車，汽車行業(yè)同樣也可以用到Pravega。它能夠?yàn)橛蜏�、輪胎壓力表等設(shè)置閾值，在輪胎漏氣、發(fā)動(dòng)機(jī)狀況不佳等問題進(jìn)一步惡化前，提醒客戶進(jìn)行預(yù)防性維護(hù)。

　　工業(yè)物聯(lián)網(wǎng)中的異常檢測

　　在制造業(yè)環(huán)境中，異常檢測對節(jié)省時(shí)間、資源和開支極為重要。借助安置在生產(chǎn)線上的物聯(lián)網(wǎng)傳感器和攝像頭，Pravega可以捕獲圖像和數(shù)據(jù)，比如傳送帶的速度和溫度。

　　攝像機(jī)圖像可以自動(dòng)發(fā)現(xiàn)不符合規(guī)格的零部件或產(chǎn)品，然后發(fā)出警報(bào)，提醒哪里存在異�，F(xiàn)象。利用來自傳感器的數(shù)據(jù)，客戶很容易發(fā)現(xiàn)機(jī)器的環(huán)境溫度是否太高、傳送帶的速度是否正常等。

　　此外，異常檢測還可用于制造業(yè)之外的許多行業(yè)。比如它可以用于金融業(yè)，檢測移動(dòng)支票存款中的異常情況;可以用于咖啡飲品行業(yè)，通過監(jiān)測數(shù)據(jù)對機(jī)器的預(yù)防性維護(hù)，并提供自動(dòng)重新訂購用品;還可以用于發(fā)電站，以發(fā)現(xiàn)水力發(fā)電設(shè)施的不足之處，其實(shí)際應(yīng)用非常廣闊。

　　建筑業(yè)中施工的準(zhǔn)確性和資源跟蹤

　　在建筑環(huán)境中，無人機(jī)將實(shí)時(shí)視頻和遙測數(shù)據(jù)流傳送到Pravega。通過其提供的建筑項(xiàng)目實(shí)時(shí)進(jìn)展情況，最新進(jìn)展報(bào)告可以將項(xiàng)目的數(shù)字效果圖與實(shí)際進(jìn)展情況進(jìn)行比較，確保施工的準(zhǔn)確性和規(guī)劃時(shí)間的適當(dāng)性。

　　同時(shí)，通過在地面建筑設(shè)備上安裝傳感器，Pravega可以實(shí)現(xiàn)物體檢測，并對設(shè)備、人員和材料進(jìn)行跟蹤，確保在多個(gè)項(xiàng)目中對每一部分的資源進(jìn)行最佳分配、利用。

　　“智能廚房”中的溫度控制

　　Pravega可與大型儲存冷柜中的數(shù)字溫度計(jì)一起使用，實(shí)時(shí)獲取流式溫度讀數(shù)，并在溫度超出范圍時(shí)發(fā)出警報(bào)。這可以防止冷藏食品在冷柜門沒關(guān)好的情況下變質(zhì)，從而讓食品獲得盡可能長的保質(zhì)期。

　　隨著自動(dòng)駕駛、股票交易等更多流數(shù)據(jù)應(yīng)用場景的興起，戴爾易安信流數(shù)據(jù)處理平臺將服務(wù)更多領(lǐng)域，Pravega的價(jià)值也會進(jìn)一步放大，“飛入”各行各業(yè)，幫助客戶加速數(shù)字化轉(zhuǎn)型。

　　各位少俠、俠女且留步

　　We want you！

　　與小伙伴合力闖蕩

　　流世界的機(jī)會來了

　　今天，實(shí)時(shí)流無處不在

　　而Pravega為流式計(jì)算

　　重新構(gòu)建了全新的存儲

　　想不想

　　全面了解Pravega的優(yōu)秀特性

　　與業(yè)界大牛來一場親密接觸

　　展示你和小伙伴

　　對于實(shí)時(shí)數(shù)據(jù)分析的奇思妙想

　　由戴爾科技集團(tuán)舉辦的

　　Pravega創(chuàng)客大賽

　　火熱報(bào)名中！

　　為你們提供快速實(shí)現(xiàn)想法的機(jī)會

　　iPhone12等豐厚獎(jiǎng)品已備好

　　讓更多志同道合的人

　　一起擁抱流的世界!

　　歡迎掃描下圖二維碼

　　或點(diǎn)擊文末報(bào)名參賽

 

　　除了Pravega創(chuàng)客大賽

　　2021戴爾科技峰會也將于

　　8月18日盛大開幕

　　為您呈現(xiàn)未來企業(yè)競爭力！

　　2021

　　戴爾科技峰會

　　“智匯·商業(yè)新磁場”

　　8月18日

　　上�？鐕�采購國展中心

　　誠邀您的蒞臨

 

　　相關(guān)內(nèi)容推薦：戴爾科技新一代邊緣服務(wù)器 | 最關(guān)鍵的五個(gè)要點(diǎn)

　　文章來自公眾號戴爾易安信解決方案