“把大象裝進(jìn)冰箱”，UCloud助力愛普新媒數(shù)據(jù)運(yùn)算提升21倍

　　導(dǎo)語(yǔ)：當(dāng)前，愛普新媒廣告數(shù)據(jù)規(guī)模太過龐大、賽過大象，如何把這頭大象“瘦身“裝進(jìn)“冰箱真正使用起來(lái)?UCloud數(shù)據(jù)湖分析方案幫助愛普新媒解決了眼下的難題。

　　“平均業(yè)務(wù)數(shù)據(jù)需求完成周期提升21倍， 從43.2小時(shí)縮短到2小時(shí)。”

　　“大數(shù)據(jù)工程師每月減少20個(gè)人日的⼯作量。”

　　“大數(shù)據(jù)基礎(chǔ)設(shè)施投入減少92.85%。”

　　張先生是一位大數(shù)據(jù)負(fù)責(zé)人，供職于北京愛普新媒體公司。這是一家專業(yè)從事廣告DSP(Demand-Side Platform，需求方平臺(tái))業(yè)務(wù)的公司，成立于2010年。隨著DSP廣告模式傳入中國(guó)成為熱潮，公司發(fā)展不錯(cuò)。

　　但張先生很快發(fā)現(xiàn)，廣告數(shù)據(jù)增長(zhǎng)的速度遠(yuǎn)遠(yuǎn)超乎預(yù)期，公司內(nèi)大數(shù)據(jù)工程師招聘目標(biāo)才完成一半，但數(shù)據(jù)量一下沖到數(shù)百T。手下幾個(gè)數(shù)據(jù)工程師不得不疲于奔命，幫助業(yè)務(wù)分析師運(yùn)行SQL任務(wù)，排除故障，但仍然收效甚微。隨著廣告項(xiàng)目的增長(zhǎng)，業(yè)務(wù)部門的數(shù)據(jù)分析師對(duì)大數(shù)據(jù)部門的抱怨也在不斷積累。

　　作為廣告服務(wù)商，數(shù)據(jù)統(tǒng)計(jì)就是公司的命脈，如果因廣告主自身數(shù)據(jù)管理而造成的廣告投放數(shù)據(jù)統(tǒng)計(jì)不準(zhǔn)，和第三方檢測(cè)機(jī)構(gòu)的數(shù)據(jù)對(duì)不上，后果不堪設(shè)想，廣告主甚至?xí)�拒絕結(jié)款。

　　正當(dāng)張先生焦頭爛額之際，UCloud向他推薦了數(shù)據(jù)湖分析方案。經(jīng)過初步的試用和數(shù)據(jù)驗(yàn)證之后，張先生決定把一小部分業(yè)務(wù)放在數(shù)據(jù)湖分析方案上處理，這才有了本文開頭的一幕。

　　廣告一半是科學(xué)，一半是藝術(shù)。這其中，以效果為主的DSP要看性價(jià)比和投資回報(bào)率，得算經(jīng)濟(jì)賬，可以說是相當(dāng)科學(xué)了。在張先生的心中就有這么一筆賬：

　　張先生的工作場(chǎng)景也是目前數(shù)量眾多的中小企業(yè)在面對(duì)大數(shù)據(jù)時(shí)遇到的困難。中小企業(yè)數(shù)據(jù)形成規(guī)模后，由于收入尚未跟上，所以面對(duì)動(dòng)輒每年數(shù)百萬(wàn)的大數(shù)據(jù)投入，往往只能望而卻步。

　　愛普新媒面臨的數(shù)據(jù)挑戰(zhàn)：

　　業(yè)務(wù)分析師說：

　　1. 數(shù)據(jù)規(guī)模太大， 自己不能獨(dú)立完成分析

　　2. 數(shù)據(jù)任務(wù)完成周期長(zhǎng)

　　3. 數(shù)據(jù)結(jié)果感覺不準(zhǔn)， 但又不能查看原始明細(xì)數(shù)據(jù)

　　數(shù)據(jù)部門說：

　　1. 業(yè)務(wù)臨時(shí)性數(shù)據(jù)需求多，占用部門有限的技術(shù)人力資源

　　2. 數(shù)據(jù)需求經(jīng)常需要返工

　　3. 數(shù)據(jù)規(guī)模增長(zhǎng)太快，數(shù)據(jù)倉(cāng)庫(kù)成本不斷增長(zhǎng)

　　愛普新媒擁有“云魔方”互聯(lián)網(wǎng)精準(zhǔn)營(yíng)銷平臺(tái)、“云速”企業(yè)移動(dòng)信息服務(wù)平臺(tái)和“云匯”互動(dòng)廣告平臺(tái)，廣告數(shù)據(jù)規(guī)模太過龐大、賽過大象，如何把這頭大象“瘦身“裝進(jìn)“冰箱真正使用起來(lái)這是愛普新媒迫切需要解決的問題。

　　Step1

　　打開冰箱門(傳輸數(shù)據(jù))

　　Ukafka(Kafka消息隊(duì)列)是一款專門用于處理流式數(shù)據(jù)的分布式消息產(chǎn)品。通過以創(chuàng)建集群的方式創(chuàng)建UKafka，能夠快速實(shí)現(xiàn)Kafka以及所依賴的服務(wù)的部署，為用戶提供快速部署、易于管理、彈性伸縮的流式數(shù)據(jù)處理系統(tǒng)，實(shí)現(xiàn)對(duì)大象的瘦身。

　　Step2

　　把大象裝進(jìn)冰箱(存儲(chǔ)數(shù)據(jù))

　　對(duì)象存儲(chǔ)(UFile)是為互聯(lián)網(wǎng)應(yīng)用提供非結(jié)構(gòu)化文件云存儲(chǔ)的服務(wù)，將瘦身后的大象(Ukafka)導(dǎo)入到對(duì)象存儲(chǔ)(UFile)。相對(duì)于傳統(tǒng)硬盤存儲(chǔ)，UFile云存儲(chǔ)具有存儲(chǔ)無(wú)上限、支持高并發(fā)訪問、成本更低等優(yōu)勢(shì);解決業(yè)務(wù)架構(gòu)的文件存儲(chǔ)問題，有效降低海量文件的存儲(chǔ)成本，支持熱點(diǎn)數(shù)據(jù)的高并發(fā)訪問，提升終端用戶訪問體驗(yàn)。

　　Step3

　　關(guān)上冰箱門(數(shù)據(jù)可視化)

　　數(shù)據(jù)湖分析(USQL)是一種可擴(kuò)展性強(qiáng)、成本低廉的無(wú)服務(wù)器SQL分析計(jì)算引擎，可輕松完成面向海量數(shù)據(jù)的數(shù)據(jù)建模工作，SQL即可完成數(shù)據(jù)查詢和分析，極大降低使用大數(shù)據(jù)的門檻，且無(wú)需數(shù)據(jù)庫(kù)管理員和運(yùn)維人員，大幅度減少對(duì)大數(shù)據(jù)工程師的依賴。對(duì)大象溯本求源，讓數(shù)據(jù)真正使用起來(lái)。

　　完整的數(shù)據(jù)湖分析方案遠(yuǎn)不止能將大象裝進(jìn)冰箱，還能讓大象跳起舞來(lái)。