一， 海量數(shù)據(jù)的運(yùn)營壓力

　　無疑，無線互聯(lián)網(wǎng)終于迎來了屬于自己的春天：無線互聯(lián)網(wǎng)各種產(chǎn)品如雨后春筍般涌現(xiàn)，以手機(jī)QQ為代表的無線互聯(lián)網(wǎng)產(chǎn)品迅猛發(fā)展；同時(shí)，無線網(wǎng)民數(shù)也出現(xiàn)激增，據(jù)粗略估計(jì)，國內(nèi)無線網(wǎng)民數(shù)已達(dá)3.5億。隨之而來的，是服務(wù)于不同產(chǎn)品的運(yùn)營分析壓力和運(yùn)營數(shù)據(jù)的暴發(fā)式增長。目前，無線BU日處理運(yùn)營數(shù)據(jù)達(dá)10T，且涉及不同產(chǎn)品多維度復(fù)雜指標(biāo)的分析運(yùn)算，已經(jīng)成為一頭當(dāng)之無愧的大象。如何讓大象也能翩翩起舞，以最小的開發(fā)代價(jià)，實(shí)時(shí)準(zhǔn)確地輸出多維度的運(yùn)營數(shù)據(jù)，是無線BU數(shù)據(jù)平臺(tái)組需要解決的重要課題。

　　于是，以一頁式快速配置開發(fā)為基礎(chǔ)特點(diǎn)的海量數(shù)據(jù)云計(jì)算平臺(tái)就應(yīng)運(yùn)而生了。該平臺(tái)可覆蓋80%以上的統(tǒng)計(jì)指標(biāo)，充分結(jié)合靈活性和通用性，最大程度為數(shù)據(jù)分析人員提高開發(fā)效率的同時(shí)，完成海量數(shù)據(jù)的分鐘級(jí)輸出。

二， 云計(jì)算平臺(tái)的創(chuàng)新歷程

 

圖表 1

　　如表一所示為業(yè)界通用的統(tǒng)計(jì)分布式解決方案。統(tǒng)計(jì)處理機(jī)到各業(yè)務(wù)機(jī)拖取日志，單獨(dú)編寫統(tǒng)計(jì)代碼處理原始日志和數(shù)據(jù)，將統(tǒng)計(jì)結(jié)果注入數(shù)據(jù)庫并展示。

　　優(yōu)點(diǎn)：有利于完成定制化開發(fā)

　　缺點(diǎn)：通過編寫特定代碼完成統(tǒng)計(jì)開發(fā)的方式造成統(tǒng)計(jì)開發(fā)效率的低下、代碼質(zhì)量難以保證。

　　在無線數(shù)據(jù)暴發(fā)式增長的情況下，這樣的技術(shù)架構(gòu)已經(jīng)難以支撐更高層次的運(yùn)營分析。如何歸納提煉出通用性統(tǒng)計(jì)指標(biāo)，復(fù)用代碼，做到一次開發(fā)，多次利用，迅速快捷獲得統(tǒng)計(jì)指標(biāo)呢？模板化可配置的分布式運(yùn)算平臺(tái)成為必然之路。因此，云計(jì)算平臺(tái)應(yīng)運(yùn)而生。

 

圖表 2

　　如圖表2所示，云計(jì)算平臺(tái)采集用戶通過配置頁面填入的自定義信息，將其轉(zhuǎn)變?yōu)閤ml文件，結(jié)合mapReduce計(jì)算模板，采用hadoop分布式運(yùn)算技術(shù)，完成海量數(shù)據(jù)的可配置輸出。其特點(diǎn)有：

　　√ 一頁式配置開發(fā)，提升數(shù)據(jù)分析效率

 

圖表 3

　　如圖表3所示，經(jīng)過簡單的配置，即可自動(dòng)在數(shù)據(jù)庫中生成相應(yīng)計(jì)算結(jié)果。省去了煩瑣的腳本編寫過程。

　　以某產(chǎn)品的基礎(chǔ)統(tǒng)計(jì)為例，神馬采集、日志db配置，各種復(fù)雜計(jì)算邏輯、sql，原有代碼為6千多行，至少需要2周左右的時(shí)間才能編寫完畢，給開發(fā)和維護(hù)都帶來嚴(yán)重的負(fù)擔(dān)。而通過如圖表3的配置，可全程通過配置實(shí)現(xiàn)零編碼統(tǒng)計(jì)需求。開發(fā)人員實(shí)現(xiàn)登錄用戶數(shù)/登錄次數(shù)/累計(jì)用戶/新增用戶/留存用戶/活躍用戶/有效用戶，開發(fā)時(shí)間僅為30分鐘左右，極大減輕開發(fā)人員的負(fù)擔(dān)。

　　√ 統(tǒng)計(jì)指標(biāo)覆蓋面廣、擴(kuò)展性強(qiáng)

 

圖表 4

　　如圖表4所示，云計(jì)算平臺(tái)涵蓋從常規(guī)指標(biāo)、歷史累計(jì)指標(biāo)到用戶健康度、用戶分析類等不同層次的各種統(tǒng)計(jì)指標(biāo)，已形成可不斷擴(kuò)充的統(tǒng)計(jì)指標(biāo)體系。同時(shí)，統(tǒng)計(jì)維度還支持普通維度、cube/custom/rollup等復(fù)雜維度組合形式。

　　云計(jì)算平臺(tái)的統(tǒng)計(jì)指標(biāo)覆蓋率可達(dá)80%以上。

　　√ 可維護(hù)性高

　　有BUG！影響了指標(biāo)輸出！趕緊查問題吧！”這是統(tǒng)計(jì)分析人員經(jīng)常碰到的場景。而現(xiàn)在有了云計(jì)算平臺(tái)，一切變得不一樣了！配置化的設(shè)計(jì)最大程度保證了代碼質(zhì)量，降低了人為編寫代碼的出錯(cuò)機(jī)率。有疑惑，檢查一下自己的配置，至少95%的錯(cuò)誤就可得到解決！

　　√ 支持任意維度的組合計(jì)算

　　對任意維度（QQ號(hào)碼、IMEI、IP）等可任意組合計(jì)算，得到統(tǒng)計(jì)結(jié)果。以下統(tǒng)計(jì)指標(biāo)，可以通過一次配置全部完成。（注：以下數(shù)值均為虛構(gòu)）

 

圖表 5

　　√ 中間用戶級(jí)匯聚文件接口自動(dòng)對接應(yīng)用系統(tǒng)

　　做數(shù)據(jù)分析時(shí)，我們可能會(huì)碰到這樣的場景：計(jì)算出這個(gè)月的活躍用戶數(shù)，并且將用戶文件輸出，以用作發(fā)tips推廣用。在云計(jì)算平臺(tái)，這一切都可通過以上的配置實(shí)現(xiàn)，不需要多次開發(fā)。且所有中間文件直接通過TDW，對接TA等公司級(jí)應(yīng)用系統(tǒng)，可供下一步的分析處理用。

　　√ 分布式并行計(jì)算，支撐海量數(shù)據(jù)的高效處理，統(tǒng)計(jì)結(jié)果可達(dá)分鐘級(jí)輸出

　　由多臺(tái)處理機(jī)并行處理，可支持線性擴(kuò)容，海量日志時(shí)的運(yùn)行速度不再是瓶頸！

 

圖表 6

　　如圖表6所示，在云計(jì)算平臺(tái)強(qiáng)有力的支撐下，每天T級(jí)(300億條記錄)的海量日志也可做到分鐘級(jí)的輸出?。ㄗⅲ阂陨蠑?shù)值均為虛構(gòu)）


　　小結(jié)：云計(jì)算平臺(tái)通過高度抽像歸納業(yè)務(wù)邏輯進(jìn)行封裝，形成通用計(jì)算模板，讓開發(fā)人員釋放出來做更有意義的統(tǒng)計(jì)分析，同時(shí)通過計(jì)算資源透明與共享，提高系統(tǒng)運(yùn)算能力和可靠性，成為居家旅行殺人放火之必備良器。

三， 云計(jì)算平臺(tái)與運(yùn)營平臺(tái)的緊密結(jié)合 

　　試想一下，我們做運(yùn)營活動(dòng)時(shí)，總希望能夠快速知道用戶對活動(dòng)的反應(yīng)情況，以便迅速調(diào)整運(yùn)營方案，達(dá)到最佳的運(yùn)營效果。

　　在某產(chǎn)品的運(yùn)營活動(dòng)中，產(chǎn)品人員想向用戶下發(fā)tips,以達(dá)到語音聊天的推廣目的。但在推廣過程中，產(chǎn)品人員有自己的困惑：在tips的接收人群中，有多少用戶受到了騷擾，有多少用戶有意愿使用語音聊天？我們的推廣策略是否需要進(jìn)一步調(diào)整？不用擔(dān)心，有云計(jì)算平臺(tái)迅速為我們得到分析結(jié)果！

　　經(jīng)過簡單的配置（耗時(shí)約20分鐘），即可得到如下的分析數(shù)據(jù)：

 

　　騷擾！嚴(yán)重的騷擾！于是產(chǎn)品人員立刻改變運(yùn)營方式，改粗放式運(yùn)營為精準(zhǔn)運(yùn)營，只針對特定版本的活躍用戶進(jìn)行投放，被騷擾的用戶比例立刻下降至2%!運(yùn)營活動(dòng)獲得圓滿成功

　　每天近10T的數(shù)據(jù)被運(yùn)營人員握在手心，隨時(shí)掌握第一手運(yùn)營數(shù)據(jù)，還有什么不可能呢？

　　誰說大象不能跳舞？

---