大數(shù)據(jù)應(yīng)用到日常生活、學(xué)習(xí)和工作中，往往不是以“大數(shù)據(jù)產(chǎn)品”自居的，普通人能夠使用到的大數(shù)據(jù)，已經(jīng)是大數(shù)據(jù)加上業(yè)務(wù)場景的產(chǎn)品化應(yīng)用和服務(wù)了。比如，百度搜索引擎、高德地圖其實(shí)就是基于大數(shù)據(jù)和業(yè)務(wù)場景產(chǎn)生的大數(shù)據(jù)產(chǎn)品化應(yīng)用。

   大數(shù)據(jù)盤點(diǎn)：產(chǎn)生因素 關(guān)注人群 應(yīng)用探索

　　一、為什么會產(chǎn)生大數(shù)據(jù)？

　　為什么會產(chǎn)生大數(shù)據(jù)呢？大數(shù)據(jù)之前難道我們都處于“暗黑時代”？

　　如果你去搜索“為什么會產(chǎn)生大數(shù)據(jù)？”這個問題，專家、學(xué)者都會給出不同的答案。面對大量的答案，大眾該如何去理解？所以我用最簡單的方式進(jìn)行了一個歸納，我認(rèn)為，產(chǎn)生大數(shù)據(jù)最大的三個因素是“計(jì)算”，“存儲”和“智慧”，下面逐一來講解。

　　產(chǎn)生大數(shù)據(jù)的第一個因素：存儲成本的下降

　　在云計(jì)算出現(xiàn)之前，數(shù)據(jù)存儲的成本是非常高的。比如說，我之前供職的是客戶端網(wǎng)絡(luò)游戲公司，那時候游戲每次要開新服，都需要去購置和部署新的服務(wù)器，還需要安排幾個人去維護(hù)服務(wù)器的安全，保證數(shù)據(jù)存儲的安全性和數(shù)據(jù)傳輸?shù)臅惩ㄐ浴６遥瑱C(jī)房還會定期進(jìn)行數(shù)據(jù)清理，把部分歷史數(shù)據(jù)清理出去，以便存儲新的數(shù)據(jù)。在那個時代里，互聯(lián)網(wǎng)公司各自為政，機(jī)房部署的人力和管理都是非常高的。

　　云計(jì)算出現(xiàn)后，數(shù)據(jù)存儲服務(wù)衍生出了新的商業(yè)模式，集中建設(shè)數(shù)據(jù)中心大大的降低了單位計(jì)算和存儲成本，比如說36大數(shù)據(jù)，我們要建設(shè)網(wǎng)站，現(xiàn)在根本不用去買服務(wù)器硬件，也不需要在雇傭人員來管理，使用阿里云的全套服務(wù)就解決了我們的問題。而且存儲成本的下降，也改變了大家對數(shù)據(jù)的看法，因?yàn)榇鎯Τ杀静桓撸晕覀冊敢獍?個月、6個月甚至更久遠(yuǎn)的歷史數(shù)據(jù)保存下來，有了歷史數(shù)據(jù)的沉淀，才會想著如何把這些數(shù)據(jù)利用起來，通過不同時間的對比，來發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)和價(jià)值。

　　存儲成本的下降，為大數(shù)據(jù)搭建好了最好的基礎(chǔ)設(shè)施。

　　產(chǎn)生大數(shù)據(jù)的第二個因素：運(yùn)行、計(jì)算速度越來越快

　　這一點(diǎn)可能從98年開始上網(wǎng)的朋友就能明顯的感覺到。隨著互聯(lián)網(wǎng)的普及及網(wǎng)絡(luò)技術(shù)的發(fā)展，加上硬件性價(jià)比的提高以及軟件技術(shù)的進(jìn)步，數(shù)據(jù)的運(yùn)行、計(jì)算速度越來越快。98年你要傳個10MB的文件給我，可能需要一天，放到現(xiàn)在，可能也就是幾分鐘的事情。分布式系統(tǒng)基礎(chǔ)架構(gòu)Hadoop的出現(xiàn)，為大數(shù)據(jù)帶來了新的曙光。HDFS為海量的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了并行計(jì)算，從而大大提高了計(jì)算效率。現(xiàn)在還有在計(jì)算方面比Hadoop更快的框架Spark、Storm等等。

　　海量數(shù)據(jù)從原始數(shù)據(jù)源到產(chǎn)生價(jià)值，期間會經(jīng)過存儲、清洗、挖掘、分析等多個環(huán)節(jié)，如果計(jì)算速度不夠快，那么很多事情是無法實(shí)現(xiàn)的。所以，在大數(shù)據(jù)的發(fā)展過程中，計(jì)算速度是非常關(guān)鍵的因素。

　　產(chǎn)生大數(shù)據(jù)的第三個因素：智慧，我們渴望解放腦勞動力

　　18世紀(jì)-19世紀(jì)，第一次工業(yè)革命開創(chuàng)了以機(jī)器代替手工勞動的時代，從而解放了部分勞動力。

　　19世紀(jì)七十年代，電力的發(fā)明和廣泛應(yīng)用，從而進(jìn)入第二次工業(yè)革命，推動人類進(jìn)入了電氣時代。電氣時代的最大影響就是增強(qiáng)了人們的生產(chǎn)能力，使交通更加便利快捷，進(jìn)而改變了人們的生活方式。

　　那么在21世紀(jì)，我們最渴望的是什么？我們渴望解放腦勞動力，實(shí)現(xiàn)信息對等，讓機(jī)器擁有人的智慧。

　　大數(shù)據(jù)帶來的最大價(jià)值就是“智慧”。今天我們能看到的AlphaGo圍棋人工智能程序戰(zhàn)勝李世石，阿里云小Ai成功預(yù)測出《我是歌手》總決賽歌王，iPhone上智能化語音機(jī)器人Siri、微博上大家常年調(diào)戲的微軟小冰等等，背后都是由海量數(shù)據(jù)來進(jìn)行支撐的。換句話說，大數(shù)據(jù)讓機(jī)器變得有智慧，大數(shù)據(jù)為機(jī)器灌輸了人類的潛意識，大數(shù)據(jù)是變形金剛的Matrix和Cube。

　　所以，存儲成本的下降，計(jì)算速度的提高和我們對智慧的渴望，是產(chǎn)生大數(shù)據(jù)的三個重要因素。

　　二、誰在關(guān)注大數(shù)據(jù)？

　　大數(shù)據(jù)的其中功能之一就是可以進(jìn)行用戶畫像，我們完全可以用用戶畫像來畫出大數(shù)據(jù)的關(guān)注人群圖譜。

　　下面是根據(jù)百度指數(shù)、微博微指數(shù)、36大數(shù)據(jù)3年來沉淀的用戶做得一個簡單畫像。

　　事實(shí)上，在關(guān)注大數(shù)據(jù)的人群中，有62%的人群為年齡30-49歲、本科以上學(xué)歷的傳統(tǒng)行業(yè)人員，他們來自房產(chǎn)、生活服務(wù)、建材家居、商務(wù)服務(wù)、金融財(cái)經(jīng)、旅游酒店、餐飲美食、教育培訓(xùn)、醫(yī)療健康、大眾消費(fèi)、航天、政府公共服務(wù)等多個領(lǐng)域；

　　關(guān)注大數(shù)據(jù)的人群中，25%的用戶為年齡20-29、大專以上學(xué)歷、IT科技、互聯(lián)網(wǎng)相關(guān)從業(yè)者；

　　9%的用戶為垂直數(shù)據(jù)行業(yè)從業(yè)人員，這群人最大的標(biāo)簽是高文憑、高技術(shù)、高收入、宅、技術(shù)控、少社交、不愛傳播，理性、理工男。

　　剩下還有4%是19歲以下，50歲以上這一部分人群。他們絕大部分是通過新聞宣傳后，懷著對大數(shù)據(jù)的好奇心才來關(guān)注的。

　　所以，基于大數(shù)據(jù)關(guān)注人群的畫像，可以更好的指導(dǎo)大數(shù)據(jù)未來的發(fā)展方向。我認(rèn)為大數(shù)據(jù)未來要實(shí)現(xiàn)爆發(fā)式的增長，擁抱傳統(tǒng)行業(yè)，滲透人們生活是必經(jīng)之路。

　　三、大數(shù)據(jù)如何惠及大眾？

　　大數(shù)據(jù)近年來是被炒得有些過頭了，但不代表它是一個“炒作詞”。大數(shù)據(jù)的背后，的確有著實(shí)實(shí)在在的數(shù)據(jù)，實(shí)實(shí)在在的技術(shù)和是實(shí)實(shí)在在的應(yīng)用。大數(shù)據(jù)確實(shí)能夠產(chǎn)生商業(yè)價(jià)值。

　　下面基于我個人對大數(shù)據(jù)的理解畫出的一個示意圖。

　　對于大數(shù)據(jù)企業(yè)來說，大數(shù)據(jù)涵蓋了公司內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)兩大方面。

　　公司內(nèi)部數(shù)據(jù)包括：

　　1、公司使用BI、CRM系統(tǒng)、ERP系統(tǒng)、郵件系統(tǒng)等產(chǎn)生的數(shù)據(jù)；

　　2、財(cái)務(wù)數(shù)據(jù)。其中包括公司的支出、采購、收入等多項(xiàng)與公司日常運(yùn)作有關(guān)的數(shù)據(jù)；

　　3、注冊用戶數(shù)據(jù)。無論是網(wǎng)站、APP還是游戲，用戶注冊都會填寫郵箱、電話、身份證號碼等數(shù)據(jù)，這些數(shù)據(jù)其實(shí)非常有價(jià)值，此外還要加上用戶使用公司產(chǎn)品留下的行為數(shù)據(jù)。

　　4、歷史數(shù)據(jù)。公司沉淀下來的其他各種數(shù)據(jù)，這些數(shù)據(jù)一定要整合起來。

　　外部數(shù)據(jù)包括：

　　1、社交網(wǎng)站數(shù)據(jù)。包括微信、微博、人人網(wǎng)、Twitter、Facebook、LinkedIn等社交媒體上的數(shù)據(jù)。社交數(shù)據(jù)部分是可以爬取的，另外一部分是需要運(yùn)營方授權(quán)的。

　　2、線下采集數(shù)據(jù)。這一塊目前做的公司比較少，但同時也比較有價(jià)值，比如說Wifi熱點(diǎn)數(shù)據(jù)、地圖數(shù)據(jù)等；

　　3、政府開放數(shù)據(jù)。目前在中國，已有多個省市不同程度的開放了部分?jǐn)?shù)據(jù)，如果你想要找的話，可到相關(guān)政府網(wǎng)站下載。

　　4、智能設(shè)備、傳感器數(shù)據(jù)。最典型的案例就是智能手機(jī)了，我們使用手機(jī)留下的行為數(shù)據(jù)，傳感器數(shù)據(jù)，都可以整合到外部數(shù)據(jù)中來。你知道嗎？一部智能手機(jī)，至少擁有8個傳感設(shè)備。

　　5、網(wǎng)絡(luò)可爬回的數(shù)據(jù)。除了文字之外，視頻和圖片也是可以爬回來的。視頻和圖片其實(shí)也是數(shù)據(jù)，而且是非結(jié)構(gòu)化數(shù)據(jù)。

　　6、交易數(shù)據(jù)。這一塊就比較難的，比如說商家流水?dāng)?shù)據(jù)、支付寶交易數(shù)據(jù)、信用卡消費(fèi)數(shù)據(jù)等等，目前這一部分?jǐn)?shù)據(jù)是最難獲取的。

　　7、數(shù)據(jù)接口API數(shù)據(jù)。這個就不做細(xì)說了，據(jù)我所知，微博開放了商業(yè)數(shù)據(jù)API，騰訊開放了騰訊云分析SDK上報(bào)的應(yīng)用數(shù)據(jù)，高德地圖開放了LBS數(shù)據(jù)等等。如果你想找更多的數(shù)據(jù)API，我推薦你去數(shù)據(jù)堂、聚合數(shù)據(jù)這兩家網(wǎng)站上看一下，上面有大量的API接口。

　　8、其他。其他范圍就更大了，天氣數(shù)據(jù)、交通數(shù)據(jù)、人口流動數(shù)據(jù)、位置數(shù)據(jù)等等。我們可以整合的外部數(shù)據(jù)種類很多很多。

　　整合完公司內(nèi)部外部數(shù)據(jù)進(jìn)行大數(shù)據(jù)存儲，然后通過清洗，標(biāo)注、去重、去噪、關(guān)聯(lián)等過程可以將數(shù)據(jù)進(jìn)行結(jié)構(gòu)化，也可以進(jìn)行大數(shù)據(jù)挖掘和數(shù)據(jù)分析，再以數(shù)據(jù)可視化呈現(xiàn)結(jié)果，打通數(shù)據(jù)孤島形成數(shù)據(jù)閉環(huán)，將數(shù)據(jù)轉(zhuǎn)換成“石油”和“生產(chǎn)資料”，最后應(yīng)用到我們?nèi)粘５纳睢W(xué)習(xí)和工作中去。

　　當(dāng)然，大數(shù)據(jù)應(yīng)用到日常生活、學(xué)習(xí)和工作中，往往不是以“大數(shù)據(jù)產(chǎn)品”自居的，普通人能夠使用到的大數(shù)據(jù)，已經(jīng)是大數(shù)據(jù)加上業(yè)務(wù)場景的產(chǎn)品化應(yīng)用和服務(wù)了。比如，百度搜索引擎、高德地圖其實(shí)就是基于大數(shù)據(jù)和業(yè)務(wù)場景產(chǎn)生的大數(shù)據(jù)產(chǎn)品化應(yīng)用。