????? 摘要：數(shù)據(jù)源可以看出越來(lái)越多應(yīng)用都涉及到大數(shù)據(jù)，而這些大數(shù)據(jù)的屬性，包括數(shù)量，速度，多樣性等等都是呈現(xiàn)了大數(shù)據(jù)不斷增長(zhǎng)的復(fù)雜性，所以大數(shù)據(jù)的分析方法在大數(shù)據(jù)領(lǐng)域就顯得尤為重要，可以說(shuō)是決定最終信息是否有價(jià)值的決定性因素。同時(shí)，數(shù)據(jù)本身作為企業(yè)的資產(chǎn)，如何運(yùn)用起來(lái)才是核心議題，這也是助力企業(yè)成長(zhǎng)重要的法寶。

一、大數(shù)據(jù)的來(lái)源

????? 在這個(gè)人人都高喊“大數(shù)據(jù)時(shí)代”的今天，數(shù)據(jù)似乎被提到一個(gè)前所未有的高度。無(wú)論是個(gè)人還是大中小型公司，亦或是大型跨國(guó)集團(tuán)，無(wú)論是網(wǎng)絡(luò)營(yíng)銷(xiāo)還是線下的市場(chǎng)營(yíng)銷(xiāo)都意識(shí)到數(shù)據(jù)的重要性，凡是都以數(shù)據(jù)來(lái)說(shuō)話。

????? 那么這些作為數(shù)據(jù)處理的最底層數(shù)據(jù)源都有哪些呢？大致可以分為主要的三大類(lèi)數(shù)據(jù)：

• 一類(lèi)是應(yīng)用產(chǎn)生數(shù)據(jù)

????? 主要內(nèi)容的滿(mǎn)足應(yīng)用需求所需要的數(shù)據(jù)，作為監(jiān)察系統(tǒng)所需要的是實(shí)時(shí)流式數(shù)據(jù)（交易系統(tǒng)實(shí)時(shí)數(shù)據(jù)）和批量塊（結(jié)算系統(tǒng)批量數(shù)據(jù)），數(shù)據(jù)類(lèi)型的是文件數(shù)據(jù)和關(guān)系型文本數(shù)據(jù)。此類(lèi)數(shù)據(jù)量占總數(shù)據(jù)只有10%，傳統(tǒng)基于小型機(jī)的關(guān)系型數(shù)數(shù)據(jù)處理系統(tǒng)可以處理此類(lèi)數(shù)據(jù)，基于大數(shù)據(jù)平臺(tái)技術(shù)的實(shí)時(shí)處理計(jì)算系統(tǒng)也可以處理此類(lèi)數(shù)據(jù)。

• 另一類(lèi)是行為產(chǎn)生數(shù)據(jù)

????? 主要是應(yīng)用系統(tǒng)衍生的行為產(chǎn)生的數(shù)據(jù)，即與監(jiān)察系統(tǒng)相關(guān)的企業(yè)行為數(shù)據(jù)，互聯(lián)網(wǎng)產(chǎn)生的關(guān)聯(lián)數(shù)據(jù)等等，數(shù)據(jù)類(lèi)型的是XML,?html,?log,?tag...。此類(lèi)數(shù)據(jù)量占總數(shù)據(jù)量是30%，傳統(tǒng)基于小型機(jī)的關(guān)系型數(shù)據(jù)處理系統(tǒng)可以處理此類(lèi)數(shù)據(jù)的一小部分結(jié)構(gòu)化數(shù)據(jù)；大量半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)只能由目前新興的大數(shù)據(jù)平臺(tái)技術(shù)進(jìn)行處理。

• 最大的一類(lèi)是機(jī)器產(chǎn)生的數(shù)據(jù)

????? 主要是運(yùn)行機(jī)器時(shí)時(shí)刻刻產(chǎn)生的大量日志數(shù)據(jù)（syslog日志數(shù)據(jù)），互聯(lián)網(wǎng)網(wǎng)絡(luò)爬蟲(chóng)爬取大量非結(jié)構(gòu)化文本數(shù)據(jù)等等。這些數(shù)據(jù)在以往傳統(tǒng)架構(gòu)的解決方案中，由于數(shù)據(jù)量巨大都被忽略了，此類(lèi)數(shù)據(jù)量占總數(shù)據(jù)量是60%；目前新興的大數(shù)據(jù)平臺(tái)技術(shù)完全可以采集分析處理這些數(shù)據(jù)，揭示數(shù)據(jù)背后的關(guān)聯(lián)關(guān)系。

二、大數(shù)據(jù)的分析方法

????? 從數(shù)據(jù)源可以看出越來(lái)越多應(yīng)用都涉及到大數(shù)據(jù)，而這些大數(shù)據(jù)的屬性，包括數(shù)量，速度，多樣性等等都是呈現(xiàn)了大數(shù)據(jù)不斷增長(zhǎng)的復(fù)雜性，所以大數(shù)據(jù)的分析方法在大數(shù)據(jù)領(lǐng)域就顯得尤為重要，可以說(shuō)是決定最終信息是否有價(jià)值的決定性因素。基于如此的認(rèn)識(shí)，大數(shù)據(jù)分析方法主要有以下五個(gè)方面：

• 可視化分析

????? 大數(shù)據(jù)分析的使用者有大數(shù)據(jù)分析專(zhuān)家，同時(shí)還有普通用戶(hù)，但是他們二者對(duì)于大數(shù)據(jù)分析最基本的要求就是可視化分析，因?yàn)榭梢暬治瞿軌蛑庇^的呈現(xiàn)大數(shù)據(jù)特點(diǎn)，同時(shí)能夠非常容易被讀者所接受，就如同看圖說(shuō)話一樣簡(jiǎn)單明了。

• ?數(shù)據(jù)挖掘算法

????? 大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法，各種數(shù)據(jù)挖掘的算法基于不同的數(shù)據(jù)類(lèi)型和格式才能更加科學(xué)的呈現(xiàn)出數(shù)據(jù)本身具備的特點(diǎn)，也正是因?yàn)檫@些被全世界統(tǒng)計(jì)學(xué)家所公認(rèn)的各種統(tǒng)計(jì)方法（可以稱(chēng)之為真理）才能深入數(shù)據(jù)內(nèi)部，挖掘出公認(rèn)的價(jià)值。另外一個(gè)方面也是因?yàn)橛羞@些數(shù)據(jù)挖掘的算法才能更快速的處理大數(shù)據(jù)，如果一個(gè)算法得花上好幾年才能得出結(jié)論，那大數(shù)據(jù)的價(jià)值也就無(wú)從說(shuō)起了。

• 預(yù)測(cè)性分析

????? 大數(shù)據(jù)分析最終要的應(yīng)用領(lǐng)域之一就是預(yù)測(cè)性分析，從大數(shù)據(jù)中挖掘出特點(diǎn)，通過(guò)科學(xué)的建立模型，之后便可以通過(guò)模型帶入新的數(shù)據(jù)，從而預(yù)測(cè)未來(lái)的數(shù)據(jù)。

• 語(yǔ)義引擎

????? 非結(jié)構(gòu)化數(shù)據(jù)的多元化給數(shù)據(jù)分析帶來(lái)新的挑戰(zhàn)，我們需要一套工具系統(tǒng)的去分析，提煉數(shù)據(jù)。語(yǔ)義引擎需要設(shè)計(jì)到有足夠的人工智能以足以從數(shù)據(jù)中主動(dòng)地提取信息。

• 數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理

????? 大數(shù)據(jù)分析離不開(kāi)數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理，高質(zhì)量的數(shù)據(jù)和有效的數(shù)據(jù)管理，無(wú)論是在學(xué)術(shù)研究還是在商業(yè)應(yīng)用領(lǐng)域，都能夠保證分析結(jié)果的真實(shí)和有價(jià)值。

三、探碼大數(shù)據(jù)處理平臺(tái)

????? 在萬(wàn)物互聯(lián)的今天，數(shù)據(jù)本身作為企業(yè)的資產(chǎn)，如何運(yùn)用起來(lái)才是核心議題，這也是助力企業(yè)成長(zhǎng)重要的法寶。探碼大數(shù)據(jù)采用先進(jìn)的網(wǎng)絡(luò)爬蟲(chóng)技術(shù)，分布式計(jì)算能力，針對(duì)定制的目標(biāo)數(shù)據(jù)源進(jìn)行網(wǎng)絡(luò)信息的數(shù)據(jù)采集、數(shù)據(jù)提取、數(shù)據(jù)挖掘、數(shù)據(jù)處理，從而為各種信息服務(wù)系統(tǒng)提供數(shù)據(jù)輸入。

• 數(shù)據(jù)采集

????? 要對(duì)來(lái)自網(wǎng)絡(luò)包括物聯(lián)網(wǎng)和機(jī)構(gòu)信息系統(tǒng)的數(shù)據(jù)附上時(shí)空標(biāo)志，去偽存真，盡可能收集異源甚至是異構(gòu)的數(shù)據(jù)，必要時(shí)還可與歷史數(shù)據(jù)對(duì)照，多角度驗(yàn)證數(shù)據(jù)的全面性和可信性。

• 數(shù)據(jù)提取

????? 要達(dá)到低成本、低能耗、高可靠性目標(biāo)，通常要用到冗余配置、分布化和云計(jì)算技術(shù)，在存儲(chǔ)時(shí)要按照一定規(guī)則對(duì)數(shù)據(jù)進(jìn)行分類(lèi)，通過(guò)過(guò)濾和去重，減少存儲(chǔ)量，同時(shí)加入便于日后檢索的標(biāo)簽。

• 數(shù)據(jù)挖掘

????? 基于對(duì)用戶(hù)的結(jié)構(gòu)和行為特征深入挖掘，協(xié)助企業(yè)進(jìn)行有效的CRM管理，有效提升營(yíng)銷(xiāo)效果，結(jié)合消費(fèi)者的購(gòu)買(mǎi)（消費(fèi)）行為的跟蹤分析，協(xié)助企業(yè)進(jìn)行有效的品類(lèi)和渠道管理，提高企業(yè)運(yùn)營(yíng)效率。

• 數(shù)據(jù)處理

????? 有些行業(yè)的數(shù)據(jù)涉及上百個(gè)參數(shù)，其復(fù)雜性不僅體現(xiàn)在數(shù)據(jù)樣本本身，更體現(xiàn)在多源異構(gòu)、多實(shí)體和多空間之間的交互動(dòng)態(tài)性，難以用傳統(tǒng)的方法描述與度量，處理的復(fù)雜度很大，需要將高維圖像等多媒體數(shù)據(jù)降維后度量與處理，利用上下文關(guān)聯(lián)進(jìn)行語(yǔ)義分析，從大量動(dòng)態(tài)而且可能是模棱兩可的數(shù)據(jù)中綜合信息，并導(dǎo)出可理解的內(nèi)容。

?

?

?