大數(shù)據(jù)（big data），指無(wú)法在可承受的時(shí)間范圍內(nèi)用常規(guī)軟件工具進(jìn)行捕捉、管理和處理的數(shù)據(jù)集合，是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來(lái)適應(yīng)海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

    在維克托·邁爾-舍恩伯格及肯尼斯·庫(kù)克耶編寫的《大數(shù)據(jù)時(shí)代》 中大數(shù)據(jù)指不用隨機(jī)分析法（抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。大數(shù)據(jù)的5V特點(diǎn)（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價(jià)值）、Veracity（真實(shí)性）。

大數(shù)據(jù)定義

    對(duì)于“大數(shù)據(jù)”（Big data）研究機(jī)構(gòu)Gartner給出了這樣的定義?！按髷?shù)據(jù)”是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來(lái)適應(yīng)海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

    麥肯錫全球研究所給出的定義是：一種規(guī)模大到在獲取、存儲(chǔ)、管理、分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫(kù)軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價(jià)值密度低四大特征。

    大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對(duì)這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換而言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現(xiàn)盈利的關(guān)鍵，在于提高對(duì)數(shù)據(jù)的“加工能力”，通過(guò)“加工”實(shí)現(xiàn)數(shù)據(jù)的“增值”。

    從技術(shù)上看，大數(shù)據(jù)與云計(jì)算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數(shù)據(jù)必然無(wú)法用單臺(tái)的計(jì)算機(jī)進(jìn)行處理，必須采用分布式架構(gòu)。它的特色在于對(duì)海量數(shù)據(jù)進(jìn)行分布式數(shù)據(jù)挖掘。但它必須依托云計(jì)算的分布式處理、分布式數(shù)據(jù)庫(kù)和云存儲(chǔ)、虛擬化技術(shù)。

    隨著云時(shí)代的來(lái)臨，大數(shù)據(jù)（Big data）也吸引了越來(lái)越多的關(guān)注?！吨婆_(tái)》的分析師團(tuán)隊(duì)認(rèn)為，大數(shù)據(jù)（Big data）通常用來(lái)形容一個(gè)公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)在下載到關(guān)系型數(shù)據(jù)庫(kù)用于分析時(shí)會(huì)花費(fèi)過(guò)多時(shí)間和金錢。大數(shù)據(jù)分析常和云計(jì)算聯(lián)系到一起，因?yàn)閷?shí)時(shí)的大型數(shù)據(jù)集分析需要像MapReduce一樣的框架來(lái)向數(shù)十、數(shù)百或甚至數(shù)千的電腦分配工作。

    大數(shù)據(jù)需要特殊的技術(shù)，以有效地處理大量的容忍經(jīng)過(guò)時(shí)間內(nèi)的數(shù)據(jù)。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理（MPP）數(shù)據(jù)庫(kù)、數(shù)據(jù)挖掘電網(wǎng)、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)、云計(jì)算平臺(tái)、互聯(lián)網(wǎng)和可擴(kuò)展的存儲(chǔ)系統(tǒng)。

    大數(shù)據(jù)最小的基本單位是bit，按順序給出所有單位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。

大數(shù)據(jù)特征

   容量（Volume）：數(shù)據(jù)的大小決定所考慮的數(shù)據(jù)的價(jià)值和潛在的信息。

    種類（Variety）：數(shù)據(jù)類型的多樣性。

    速度（Velocity）：指獲得數(shù)據(jù)的速度。

    可變性（Variability）：妨礙了處理和有效地管理數(shù)據(jù)的過(guò)程。

    真實(shí)性（Veracity）：數(shù)據(jù)的質(zhì)量。

    復(fù)雜性（Complexity）：數(shù)據(jù)量巨大，來(lái)源多渠道。

    價(jià)值（value）：合理運(yùn)用大數(shù)據(jù)，以低成本創(chuàng)造高價(jià)值。

    大數(shù)據(jù)的意義

    有人把數(shù)據(jù)比喻為蘊(yùn)藏能量的煤礦。煤炭按照性質(zhì)有焦煤、無(wú)煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。與此類似，大數(shù)據(jù)并不在“大”，而在于“有用”。價(jià)值含量、挖掘成本比數(shù)量更為重要。對(duì)于很多行業(yè)而言，如何利用這些大規(guī)模數(shù)據(jù)是成為贏得競(jìng)爭(zhēng)的關(guān)鍵。

    大數(shù)據(jù)的價(jià)值體現(xiàn)在以下幾個(gè)方面：

  （1）對(duì)大量消費(fèi)者提供產(chǎn)品或服務(wù)的企業(yè)可以利用大數(shù)據(jù)進(jìn)行精準(zhǔn)營(yíng)銷。

   （2）做小而美模式的中長(zhǎng)尾企業(yè)可以利用大數(shù)據(jù)做服務(wù)轉(zhuǎn)型。

   （3） 面臨互聯(lián)網(wǎng)壓力之下必須轉(zhuǎn)型的傳統(tǒng)企業(yè)需要與時(shí)俱進(jìn)充分利用大數(shù)據(jù)的價(jià)值。

    不過(guò)，“大數(shù)據(jù)”在經(jīng)濟(jì)發(fā)展中的巨大意義并不代表其能取代一切對(duì)于社會(huì)問(wèn)題的理性思考，科學(xué)發(fā)展的邏輯不能被湮沒在海量數(shù)據(jù)中。著名經(jīng)濟(jì)學(xué)家路德維?！ゑT·米塞斯曾提醒過(guò)：“就今日言，有很多人忙碌于資料之無(wú)益累積，以致對(duì)問(wèn)題之說(shuō)明與解決，喪失了其對(duì)特殊的經(jīng)濟(jì)意義的了解?！边@確實(shí)是需要警惕的。

    大數(shù)據(jù)結(jié)構(gòu)

    第一層面是理論，理論是認(rèn)知的必經(jīng)途徑，也是被廣泛認(rèn)同和傳播的基線。在這里從大數(shù)據(jù)的特征定義理解行業(yè)對(duì)大數(shù)據(jù)的整體描繪和定性；從對(duì)大數(shù)據(jù)價(jià)值的探討來(lái)深入解析大數(shù)據(jù)的珍貴所在；洞悉大數(shù)據(jù)的發(fā)展趨勢(shì)；從大數(shù)據(jù)隱私這個(gè)特別而重要的視角審視人和數(shù)據(jù)之間的長(zhǎng)久博弈。

    第二層面是技術(shù)，技術(shù)是大數(shù)據(jù)價(jià)值體現(xiàn)的手段和前進(jìn)的基石。在這里分別從云計(jì)算、分布式處理技術(shù)、存儲(chǔ)技術(shù)和感知技術(shù)的發(fā)展來(lái)說(shuō)明大數(shù)據(jù)從采集、處理、存儲(chǔ)到形成結(jié)果的整個(gè)過(guò)程。

    第三層面是實(shí)踐，實(shí)踐是大數(shù)據(jù)的最終價(jià)值體現(xiàn)。在這里分別從互聯(lián)網(wǎng)的大數(shù)據(jù)，政府的大數(shù)據(jù)，企業(yè)的大數(shù)據(jù)和個(gè)人的大數(shù)據(jù)四個(gè)方面來(lái)描繪大數(shù)據(jù)已經(jīng)展現(xiàn)的美好景象及即將實(shí)現(xiàn)的藍(lán)圖。

大數(shù)據(jù)趨勢(shì)

    趨勢(shì)一：數(shù)據(jù)的資源化：是指大數(shù)據(jù)成為企業(yè)和社會(huì)關(guān)注的重要戰(zhàn)略資源，并已成為大家爭(zhēng)相搶奪的新焦點(diǎn)。因而，企業(yè)必須要提前制定大數(shù)據(jù)營(yíng)銷戰(zhàn)略計(jì)劃，搶占市場(chǎng)先機(jī)。

    趨勢(shì)二：與云計(jì)算的深度結(jié)合：大數(shù)據(jù)離不開云處理，云處理為大數(shù)據(jù)提供了彈性可拓展的基礎(chǔ)設(shè)備，是產(chǎn)生大數(shù)據(jù)的平臺(tái)之一。

    趨勢(shì)三：科學(xué)理論的突破：隨著大數(shù)據(jù)的快速發(fā)展，就像計(jì)算機(jī)和互聯(lián)網(wǎng)一樣，大數(shù)據(jù)很有可能是新一輪的技術(shù)革命。隨之興起的數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和人工智能等相關(guān)技術(shù)，可能會(huì)改變數(shù)據(jù)世界里的很多算法和基礎(chǔ)理論，實(shí)現(xiàn)科學(xué)技術(shù)上的突破

    趨勢(shì)四：數(shù)據(jù)科學(xué)和數(shù)據(jù)聯(lián)盟的成立：未來(lái)，數(shù)據(jù)科學(xué)將成為一門專門的學(xué)科，被越來(lái)越多的人所認(rèn)知。各大高校將設(shè)立專門的數(shù)據(jù)科學(xué)類專業(yè)，也會(huì)催生一批與之相關(guān)的新的就業(yè)崗位。與此同時(shí)，基于數(shù)據(jù)這個(gè)基礎(chǔ)平臺(tái)，也將建立起跨領(lǐng)域的數(shù)據(jù)共享平臺(tái)，之后，數(shù)據(jù)共享將擴(kuò)展到企業(yè)層面，并且成為未來(lái)產(chǎn)業(yè)的核心一環(huán)。

    趨勢(shì)五：數(shù)據(jù)泄露泛濫：未來(lái)幾年數(shù)據(jù)泄露事件的增長(zhǎng)率也許會(huì)達(dá)到100%，除非數(shù)據(jù)在其源頭就能夠得到安全保障?？梢哉f(shuō)，在未來(lái)，每個(gè)財(cái)富500強(qiáng)企業(yè)都會(huì)面臨數(shù)據(jù)攻擊，無(wú)論他們是否已經(jīng)做好安全防范。而所有企業(yè)，無(wú)論規(guī)模大小，都需要重新審視今天的安全定義。

    趨勢(shì)六：數(shù)據(jù)管理成為核心競(jìng)爭(zhēng)力：數(shù)據(jù)管理成為核心競(jìng)爭(zhēng)力，直接影響財(cái)務(wù)表現(xiàn)。當(dāng)“數(shù)據(jù)資產(chǎn)是企業(yè)核心資產(chǎn)”的概念深入人心之后，企業(yè)對(duì)于數(shù)據(jù)管理便有了更清晰的界定，將數(shù)據(jù)管理作為企業(yè)核心競(jìng)爭(zhēng)力，持續(xù)發(fā)展，戰(zhàn)略性規(guī)劃與運(yùn)用數(shù)據(jù)資產(chǎn)，成為企業(yè)數(shù)據(jù)管理的核心。

    趨勢(shì)七：數(shù)據(jù)質(zhì)量是BI(商業(yè)智能)成功的關(guān)鍵：采用自助式商業(yè)智能工具進(jìn)行大數(shù)據(jù)處理的企業(yè)將會(huì)脫穎而出。其中要面臨的一個(gè)挑戰(zhàn)是，很多數(shù)據(jù)源會(huì)帶來(lái)大量低質(zhì)量數(shù)據(jù)。想要成功，企業(yè)需要理解原始數(shù)據(jù)與數(shù)據(jù)分析之間的差距，從而消除低質(zhì)量數(shù)據(jù)并通過(guò)BI獲得更佳決策。

    趨勢(shì)八：數(shù)據(jù)生態(tài)系統(tǒng)復(fù)合化程度加強(qiáng)：大數(shù)據(jù)的世界不只是一個(gè)單一的、巨大的計(jì)算機(jī)網(wǎng)絡(luò)，而是一個(gè)由大量活動(dòng)構(gòu)件與多元參與者元素所構(gòu)成的生態(tài)系統(tǒng)，終端設(shè)備提供商、基礎(chǔ)設(shè)施提供商、網(wǎng)絡(luò)服務(wù)提供商、網(wǎng)絡(luò)接入服務(wù)提供商、數(shù)據(jù)服務(wù)使能者、數(shù)據(jù)服務(wù)提供商、觸點(diǎn)服務(wù)、數(shù)據(jù)服務(wù)零售商等等一系列的參與者共同構(gòu)建的生態(tài)系統(tǒng)。