大數(shù)據(jù)（bigdata）是指那些超過(guò)傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)處理能力的數(shù)據(jù)。它的數(shù)據(jù)規(guī)模和傳輸速度要求很高，或者其結(jié)構(gòu)不適合原本的數(shù)據(jù)庫(kù)系統(tǒng)，為了獲取大數(shù)據(jù)中的價(jià)值，必須選擇另一種方式來(lái)處理它。大數(shù)據(jù)具有的4V特點(diǎn)：大量（volume）、多樣（variety）、高速（velocity）、 可信（ veracity）。大數(shù)據(jù)的計(jì)量單位從目前常用的TB （240bytes）擴(kuò)展到PB （250bytes），甚至ZB （270bytes），增加千倍和十億倍，大數(shù)據(jù)量以每年50%的速度增加。大數(shù)據(jù)呈現(xiàn)結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化的多樣性以及數(shù)據(jù)流傳輸?shù)母咚傩?。大?shù)據(jù)的分析結(jié)果具有很高的可信度和商業(yè)價(jià)值，因此大數(shù)據(jù)主要用于預(yù)測(cè)、決策和分析等用途。
大數(shù)據(jù)技術(shù)
虛擬化、物聯(lián)網(wǎng)、云計(jì)算技術(shù)應(yīng)用催生了大數(shù)據(jù)技術(shù)，一般能夠使用傳統(tǒng)的數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)和BI工具能夠完成的處理和分析挖掘的數(shù)據(jù)，還不能稱為大數(shù)據(jù)，這些技術(shù)也不能稱為大數(shù)據(jù)技術(shù)。面對(duì)大數(shù)據(jù)環(huán)境，包括數(shù)據(jù)挖掘在內(nèi)的商業(yè)智能技術(shù)正在發(fā)生巨大的變化。
1. 傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù) 傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)無(wú)法滿足大數(shù)據(jù)的處理要求，新的數(shù)據(jù)庫(kù)技術(shù)包括：①并行數(shù)據(jù)庫(kù)：通過(guò)多個(gè)節(jié)點(diǎn)并行執(zhí)行數(shù)據(jù)庫(kù)任務(wù)，提高整個(gè)數(shù)據(jù)庫(kù)系統(tǒng)的性能和可用性；②非關(guān)系性數(shù)據(jù)庫(kù)(NoSQL)：采用更加簡(jiǎn)單的數(shù)據(jù)模型，減少關(guān)系性數(shù)據(jù)庫(kù)的高度數(shù)據(jù)關(guān)聯(lián)性，以適應(yīng)大數(shù)據(jù)的處理；③新型數(shù)據(jù)庫(kù)：對(duì)傳統(tǒng)數(shù)據(jù)庫(kù)技術(shù)進(jìn)行改良和優(yōu)化，去除傳統(tǒng)數(shù)據(jù)庫(kù)中制約性能的機(jī)制，提高數(shù)據(jù)庫(kù)處理大數(shù)據(jù)的能力。2. 大數(shù)據(jù)云計(jì)算技術(shù) 云計(jì)算將計(jì)算任務(wù)分布在大量計(jì)算機(jī)構(gòu)成的資源池上，使用戶能夠按需獲取計(jì)算力、存儲(chǔ)空間和信息服務(wù)。云計(jì)算分布式架構(gòu)能夠很好地支持大數(shù)據(jù)存儲(chǔ)和處理需求，并使用戶能低價(jià)獲取巨量計(jì)算和存儲(chǔ)能力，使得大數(shù)據(jù)處理和利用成為可能。2011年甲骨文公司推出Oracle大數(shù)據(jù)機(jī)（oracle big data appliance）， Oracle大數(shù)據(jù)機(jī)是一款集成設(shè)計(jì)的系統(tǒng)，旨在簡(jiǎn)化大數(shù)據(jù)項(xiàng)目的實(shí)施與管理。該數(shù)據(jù)機(jī)采用18臺(tái)Oacle Sun服務(wù)器的全機(jī)架式配置，總共擁有864GB主內(nèi)存、216核CPU、648 TB原始磁盤(pán)存儲(chǔ)空間，采用40Gb/s的網(wǎng)絡(luò)連接以及10Gb/s的以太網(wǎng)數(shù)據(jù)中心連接，可連接多個(gè)機(jī)架進(jìn)行橫向升級(jí)擴(kuò)展，使其能夠獲取、組織和分析超級(jí)海量的數(shù)據(jù)。3. 大數(shù)據(jù)處理 在大數(shù)據(jù)中，結(jié)構(gòu)化數(shù)據(jù)只占15%左右，其余的85%都是非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)需要解決半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的高效處理。大數(shù)據(jù)需要使用非傳統(tǒng)工具來(lái)對(duì)大量的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行處理，采用適合不同行業(yè)的大數(shù)據(jù)挖掘分析工具和開(kāi)發(fā)環(huán)境，從而獲得分析和預(yù)測(cè)結(jié)果的一系列數(shù)據(jù)處理技術(shù)。大數(shù)據(jù)的應(yīng)用
《紐約時(shí)報(bào)》的一篇專欄文章稱“大數(shù)據(jù)”時(shí)代已經(jīng)降臨，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，決策將日益基于數(shù)據(jù)和分析，而不是基于經(jīng)驗(yàn)和直覺(jué)。哈佛大學(xué)社會(huì)學(xué)教授加里?金指出：這是一場(chǎng)革命,龐大的數(shù)據(jù)資源使得各個(gè)領(lǐng)域開(kāi)始了量化進(jìn)程，無(wú)論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開(kāi)始這種進(jìn)程。在醫(yī)學(xué)領(lǐng)域，大數(shù)據(jù)應(yīng)用涉及：①藥品研發(fā)：實(shí)驗(yàn)室和臨床數(shù)據(jù)分析有助于加快藥品研發(fā)過(guò)程和提高藥品安全性；②臨床決策支持：通過(guò)臨床數(shù)據(jù)進(jìn)行分析，為醫(yī)生的臨床診療方案提供決策支持；③藥物臨床應(yīng)用分析：通過(guò)分析藥物臨床效果、副作用和不良反應(yīng)等數(shù)據(jù)，對(duì)藥物進(jìn)行篩選；④流行病、疫情監(jiān)控：利用搜索引擎等手段預(yù)測(cè)和監(jiān)控流行病和疫情；⑤人口健康分析和預(yù)測(cè)：對(duì)國(guó)家和區(qū)域居民健康檔案、電子病歷等數(shù)據(jù)進(jìn)行分析，預(yù)測(cè)人口健康和疾病。免責(zé)聲明：轉(zhuǎn)載僅做分享，本文著作權(quán)歸原創(chuàng)者所有，如有侵權(quán)請(qǐng)聯(lián)系小編進(jìn)行刪除。
