一系列不同的趨勢(shì)正在影響大數(shù)據(jù)舉措，但四個(gè)總體主題正在成為影響大數(shù)據(jù)的關(guān)鍵因素：云計(jì)算、機(jī)器學(xué)習(xí)、數(shù)據(jù)治理，以及對(duì)速度的需求。

1. 云計(jì)算分析師認(rèn)為，大數(shù)據(jù)正在向云計(jì)算邁進(jìn)。

調(diào)研機(jī)構(gòu)Forrester公司的Brian Hopkins表示：“通過(guò)云訂閱的全球大數(shù)據(jù)解決方案支出增長(zhǎng)速度將比內(nèi)部訂閱訂單快7.5倍。

此外，根據(jù)2016年和2017年的數(shù)據(jù)調(diào)查，公共云是大數(shù)據(jù)分析專(zhuān)業(yè)人員的首要技術(shù)優(yōu)先事項(xiàng)。

”他表示，通過(guò)公共云服務(wù)提供的成本優(yōu)勢(shì)和創(chuàng)新將對(duì)大多數(shù)企業(yè)來(lái)說(shuō)無(wú)法抗拒。

而一些調(diào)查似乎支持這些結(jié)論：在AtScale公司的調(diào)查報(bào)告中，59%的受訪者表示他們已經(jīng)在云中部署了大數(shù)據(jù)，77%的受訪者預(yù)計(jì)其部分或全部大數(shù)據(jù)部署將在云中。

Teradata公司云計(jì)算狀況分析報(bào)告發(fā)現(xiàn)，對(duì)基于云計(jì)算的大數(shù)據(jù)分析的需求更高。

38%的受訪者表示，云端是運(yùn)行分析的最佳場(chǎng)所，69%的受訪者表示他們希望在2023年之前在云平臺(tái)中運(yùn)行所有分析。

他們?yōu)槭裁慈绱藷崆械剞D(zhuǎn)向云端?云計(jì)算分析的預(yù)期收益包括更快的部署(51%)，更高的安全性(46%)，更好的性能(44%)，更快的數(shù)據(jù)洞察力(44%)，用戶(hù)更容易訪問(wèn)(43%)，成本更低的維護(hù)(41%)。

組織將繼續(xù)將其數(shù)據(jù)存儲(chǔ)遷移到公共云提供商的云服務(wù)中，并且當(dāng)數(shù)據(jù)已經(jīng)駐留在云中時(shí)，在云中執(zhí)行大數(shù)據(jù)分析的速度也會(huì)更快、更輕松，成本更低。

另外，許多云計(jì)算提供商提供人工智能和機(jī)器學(xué)習(xí)工具，使云計(jì)算更具吸引力。

2. 機(jī)器學(xué)習(xí)和人工智能機(jī)器學(xué)習(xí)是人工智能的一個(gè)重要組成部分，它在沒(méi)有被計(jì)算機(jī)明確編程的情況下學(xué)習(xí)，它與大數(shù)據(jù)分析有著內(nèi)在聯(lián)系，因此這兩個(gè)術(shù)語(yǔ)有時(shí)會(huì)混合在一起。

事實(shí)上，今年NewVantage公司年度大數(shù)據(jù)調(diào)查的封面已經(jīng)重新設(shè)計(jì)，以顯示它包含大數(shù)據(jù)和人工智能。

調(diào)查報(bào)告的作者寫(xiě)道：“大數(shù)據(jù)和人工智能項(xiàng)目幾乎難以區(qū)分，特別是考慮到機(jī)器學(xué)習(xí)是處理大量快速移動(dòng)數(shù)據(jù)的最流行技術(shù)之一。

”當(dāng)這項(xiàng)調(diào)查要求管理人員選擇哪種大數(shù)據(jù)技術(shù)會(huì)產(chǎn)生最大的顛覆性影響時(shí)，71.8%的受訪者選擇的最多選項(xiàng)是人工智能。

與2017年相比，這是一個(gè)顯著的增長(zhǎng)，當(dāng)時(shí)只有44.3%的受訪者表示同樣的觀點(diǎn)。

尤其值得注意的是，人工智能遠(yuǎn)遠(yuǎn)領(lǐng)先于云計(jì)算(12.7%)和區(qū)塊鏈(7.0%)。

調(diào)查機(jī)構(gòu)Gartner公司研究副總裁John-David Lovelock的觀點(diǎn)與這些高管達(dá)成一致。

“由于計(jì)算能力、數(shù)量、速度和各種數(shù)據(jù)的進(jìn)步，以及深度神經(jīng)網(wǎng)絡(luò)(DNNs)的發(fā)展，人工智能在未來(lái)10年內(nèi)承諾將成為最具顛覆性的技術(shù)類(lèi)別。

”他表示。

Gartner公司最近進(jìn)行的預(yù)測(cè)表明，“從人工智能(AI)獲得的全球商業(yè)價(jià)值預(yù)計(jì)在將達(dá)到1.2萬(wàn)億美元，比2017年增長(zhǎng)70%。

”展望未來(lái)，Gartner公司分析師補(bǔ)充說(shuō)：“預(yù)測(cè)2022年人工智能的商業(yè)價(jià)值將達(dá)到3.9萬(wàn)億美元。

”考慮到潛在的商業(yè)價(jià)值，企業(yè)計(jì)劃大量投資于機(jī)器學(xué)習(xí)和相關(guān)技術(shù)并不令人驚訝。

據(jù)調(diào)研機(jī)構(gòu)IDC公司稱(chēng)，“全球認(rèn)知與人工智能(AI)系統(tǒng)支出將達(dá)到191億美元，比2017年的支出增長(zhǎng)54.2%。

”3. 數(shù)據(jù)治理但是，雖然云計(jì)算和機(jī)器學(xué)習(xí)帶來(lái)的潛在收益正在推動(dòng)企業(yè)投資這些大數(shù)據(jù)技術(shù)，但企業(yè)仍然面臨著與大數(shù)據(jù)相關(guān)的重大障礙。

其中最重要的一點(diǎn)是如何確保所有數(shù)據(jù)的準(zhǔn)確性、可用性、安全性和合規(guī)性。

當(dāng)AtScale公司的調(diào)查要求受訪者指出他們面臨的與大數(shù)據(jù)相關(guān)的最大挑戰(zhàn)時(shí)，治理是排在第二位，僅落后于技能組合，而這是每年調(diào)查中所提出的頭號(hào)挑戰(zhàn)。

早在2016年，治理只位列挑戰(zhàn)清單的底部，因此其升至第二位，其變化尤其顯著。

組織現(xiàn)在更關(guān)心數(shù)據(jù)治理，而不是性能、安全或數(shù)據(jù)管理。

重新引起人們關(guān)注的部分原因可能是最近發(fā)生的Facebook公司和英國(guó)劍橋分析的數(shù)據(jù)泄露丑聞。

這個(gè)違規(guī)事件非常清楚地表明，潛在的公共關(guān)系噩夢(mèng)可能會(huì)由于失去數(shù)據(jù)的正常發(fā)展軌跡而發(fā)生，并且無(wú)法正確保護(hù)用戶(hù)的隱私。

歐盟頒布的通用數(shù)據(jù)保護(hù)條例(GDPR)是今年5月生效的另一大變革力量。

它要求所有擁有歐盟公民的數(shù)據(jù)的組織都能夠滿足某些要求，例如違規(guī)通知、訪問(wèn)權(quán)限、被遺忘權(quán)利、數(shù)據(jù)可移植性、設(shè)計(jì)隱私，以及任命數(shù)據(jù)保護(hù)人員。

監(jiān)管變革給組織帶來(lái)了越來(lái)越大的壓力，以確保他們知道自己擁有哪些數(shù)據(jù)以及駐留在哪里，并確保正確地保護(hù)這些數(shù)據(jù)。

這是一項(xiàng)艱巨的任務(wù)，需要很多企業(yè)加緊制定，并重新思考他們的大數(shù)據(jù)戰(zhàn)略。

4. 速度的需要與此同時(shí)，他們感到需要放緩處理數(shù)據(jù)治理問(wèn)題的速度，許多企業(yè)也有對(duì)更快速的大數(shù)據(jù)分析的需求。

在NewVantage公司的調(diào)查中，47.8%的管理人員表示，他們主要使用大數(shù)據(jù)的原因是近實(shí)時(shí)的、日常儀表板和操作報(bào)告，或者是實(shí)時(shí)互動(dòng)，或者是面向客戶(hù)的流媒體，或者是關(guān)鍵任務(wù)應(yīng)用。

這是一個(gè)重要的發(fā)展，因?yàn)閿?shù)據(jù)分析的傳統(tǒng)用途是每天、每周或每月執(zhí)行批量報(bào)告。

同樣，Syncsort公司的調(diào)查發(fā)現(xiàn)，60.4%的受訪者對(duì)實(shí)時(shí)分析感興趣。

為了滿足實(shí)時(shí)或接近實(shí)時(shí)性能的需求，企業(yè)越來(lái)越傾向于使用內(nèi)存技術(shù)。

由于處理內(nèi)存(RAM)中的數(shù)據(jù)比訪問(wèn)存儲(chǔ)在硬盤(pán)驅(qū)動(dòng)器或固態(tài)硬盤(pán)驅(qū)動(dòng)器上的數(shù)據(jù)快得多，因此內(nèi)存技術(shù)可以顯著提高速度。

事實(shí)上，SAP公司宣稱(chēng)其專(zhuān)有的HANA技術(shù)已幫助一些公司加快業(yè)務(wù)流程的速度達(dá)到原來(lái)的10000倍。

盡管大多數(shù)公司沒(méi)有體驗(yàn)到這種性能提升，但SAP公司并不是唯一一家在內(nèi)存技術(shù)方面做出巨大貢獻(xiàn)的公司。

Apache Spark是一款運(yùn)行在內(nèi)存中的開(kāi)源大數(shù)據(jù)分析引擎，它宣稱(chēng)可以運(yùn)行比標(biāo)準(zhǔn)Hadoop引擎快100倍的工作負(fù)載。

企業(yè)似乎注意到這些性能改進(jìn)。

供應(yīng)商Qubole報(bào)告說(shuō)，2017年至期間Apache Spark在計(jì)算時(shí)間方面的用量增長(zhǎng)了298%。

當(dāng)人們查看在Apache Spark上運(yùn)行的命令數(shù)量時(shí)，其增長(zhǎng)更加令人印象深刻，2017年至間在Spark上運(yùn)行的命令總數(shù)提高了439%。

在某些方面，對(duì)速度的這種需求也推動(dòng)了其他三大數(shù)據(jù)宏觀趨勢(shì)的發(fā)展。

其部分原因是組織將大數(shù)據(jù)遷移到云中，因?yàn)樗麄兿Ｍ@得性能提升。

他們至少在一定程度上投資于機(jī)器學(xué)習(xí)和人工智能，因?yàn)樗麄兿Ｍ@得更快、更好的見(jiàn)解。

他們正在經(jīng)歷與數(shù)據(jù)治理和合規(guī)性相關(guān)的挑戰(zhàn)，至少部分原因在于他們?nèi)绱丝焖俚亟邮艽髷?shù)據(jù)技術(shù)，而沒(méi)有首先解決所有數(shù)據(jù)質(zhì)量、隱私、安全和合規(guī)性問(wèn)題。