當企業(yè)組織在部署實施其計劃遇到挑戰(zhàn)時,往往會感到灰心。關于大數(shù)據(jù),當前對于其相關技術的缺乏、其、數(shù)據(jù)的不可預測性、不可持續(xù)的成本,以及需要特別針對大數(shù)據(jù)項目制定相關商業(yè)案例的需求等等問題,都可能導致企業(yè)的大數(shù)據(jù)項目陷入困頓。
但是,鑒于大數(shù)據(jù)所具備的改革企業(yè)業(yè)務的強大能力,當前的企業(yè)組織克服這些挑戰(zhàn),并積極的實現(xiàn)大數(shù)據(jù)項目的價值是至關重要的。云服務可以幫助企業(yè)實現(xiàn)其目標。在本文中,我們將為廣大讀者朋友們分析企業(yè)在實施大數(shù)據(jù)項目時所面臨的最大挑戰(zhàn),并還將詳細解釋如何在云中有效克服這些挑戰(zhàn)。
現(xiàn)如今,企業(yè)管理者們幾乎每天都不可避免的會看到諸如 大數(shù)據(jù) 或 云服務 這樣的字眼。為了確保在當今的市場上具有競爭力,企業(yè)必須做出明智的業(yè)務決策,這些業(yè)務決策將產生真正的結果,無論這些結果是幫助增加企業(yè)的營收,留住客戶還是提高產品的質量。而大數(shù)據(jù)分析項目則是實現(xiàn)這些目標的關鍵因素。
IDG公司將大數(shù)據(jù)定義為 企業(yè)從各種來源所收集的大量數(shù)據(jù)信息,包括來自企業(yè)應用程序/數(shù)據(jù)庫的交易數(shù)據(jù)、社交媒體數(shù)據(jù)、移動設備數(shù)據(jù),非結構化數(shù)據(jù)/文檔,機器生成的數(shù)據(jù)等等。 IDG稱:各種各樣的高容量、高傳輸速度的數(shù)據(jù)信息資產可以為企業(yè)提供更好的見解,幫助企業(yè)做出業(yè)務決策。
大數(shù)據(jù)使企業(yè)能夠更深入地了解自己的業(yè)務,并實時制定戰(zhàn)略決策。事實上,據(jù)IDG 的《大數(shù)據(jù)和分析調研報告》稱:有1/3的受訪者表示,由于他們的所在企業(yè)實施了大數(shù)據(jù)項目,使得其決策質量得到了提高,有助于更好地進行規(guī)劃和預測。
但是,就如同任何新興技術一樣,由其所帶來的挑戰(zhàn)也是并存的。第一大挑戰(zhàn)是海量的數(shù)據(jù)量和傳輸速度。實時變化的海量數(shù)據(jù)意味著企業(yè)現(xiàn)有的工具和方法都將不再奏效。企業(yè)還要需要考慮數(shù)據(jù)的來源:在某些情況下,大數(shù)據(jù)來自于數(shù)百萬個地方 這些來源包括:客戶、傳感器、網(wǎng)站和社交媒體。
企業(yè)以前所采用的方法是:通過構建或擴展企業(yè)容量的方式來處理大數(shù)據(jù)所帶來的工作負載。這是一項資源密集型的舉措,其成本代價昂貴、耗時。需要花費大量IT人員的時間和技能,并且無法使您企業(yè)的業(yè)務足夠快的實現(xiàn)遷移。您企業(yè)最終可能需要花費更多的時間和資金成本在基礎設施上,而不是將其用于打造好的產品和服務。
云服務可以幫助解決很多這些問題。毫不奇怪,在未來三到五年內,云服務和預測分析將是最有可能對企業(yè)產生顛覆性影響的三大技術之一。(第三個是自助IT服務。)
如果您企業(yè)要利用大數(shù)據(jù)進行預測分析,那么,憑借著其諸多的優(yōu)勢,云服務可能是一大關鍵的推動因素。
企業(yè)部署大數(shù)據(jù)項目的前5大挑戰(zhàn)
盡管已經(jīng)有了大量的成功案例,但真正實施一項大數(shù)據(jù)項目并不是一件易事。事實上,其提出了許多挑戰(zhàn),其中任何一項挑戰(zhàn)都可能使項目在開始之前就脫軌。在其大數(shù)據(jù)和分析調查報告中,IDG確定了如下這5大挑戰(zhàn):
1、對于相關技能的缺乏
大數(shù)據(jù)系統(tǒng)的發(fā)展速度是如此之快,以至于當前一般的企業(yè)幾乎不可能跟上其發(fā)展的步伐。新的工具、功能和框架在幾個月內就能夠發(fā)展和成熟,導致企業(yè)在新興大數(shù)據(jù)技能方面存在著很大的差距,也就很容易阻礙企業(yè)大數(shù)據(jù)項目的發(fā)展。
事實上,有48%的企業(yè)受訪者認為,在數(shù)據(jù)分析和數(shù)據(jù)管理技能方面的人才的短缺是他們所在企業(yè)所面臨的第一大挑戰(zhàn)。對大數(shù)據(jù)技能的需求(尤其是在分析領域)的需求如此之大,以至于70%的受訪者均表示他們計劃在未來的12到18個月內雇用具備大數(shù)據(jù)分析技能的人才。
企業(yè)在如何進行長期的IT投資,利用現(xiàn)有的技能,并獲得新的技能方面正面臨著質疑。還有一個問題是:面臨著諸如Hive、Pig、MapReduce、Spark、NoSQL存儲等等一系列的技術和框架,企業(yè)要如何進行抉擇,以最好的適應其特定的大數(shù)據(jù)項目。同時,企業(yè)業(yè)務對于高度分析和數(shù)據(jù)管理技能的強勁需求也在持續(xù)不斷的增長。
利用云服務,企業(yè)可以利用最新的技術,而無需投入大量的時間和資源來進行持續(xù)的設置、維護和升級工作。云服務還允許企業(yè)使用他們已有的技能,而托管服務則可以完美的補充他們所缺乏的技能。
2、成本方面的挑戰(zhàn)
47%的受訪者表示,當實施大數(shù)據(jù)項目時,預算限制是當今企業(yè)所面臨的第二大挑戰(zhàn)。成本因素已經(jīng)連續(xù)多年成為絕大多數(shù)企業(yè)所頭號關注的事實便證明了這一挑戰(zhàn)。
大多數(shù)大數(shù)據(jù)技術需要大量的服務器集群,而這需要很長的配置和設置周期,進而導致了大量的資本支出和維護開銷。更為復雜的是,隨著現(xiàn)有應用程序或新業(yè)務需求的多樣化數(shù)據(jù)量的不斷增長,數(shù)據(jù)傳輸速度不斷增加,可能導致不可持續(xù)的IT成本。企業(yè)需要知道如何在盡量壓縮開支的情況下從大數(shù)據(jù)中獲取盡可能多的價值。
他們必須能夠擴展基礎架構以管理大數(shù)據(jù),同時降低IT成本。這正是云服務所能夠幫助企業(yè)做到的。云服務消除了企業(yè)采購和維護硬件和軟件基礎設施的需要,以及與之相關的大量資本支出。進而使得企業(yè)得以能夠將有限的資金重新分配到其核心創(chuàng)新中。
3、數(shù)據(jù)的不可預測性
大數(shù)據(jù)來自各種各樣的來源,從企業(yè)傳統(tǒng)遺留應用程序和交易系統(tǒng)到由機器、移動設備、網(wǎng)絡日志和社交媒體生成的數(shù)據(jù)。這使得預測所需容量變得更加困難和低效。單個事件可能會導致數(shù)據(jù)量和工作量的突然變化。例如,一家金融服務機構在任何一天都可能會經(jīng)歷10倍的數(shù)量波動,而具體的波動則取決于市場狀況,是很難預測的。
四分之一的企業(yè)受到大數(shù)據(jù)對存儲容量/基礎設施日益增長的需求的挑戰(zhàn)。企業(yè)不僅需要規(guī)劃基礎架構,還必須確定如何輕松擴展,以滿足不斷變化的存儲和計算要求。對于幾乎任何企業(yè)來說,將其基礎架構容量規(guī)模擴展10倍來支持峰值需求,讓這些額外的容量在90%的時間內均處于閑置狀態(tài),無疑是非常低效且不符合成本效益的。其他問題包括由于數(shù)據(jù)的增長所導致的基礎設施和維護成本不斷升高,還需通過實驗來確保足夠的帶寬來支持創(chuàng)新,以及數(shù)據(jù)采集和分析的成本。
借助云服務,企業(yè)無需為最大容量調整其基礎架構的規(guī)模大小。其彈性屬性使企業(yè)可以根據(jù)需要實現(xiàn)動態(tài)擴展或縮減基礎架構。
4、安全
隨著企業(yè)收集、存儲和分析來自新的和現(xiàn)有來源的越來越多的數(shù)據(jù)信息,數(shù)據(jù)的安全性變得更受關注。接近35%的受訪者表示不確定或不認為他們所在企業(yè)現(xiàn)有的安全解決方案和產品提供了足夠的數(shù)據(jù)安全性。企業(yè)正在努力的控制數(shù)據(jù)訪問,保護數(shù)據(jù)資產和保護基礎設施。最終,企業(yè)需要決定如何確保符合合規(guī)性、數(shù)據(jù)管理和安全性的要求,而又不會影響到靈活敏捷性和性能。例如,醫(yī)療保健行業(yè)的企業(yè)必須遵守HIPAA的合規(guī)性要求,這是一項復雜的任務,不僅要保護存儲數(shù)據(jù)的本身,還要確保通過計算機、打印機和復印機訪問數(shù)據(jù)時的安全。
金融服務業(yè)的企業(yè)也同樣面臨著挑戰(zhàn)。大數(shù)據(jù)是最近發(fā)展得最有前途的新技術之一,其專注于提供改善客戶體驗的,降低風險并滿足合規(guī)性要求。而當涉及到我們所討論的大數(shù)據(jù)挑戰(zhàn),比如安全性時,金融服務企業(yè)需要考慮:
其財務信息是否有著嚴格的管理和合規(guī)要求。
金融服務公司所創(chuàng)造或使用的所有數(shù)據(jù)基本上都是受監(jiān)管的,可能是敏感的或私人的數(shù)據(jù)信息。
金融服務機構必須遵守GLBA、SOX / J-SOX、MiFID II、Basel II、甚至 美國愛國者法案 的規(guī)定。
大數(shù)據(jù)也意味著您企業(yè)的信息并不是閑置狀態(tài):重點是使用這些數(shù)據(jù)來獲得更好的業(yè)務成果。這些數(shù)據(jù)不斷被多個用戶和系統(tǒng)生成、處理和分析。
結合日常的安全需求,如防范內部和外部的安全攻擊,保證數(shù)千客戶數(shù)據(jù)的安全和隱私,使得這方面挑戰(zhàn)的范圍更加明確。
即使是大數(shù)據(jù)安全方面的挑戰(zhàn),也可以通過選擇具有強大數(shù)據(jù)隱私保護和安全控制能力的供應商來解決。事實上,云服務比企業(yè)自有數(shù)據(jù)中心更安全并不罕見。由于云服務提供商正在提供強大的計算基礎架構,因此保持安全的環(huán)境符合他們的最大利益。為此,許多云提供商已經(jīng)積累了來自多家企業(yè)的最佳實踐方案和經(jīng)驗,并具有最嚴格的安全要求。
5、創(chuàng)建一個商業(yè)案例
在很多情況下,IT部門需要為大數(shù)據(jù)創(chuàng)建商業(yè)案例。據(jù)IDG稱,企業(yè)的IT負責人比非IT負責人更有可能負責確定需求和解決方案方面的業(yè)務需求。他們需要推薦和選擇供應商,批準和授權采購,并在IT團隊之外銷售解決方案。但企業(yè)業(yè)務部門的領導也并不能置身事外。IDG表示,45%的受訪者表示其首席執(zhí)行官參與了大數(shù)據(jù)項目的制定實施。首席財務官和業(yè)務線主管們也越來越多地在大數(shù)據(jù)項目中發(fā)揮關鍵作用。
如果你企業(yè)還沒有建立起一個穩(wěn)定的商業(yè)案例,并收集來自強大的盟友,如關鍵業(yè)務利益相關者的意見,那么你企業(yè)很可能不會獲得大數(shù)據(jù)項目所需資源的批準。
有四分之一的受訪者表示,展示投資回報率是所有企業(yè)的大數(shù)據(jù)項目所面臨的挑戰(zhàn)。事實是,大數(shù)據(jù)還相對不成熟,可能涉及一定程度的實驗,其成本可能會非常高。為了針對具體的項目舉措進行實驗,企業(yè)必須做出無差別的繁重工作,這需要花費大量的時間和精力。這無疑會放慢創(chuàng)新的步伐,最終降低大數(shù)據(jù)項目的價值。
在許多情況下,證明投資回報最簡單的方法是降低總體擁有成本。但如前所述,傳統(tǒng)基礎設施管理大數(shù)據(jù)的成本是不可持續(xù)的。使用云服務重新構建現(xiàn)有工作負載可幫助企業(yè)顯著的降低成本。另外,利用云服務還可以通過降低實驗成本來加速創(chuàng)新的步伐。成功的實驗將顯示出可衡量的效益,一旦到位,將激發(fā)更多的需求。
使用云服務來克服上述挑戰(zhàn)
正確的云計算方法有助于最大限度地減少部署大數(shù)據(jù)應用程序的障礙,甚至消除部分障礙。像大數(shù)據(jù)一樣,云服務是具有高度顛覆性的一大力量,其正在改變企業(yè)的運作方式和經(jīng)營方式。
而如果將云和大數(shù)據(jù)結合起來,其影響就更大了。
但是決定采用云服務也并不能在一夜之間就能夠解決您企業(yè)的大數(shù)據(jù)問題。而且,許多云服務提供商也僅僅只是提供了您企業(yè)所需要的所有服務的一部分。而且,他們需要進行大量的整合工作,這往往會讓你企業(yè)面臨又一重大問題,并且讓您難以取舍:價格還是可擴展性?性能還是易用性?靈活敏捷性還說安全性?
在評估云提供商時,企業(yè)需要尋找可以直接解決這些挑戰(zhàn)的解決方案。
技能短缺:您企業(yè)需要廣泛的功能來構建、擴展和安全部署大數(shù)據(jù)應用程序。這些功能應涵蓋大數(shù)據(jù)的所有不同方面,從數(shù)據(jù)收集到存儲、分析和數(shù)據(jù)可視化。企業(yè)應該尋找能夠提供托管服務的云提供商,以盡量減少管理開銷,并能夠與大數(shù)據(jù)中廣泛的技術充分兼容。這將使您企業(yè)能夠充分利用您擁有的技能,并獲得幫助。
成本和商業(yè)案例的制定:企業(yè)遷移到云服務將無需采購和維護硬件。為了幫助構建商業(yè)案例,請選擇一家可以幫助降低TCO的提供商。靈活的定價模式:從預留實例(Reserved Instance)到按需實例(On-demand Instance),甚至是競價實例(Spot Instance)都可以提供巨大的節(jié)省機會,降低管理和處理數(shù)據(jù)的成本結構。
數(shù)據(jù)的不可預測性:您企業(yè)的云服務提供商應該允許您快速輕松地進行擴展或縮減以響應需求的變化。例如,將存儲從計算容量中分離出來,使企業(yè)只選擇他們所需要的資源類型和規(guī)模大小,并只支付他們所使用的資源。
計算選項:您企業(yè)的提供商應該提供適用于最廣泛的大數(shù)據(jù)工作負載的多種多樣的計算選項。這包括計算優(yōu)化的實例;用于高性能計算的GPU實例;為內存密集型應用程序提供內存優(yōu)化的具有兆字節(jié)內存的實例;以及針對大規(guī)模并行數(shù)據(jù)倉庫應用程序,Hadoop或NoSQL數(shù)據(jù)庫的非??斓腟SD存儲的存儲優(yōu)化實例。
安全性:尋找一款云計算基礎設施,旨在保證安全,并經(jīng)常審核其是否符合各種行業(yè)標準,如HIPAA、PCI DSS或FedRAMP。確保云提供商提供適合審計的服務和合規(guī)計劃,以幫助您企業(yè)滿足安全和管理要求。并確保提供商提供所有服務的靜態(tài)和傳輸數(shù)據(jù)加密,以及廣泛的數(shù)據(jù)加密選項。
云服務的本質使其非常適合大數(shù)據(jù)。由于云計算的可擴展性,彈性和經(jīng)濟模型,可以讓企業(yè)根據(jù)需要進行規(guī)?;s放,而無需在高峰容量的環(huán)境中構建和投資。云計算使企業(yè)能夠降低與繁重工作相關的成本,而將節(jié)省的資金再投資于能夠為企業(yè)提供價值的項目??珊饬康墓?jié)省將有助于獲得更多的贊助商,而這些節(jié)余可以用來資助其他大數(shù)據(jù)項目。
結論
展望未來,大數(shù)據(jù)將在幫助企業(yè)做出更明智、更快速的業(yè)務決策方面發(fā)揮越來越重要的作用。 但是,企業(yè)不必因技能短缺,成本有限,數(shù)據(jù)的不可預測性,安全問題或創(chuàng)建商業(yè)案例方面的困難而受到阻礙。云服務,可以解決許多這些要求。其使得使企業(yè)能夠迭代大數(shù)據(jù)分析,專注于業(yè)務需求,而無需擔心收集、存儲和處理大數(shù)據(jù)所需的IT基礎架構。借助由云服務供應商所提供的解決方案,企業(yè)可以以更快,更低的成本來分析數(shù)據(jù),從而更快地實現(xiàn)業(yè)務目標。
文章編輯:CobiNet(寧波)
本公司專注于電訊配件,銅纜綜合布線系列領域產品研發(fā)生產超五類,六類,七類線,屏蔽模塊,配線架及相關模塊配件的研發(fā)和生產。
?2016-2019寧波科博通信技術有限公司版權所有浙ICP備16026074號