華為全球產(chǎn)業(yè)展望(GIV)報(bào)告顯示,全球數(shù)據(jù)量將從2018年32.5ZB快速增長(zhǎng)到2025年的180ZB。但企業(yè)生產(chǎn)活動(dòng)產(chǎn)生的數(shù)據(jù)中只有不到2%被保存,而其中得到分析利用的不足10%。由此可以看出,在我們?nèi)巳硕继岽髷?shù)據(jù)的今天,數(shù)據(jù)的價(jià)值還遠(yuǎn)遠(yuǎn)沒(méi)有釋放。
為什么會(huì)產(chǎn)生這一狀態(tài)?原因有很多,例如從數(shù)據(jù)本身來(lái)說(shuō),數(shù)據(jù)源日益增多,越來(lái)越多的數(shù)據(jù)孤島被立起,越來(lái)越難以進(jìn)行有效的數(shù)據(jù)治理;從技術(shù)角度來(lái)說(shuō),Hadoop、Spark、MPP、NoSQL、kafka、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)不斷發(fā)展,不同技術(shù)解決不同問(wèn)題,如何進(jìn)行異構(gòu)融合是一個(gè)瓶頸。
總結(jié)看來(lái),大數(shù)據(jù)運(yùn)營(yíng)之難可以概括為三個(gè)方面。
數(shù)據(jù)價(jià)值實(shí)現(xiàn)之難
數(shù)據(jù)接入難、分析難、消費(fèi)難是實(shí)現(xiàn)數(shù)據(jù)價(jià)值的三大挑戰(zhàn),多樣性的業(yè)務(wù)、多樣性的系統(tǒng)、多樣性的數(shù)據(jù),導(dǎo)致數(shù)據(jù)在以往的數(shù)據(jù)平臺(tái)中無(wú)法被有效利用,無(wú)論是數(shù)據(jù)倉(cāng)庫(kù)還是Hadoop大數(shù)據(jù)平臺(tái),比較容易形成數(shù)據(jù)孤島和“數(shù)據(jù)沼澤”。
具體來(lái)說(shuō),1個(gè)財(cái)經(jīng)數(shù)據(jù)往往涉及30+系統(tǒng),1個(gè)開(kāi)發(fā)流程涉及400+系統(tǒng),再加上數(shù)據(jù)接口協(xié)議不統(tǒng)一,所以也就導(dǎo)致數(shù)據(jù)接入難的問(wèn)題;數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)處理平臺(tái)組件眾多,使得數(shù)據(jù)分析鏈路變長(zhǎng),多系統(tǒng)集成難度大,也就導(dǎo)致數(shù)據(jù)融合分析難;數(shù)據(jù)消費(fèi)方面,以某企業(yè)IT系統(tǒng)舉例,數(shù)據(jù)源有130+萬(wàn)張表,數(shù)據(jù)平臺(tái)有14+萬(wàn)張表,而可消費(fèi)的只有5000張表,要從130+萬(wàn)張表中尋找目標(biāo)數(shù)據(jù)如大海撈針般需耗時(shí)30天左右,進(jìn)一步將目標(biāo)數(shù)據(jù)加工成業(yè)務(wù)可使用數(shù)據(jù)也要耗時(shí)7天左右,找數(shù)難、取數(shù)難尤為嚴(yán)重。
怎么解決這些難題,華為給出的答案是:從數(shù)據(jù)接入、數(shù)據(jù)處理和數(shù)據(jù)使能三個(gè)層面,重定義數(shù)據(jù)基礎(chǔ)設(shè)施。
FusionData:羅馬、高斯與大禹
6月5日,華為發(fā)布智能數(shù)據(jù)解決方案FusionData,以多樣性算力為依托,其包括了數(shù)據(jù)接入、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)處理、數(shù)據(jù)使能等關(guān)鍵部件,從而打通全域數(shù)據(jù)連接、建立統(tǒng)一的數(shù)據(jù)平臺(tái)、提升實(shí)時(shí)數(shù)據(jù)服務(wù)能力。
FusionData支持智能的數(shù)據(jù)全生命周期管理,華為希望引領(lǐng)多樣性數(shù)據(jù)連接,重定義存儲(chǔ)架構(gòu),重定義數(shù)據(jù)處理平臺(tái),引領(lǐng)數(shù)據(jù)使能。如何重定義數(shù)據(jù)基礎(chǔ)設(shè)施,釋放數(shù)據(jù)價(jià)值?FusionData有三個(gè)關(guān)鍵“角色”支撐。
ROMA:
條條大路通羅馬
應(yīng)對(duì)數(shù)據(jù)接入難題,智能數(shù)據(jù)連接部件ROMA支持1100多種應(yīng)用和異構(gòu)數(shù)據(jù)源接入,通過(guò)開(kāi)放式數(shù)據(jù)接入框架可靈活接入第三方數(shù)據(jù)源。并且其支持分布式消息和API的路由統(tǒng)一配置管理,以及數(shù)據(jù)多通道傳輸,從而讓數(shù)據(jù)自由流動(dòng)起來(lái)。
GaussDB:
如高斯般的數(shù)據(jù)分析天賦
華為上個(gè)月剛剛發(fā)布的分布式數(shù)據(jù)庫(kù)GaussDB是FusionData智能數(shù)據(jù)處理部件的核心組成。GaussDB是一個(gè)企業(yè)級(jí)AI-Native分布式數(shù)據(jù)庫(kù),它將AI能力植入到數(shù)據(jù)庫(kù)內(nèi)核的架構(gòu)和算法中,可以提供更高性能、更高可用、更多算力支持的分布式數(shù)據(jù)庫(kù)。
在實(shí)現(xiàn)對(duì)多樣數(shù)據(jù)源的“羅馬”式數(shù)據(jù)接入基礎(chǔ)之上,F(xiàn)usionData智能數(shù)據(jù)處理部件解決數(shù)據(jù)融合分析難題。其中還包括智能分布式存儲(chǔ)FusionStorage 8.0,以及大數(shù)據(jù)平臺(tái)FusionInsight等,通過(guò)多類型數(shù)據(jù)融合存儲(chǔ)、融合分析引擎等技術(shù)實(shí)現(xiàn)從單一處理到智能融合處理,加速實(shí)現(xiàn)數(shù)據(jù)價(jià)值。
DAYU:
如大禹治水般進(jìn)行數(shù)據(jù)使能
其對(duì)下承接智能數(shù)據(jù)處理能力,對(duì)上使能數(shù)據(jù)的行業(yè)應(yīng)用。智能數(shù)據(jù)使能部件DAYU通過(guò)智能元數(shù)據(jù)感知和OneQuery Turbo技術(shù)構(gòu)建數(shù)據(jù)處理與業(yè)務(wù)創(chuàng)新的橋梁。一方面,自動(dòng)感知和采集多個(gè)系統(tǒng)的元數(shù)據(jù),并進(jìn)行智能化分級(jí)分類,支撐數(shù)據(jù)尋找秒級(jí)響應(yīng);另一方面,提供統(tǒng)一的數(shù)據(jù)訪問(wèn)接口,使得數(shù)據(jù)獲取速度提升10倍以上。
FusionData:提供數(shù)據(jù)湖能力
由此可以看出,F(xiàn)usionData解決了各方數(shù)據(jù)的匯聚統(tǒng)一接入問(wèn)題,并提供了采-存-算-管-用全生命周期管理能力,讓數(shù)據(jù)存得下、流得動(dòng)、算得快、用得好,從而真正將數(shù)據(jù)資源轉(zhuǎn)變?yōu)閿?shù)據(jù)資產(chǎn)。
通過(guò)將存儲(chǔ)與計(jì)算分離,存儲(chǔ)結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù),并通過(guò)統(tǒng)一視圖提供開(kāi)放訪問(wèn),F(xiàn)usionData儼然成為一個(gè)“數(shù)據(jù)湖”。
事實(shí)上,華為構(gòu)建智能數(shù)據(jù)解決方案的目的就是為用戶打造數(shù)據(jù)湖(DATA LAKE)能力。這一概念最早由Pentaho的CTO James Dixon 提出:“如果數(shù)據(jù)集市是一個(gè)商店的瓶裝水,數(shù)據(jù)被過(guò)濾包裝結(jié)構(gòu)化以供使用——數(shù)據(jù)湖則是在更自然狀態(tài)下的大量的水。數(shù)據(jù)湖中的數(shù)據(jù)來(lái)源于不同地方,用戶可以進(jìn)入數(shù)據(jù)湖中按需提取所需要的數(shù)據(jù)”。
也就是說(shuō),所有的數(shù)據(jù)本質(zhì)上為上層應(yīng)用調(diào)用,數(shù)據(jù)形成湖。數(shù)據(jù)湖不遷移,不隨硬件而動(dòng),通過(guò)數(shù)據(jù)使能,甚至讓上層應(yīng)用對(duì)下面數(shù)據(jù)無(wú)感知,最終“悄無(wú)聲息”釋放數(shù)據(jù)價(jià)值。
一家企業(yè)一個(gè)數(shù)據(jù)湖,一座城市一個(gè)數(shù)據(jù)湖,數(shù)據(jù)助推的行業(yè)智能化由此而來(lái)。
加速構(gòu)建“數(shù)據(jù)+智能”生態(tài)
“數(shù)據(jù)成為新生產(chǎn)資料,智能成為新生產(chǎn)力”。這是華為的判斷,也是業(yè)內(nèi)的共識(shí),這背后代表著新的數(shù)字經(jīng)濟(jì)時(shí)代。“數(shù)據(jù)+智能”改變各行各業(yè),并創(chuàng)造新的產(chǎn)業(yè)價(jià)值和社會(huì)價(jià)值。
華為更希望構(gòu)建開(kāi)放、合作、共贏的生態(tài)環(huán)境,這也是重定義數(shù)據(jù)基礎(chǔ)設(shè)施過(guò)程中必走的一步。通過(guò)聯(lián)合客戶和合作伙伴,從行業(yè)應(yīng)用、平臺(tái)工具、標(biāo)準(zhǔn)組織和社區(qū)三個(gè)層面完善產(chǎn)業(yè)生態(tài),這其中已經(jīng)有眾多的用戶和產(chǎn)業(yè)伙伴加入進(jìn)來(lái)。也只有如此,才能更快呈現(xiàn)“智能”這一新生產(chǎn)力的力量。