原文作者:Renato Manongdo,Teradata澳大利亞和新西蘭地區(qū)金融服務(wù)業(yè)高級咨詢顧問兼亞太地區(qū)商業(yè)價值評估實踐負(fù)責(zé)人
我最近為客戶提供項目咨詢服務(wù),幫助他們管理企業(yè)數(shù)據(jù)資產(chǎn)。咨詢服務(wù)始終圍繞同一個問題--怎樣靈活、積極地應(yīng)對商業(yè)分析需求,并保持?jǐn)?shù)據(jù)完整性和可靠性。此外,客戶還面臨數(shù)據(jù)供應(yīng)中提取、轉(zhuǎn)換和加載(ETL)成本激增的問題。
在討論中,大數(shù)據(jù)問題尤為突出,客戶意識到他們需要馴服大數(shù)據(jù)這頭“怪獸”的能力,同時不斷滿足傳統(tǒng)企業(yè)級結(jié)構(gòu)化關(guān)系數(shù)據(jù)的需求。我的解決方案是根據(jù)數(shù)據(jù)預(yù)期用途設(shè)置其完整性和可靠性級別。金牌、銀牌或銅牌是我們經(jīng)常聽到的數(shù)據(jù)價值分類方式。而實際上,我更喜歡使用“三只小豬蓋房子”(分別使用稻草、木頭和磚頭)的故事來說明,這個故事能更形象地反映數(shù)據(jù)存儲環(huán)境下與交付服務(wù)(成本)相對應(yīng)的不同保護級別(完整性和可靠性)。
財務(wù)數(shù)據(jù)、對外報告和法規(guī)遵從性數(shù)據(jù)需在“磚房”(BRICKS)環(huán)境中存儲處理。這些數(shù)據(jù)需要可靠的硬件基礎(chǔ)設(shè)施,并與其原始來源保持一致。企業(yè)中多個職能部門使用產(chǎn)品服務(wù)定價決策、銷售業(yè)績及分析以及至關(guān)重要的員工/管理層薪酬激勵機制計算等財務(wù)數(shù)據(jù),這是很常見的情況。
精心設(shè)計的“木房”(STICK)環(huán)境可確保存儲數(shù)據(jù)牢固耐用。該環(huán)境專用于應(yīng)用程序,而并非針對企業(yè)級使用和跨職能部門數(shù)據(jù)共享而設(shè)計。該數(shù)據(jù)類型可專門用于數(shù)據(jù)轉(zhuǎn)換,通常包括大量營銷數(shù)據(jù)集市。僅數(shù)據(jù)轉(zhuǎn)換、協(xié)調(diào)及沿襲等必要功能即可滿足特定商業(yè)用途。與上述“磚房”相比,“木房”從本質(zhì)上講,成本更低,速度更快。
最后介紹“草房”(HAY)。“草房”實際上是指在需要使用數(shù)據(jù)的特定日期對數(shù)據(jù)進行轉(zhuǎn)換、分組及匯總。其中,數(shù)據(jù)可能以原始來源的數(shù)據(jù)格式存在,幾乎不需要任何數(shù)據(jù)結(jié)構(gòu)。用戶可任意調(diào)整數(shù)據(jù)格式。雖然 “草房”設(shè)計無法輕易復(fù)制或縱向擴展,卻適用于應(yīng)對非特定、非重復(fù)性商業(yè)問題。該方案對數(shù)據(jù)協(xié)調(diào)及復(fù)制的需求低。
使用“三只小豬”的類比相當(dāng)直觀,但具體解決方案應(yīng)參考數(shù)據(jù)管控(Data Governance)方針。如能應(yīng)對自如,業(yè)務(wù)部門希望快速獲得低成本解決方案;而IT部門則需要依托可靠的解決方案,提供健全、可靠的服務(wù)。這也是業(yè)務(wù)及IT部門大多數(shù)討論中的固有矛盾。
由于部署迅速、成本低且失敗的代價低,“草房”解決方案備受關(guān)注。在新的經(jīng)濟機制下,特別是在自助式環(huán)境下用戶對數(shù)據(jù)(包括大數(shù)據(jù))價值的認(rèn)可,是數(shù)據(jù)實驗室和探索環(huán)境快速發(fā)展的原因。因此,業(yè)務(wù)部門選擇快速、低成本的解決方案也不足為奇。
但將“草房”方案升級為“木房”或“磚房”環(huán)境時,IT部門的成本令人非常震驚。“為什么他們不能使用我們兩周內(nèi)設(shè)計的解決方案?”他們可以。但在“草房”的基礎(chǔ)上部署“磚房”甚至是“木房”方案都行不通。利用“草房”的設(shè)計方案部署“木房”及“磚房”方案,將浪費IT部門大量預(yù)算。其主要價值在于確定將提供信息的有效性。
Teradata天睿公司基于對數(shù)據(jù)不同用途的理解,實現(xiàn)企業(yè)級信息管理,旗下各種平臺解決方案可迎合“磚房”(整合數(shù)據(jù)倉庫)、“木房”(數(shù)據(jù)專用平臺)和“草房”(Teradata Aster、Hadoop)的各種需求。其主要挑戰(zhàn)是識別數(shù)據(jù)重要性的數(shù)據(jù)管控策略和過程。在“草房”環(huán)境中設(shè)計出的“創(chuàng)意”方案需遷移至更穩(wěn)定的環(huán)境時,參與數(shù)據(jù)管理方式(草房、木房還是磚房)決策的相關(guān)負(fù)責(zé)人需要全面了解下游數(shù)據(jù)的重要性。
在“三只小豬”的類比中當(dāng)然少不了大灰狼,更多信息請關(guān)注未來的文章。
Renato Manongdo是Teradata天睿公司澳大利亞和新西蘭地區(qū)金融服務(wù)業(yè)高級咨詢顧問兼亞太地區(qū)商業(yè)價值評估實踐負(fù)責(zé)人。