欧美,精品,综合,亚洲,好吊妞视频免新费观看,免费观看三级吃奶,一级a片女人自慰免费看

您當(dāng)前的位置是:  首頁(yè) > 資訊 > 國(guó)際 >
 首頁(yè) > 資訊 > 國(guó)際 >

AWS正式推出數(shù)據(jù)湖管理工具Lake Formation

2019-08-12 13:56:20   作者:   來源:CTI論壇   評(píng)論:0  點(diǎn)擊:


  Lake Formation可以將不同來源的數(shù)據(jù)移入數(shù)據(jù)湖中,并對(duì)數(shù)據(jù)進(jìn)行爬梳、編目和整理,以利後續(xù)分析使用
  AWS在去年re:Invent 2018大會(huì)上介紹的數(shù)據(jù)湖管理工具AWS Lake Formation,現(xiàn)在推出正式版,用戶可以使用AWS Lake Formation對(duì)數(shù)據(jù)進(jìn)行擷取、清理、分類、轉(zhuǎn)換以及保護(hù)的工作,方便後續(xù)分析或是機(jī)器學(xué)習(xí)使用。
  AWS提到,只要企業(yè)開始使用數(shù)字格式的數(shù)據(jù),那就可能需要建立一個(gè)數(shù)據(jù)倉(cāng)儲(chǔ),從CRM或是ERP等營(yíng)運(yùn)系統(tǒng)收集數(shù)據(jù),并給其他決策支援系統(tǒng)使用,這些數(shù)據(jù)包括未組織的原始數(shù)據(jù)、日志、圖片、影片或是掃描的文件等,而這也是數(shù)據(jù)湖的概念,將所有數(shù)據(jù)以各種規(guī)模與形式,儲(chǔ)存在中央儲(chǔ)存庫(kù)中。
  而AWS新推出的數(shù)據(jù)湖服務(wù)Lake Formation,能簡(jiǎn)化數(shù)據(jù)湖的管理工作,用戶可以使用中央控制臺(tái),處理建置和配置數(shù)據(jù)湖繁雜的工作,包括載入不同來源的數(shù)據(jù)、監(jiān)控?cái)?shù)據(jù)流、設(shè)定數(shù)據(jù)分區(qū)、加密和管理金鑰,以及格式轉(zhuǎn)換與監(jiān)控營(yíng)運(yùn)等工作。
  只要在Lake Formation中指定數(shù)據(jù)來源,系統(tǒng)就會(huì)自動(dòng)從數(shù)據(jù)庫(kù)和物件儲(chǔ)存擷取數(shù)據(jù),并將這些數(shù)據(jù)儲(chǔ)存到Amazon S3數(shù)據(jù)湖中,以適當(dāng)?shù)拇笮∨c方式整理,增加存取效能,并以機(jī)器學(xué)習(xí)演算法清理和分類數(shù)據(jù),為敏感數(shù)據(jù)提供存取保護(hù)。
  用戶還可以使用Glue ML Transforms刪除數(shù)據(jù)湖中重復(fù)的數(shù)據(jù),提高後續(xù)分析數(shù)據(jù)的效率,避免因?yàn)橹貜?fù)的數(shù)據(jù),造成分析工作的混淆。AWS提到,這項(xiàng)工作并非單純透過鍵值比對(duì),就能找出重復(fù)的數(shù)據(jù),很多情況需要進(jìn)行模糊比對(duì),像是當(dāng)用戶需要在不同表格查詢類似的項(xiàng)目時(shí),就需要使用模糊連接(Fuzzy Join),在不共用唯一鍵值的兩個(gè)數(shù)據(jù)庫(kù)表格查詢相似數(shù)據(jù)。
  在保護(hù)數(shù)據(jù)存取方面,用戶可以在Lake Formation中,定義精細(xì)的存取政策,保護(hù)Glue Data Catalog中的元數(shù)據(jù),以及儲(chǔ)存在Amazon S3的數(shù)據(jù),AWS提到,在數(shù)據(jù)湖中管理存取權(quán)限是一件復(fù)雜的任務(wù),因?yàn)閿?shù)據(jù)的各種特性,包括結(jié)構(gòu)化與否、敏感性或是可存取的數(shù)據(jù)范圍不一,而Lake Formation賦予用戶以IAM使用者、角色、群組和AD來管理數(shù)據(jù)存取,也能夠拒絕表格特定的科目被存取。
【免責(zé)聲明】本文僅代表作者本人觀點(diǎn),與CTI論壇無(wú)關(guān)。CTI論壇對(duì)文中陳述、觀點(diǎn)判斷保持中立,不對(duì)所包含內(nèi)容的準(zhǔn)確性、可靠性或完整性提供任何明示或暗示的保證。請(qǐng)讀者僅作參考,并請(qǐng)自行承擔(dān)全部責(zé)任。

專題

CTI論壇會(huì)員企業(yè)