2019年11月19日,華為宣布開源數(shù)據(jù)虛擬化引擎HetuEngine(開源版本的HetuEngine叫openHetu),今日,openHetu正式更名為openLooKeng,HetuEngine更名為LooKengEngine。openLooKeng是一款開源的高性能數(shù)據(jù)虛擬化引擎。提供統(tǒng)一SQL接口,具備跨數(shù)據(jù)源/數(shù)據(jù)中心分析能力以及面向交互式、批、流等融合查詢場景。同時(shí)增強(qiáng)了前置調(diào)度、跨源索引、動態(tài)過濾、跨源協(xié)同、水平拓展等能力。
隨著大數(shù)據(jù)技術(shù)的應(yīng)用和發(fā)展,數(shù)據(jù)種類越來越多,數(shù)據(jù)分布越來越廣,查詢場景也越來越復(fù)雜,這使得大數(shù)據(jù)使用更加困難。為了改善大數(shù)據(jù)的易用性,華為發(fā)起數(shù)據(jù)虛擬化引擎openLooKeng開源項(xiàng)目,旨在解決上述問題:
- 統(tǒng)一SQL接口訪問多種數(shù)據(jù)源
- 免數(shù)據(jù)搬遷,在數(shù)據(jù)所在地對數(shù)據(jù)進(jìn)行處理,并且支持跨數(shù)據(jù)中心、跨云處理
- 面向交互式、批、流等融合查詢的場景(第一個(gè)版本支持交互式查詢場景)
此外,該項(xiàng)目還提供了Coordinator AA高可靠、可擴(kuò)展的數(shù)據(jù)源connector框架等能力,讓用戶及大數(shù)據(jù)解決方案伙伴更方便的使用openLooKeng。
openLooKeng使用了業(yè)界著名的開源SQL引擎Presto來提供交互式查詢分析基礎(chǔ)能力,并繼續(xù)在融合場景查詢、跨數(shù)據(jù)中心/云、數(shù)據(jù)源擴(kuò)展、性能、可靠性、安全性等方面發(fā)展,讓數(shù)據(jù)治理、使用更簡單。
作為開源社區(qū),openLooKeng開源項(xiàng)目采用商業(yè)友好的Apache License 2.0發(fā)行許可證,讓開發(fā)者、用戶和伙伴使用更自由,并期待更多大數(shù)據(jù)領(lǐng)域的開發(fā)者參與到社區(qū),共建、共享,共同推動社區(qū)的繁榮發(fā)展。
openLookeng社區(qū)主頁: https://openlookeng.io
openLookeng代碼托管地址:
https://gitee.com/openlookeng
https://github.com/openlookeng
華為深度參與全球開源組織,為社區(qū)積極貢獻(xiàn)力量:
- 國際主流開源基金會的頂級成員:Linux基金會的白金會員、Apache基金會的白金贊助方、OpenStack基金會的白金會員、Eclipse基金會的戰(zhàn)略會員。
- 開源社區(qū)/項(xiàng)目的貢獻(xiàn)者:華為目前在主流開源社區(qū)中擁200多個(gè)TSC、PMC、PTL、Maintainer、Committer等席位,以及十多個(gè)董事席位服務(wù)于各開源項(xiàng)目。在全球第一大社區(qū)Linux內(nèi)核社區(qū)中,華為綜合貢獻(xiàn)全球排名第四;云原生社區(qū)CNCF,華為綜合貢獻(xiàn)全球排名第五;Docker全球排名第5。
- 通過開源openEuler(Linux 發(fā)行版)、Mindspore(全場景深度學(xué)習(xí)框架)、SODA(智能開放的數(shù)據(jù)自治平臺)、Apache CarbonData(大數(shù)據(jù))、Apache微服務(wù)項(xiàng)目ServiceComb、KubeEdge(邊緣計(jì)算)、Volcano(高性能調(diào)度引擎)等等,逐步把華為長期投資和積累的大量基礎(chǔ)軟件能力,不斷完善并逐步貢獻(xiàn)到開源社區(qū)中。