中興通訊高級(jí)副總裁 俞義方
隨著互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)、人工智能、物聯(lián)網(wǎng)等技術(shù)的飛速發(fā)展，全球數(shù)據(jù)量呈現(xiàn)爆發(fā)式增長(zhǎng)，遠(yuǎn)遠(yuǎn)超出傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)的處理能力，傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)無(wú)法適應(yīng)金融行業(yè)數(shù)字化轉(zhuǎn)型對(duì)新型金融科技（FinTech）發(fā)展的需要。比如，數(shù)據(jù)量的爆發(fā)式增長(zhǎng)與傳統(tǒng)數(shù)據(jù)庫(kù)有限容量之間的矛盾；雙十一、618 等購(gòu)物狂歡節(jié)期間，業(yè)務(wù)處理的高并發(fā)系統(tǒng)壓力與傳統(tǒng)數(shù)據(jù)庫(kù)性能無(wú)法水平擴(kuò)展的矛盾；越來(lái)越高標(biāo)準(zhǔn)的業(yè)務(wù)連續(xù)性要求與昂貴的傳統(tǒng)數(shù)據(jù)庫(kù)容災(zāi)技術(shù)越來(lái)越難以滿足要求的矛盾。因此，銀行核心系統(tǒng)迫切需要具備支持海量數(shù)據(jù)場(chǎng)景下的高性能、高擴(kuò)展、高可用等關(guān)鍵特征的數(shù)據(jù)庫(kù)，促使銀行核心數(shù)據(jù)庫(kù)由集中式向分布式架構(gòu)轉(zhuǎn)型。
近幾年，分布式數(shù)據(jù)庫(kù)技術(shù)取得突破性進(jìn)展，不僅實(shí)現(xiàn)了海量數(shù)據(jù)場(chǎng)景下的高性能、可擴(kuò)展性需求，還滿足了交易型數(shù)據(jù)庫(kù)必須支持的分布式事務(wù)、數(shù)據(jù)強(qiáng)一致性、高可用等特性。另一方面，X86 架構(gòu)的PC 服務(wù)器借助各種硬件加速技術(shù)（如SSD、RDMA、GPU 等），彌補(bǔ)了只有大型主機(jī)才具有的高性能、高可靠性短板。這些技術(shù)發(fā)展都為分布式數(shù)據(jù)庫(kù)替換金融核心數(shù)據(jù)庫(kù)提供了強(qiáng)有力的支撐。
打造具有“銀行基因”的數(shù)據(jù)庫(kù)GoldenDB
中興通訊研制的分布式數(shù)據(jù)庫(kù)GoldenDB， 采用share-nothing 架構(gòu)，是一款具有銀行基因的金融級(jí)分布式數(shù)據(jù)庫(kù)。GoldenDB 提供傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù)OLTP 的所有特性， 并且改變了傳統(tǒng)數(shù)據(jù)庫(kù)集中存儲(chǔ)的限制，采用分布式架構(gòu)存儲(chǔ)，從而實(shí)現(xiàn)了從計(jì)算層，存儲(chǔ)層的可擴(kuò)展性。
GoldenDB 分布式架構(gòu)，可以多地多機(jī)房部署。每個(gè)數(shù)據(jù)中心對(duì)外提供服務(wù)，當(dāng)一個(gè)數(shù)據(jù)中心發(fā)生異常時(shí)，由其他數(shù)據(jù)中心接管，從而保障系統(tǒng)的高可靠性。數(shù)據(jù)中心間進(jìn)行數(shù)據(jù)實(shí)時(shí)同步，并在接管時(shí)保證數(shù)據(jù)的全局一致性。GoldenDB 可以部署在全球多個(gè)區(qū)域，多個(gè)數(shù)據(jù)中心之間進(jìn)行數(shù)據(jù)容災(zāi)，每個(gè)數(shù)據(jù)中心包括計(jì)算節(jié)點(diǎn)、全局事務(wù)管理器、存儲(chǔ)節(jié)點(diǎn)和管理節(jié)點(diǎn)。多個(gè)數(shù)據(jù)中心的計(jì)算節(jié)點(diǎn)獨(dú)立運(yùn)行， 全局事務(wù)管理器之間同步全局事務(wù)信息，存儲(chǔ)節(jié)點(diǎn)之間實(shí)時(shí)同步業(yè)務(wù)數(shù)據(jù)，管理節(jié)點(diǎn)也實(shí)時(shí)同步元數(shù)據(jù)信息。
無(wú)共享分布式數(shù)據(jù)庫(kù)由計(jì)算節(jié)點(diǎn)集群、存儲(chǔ)節(jié)點(diǎn)集群、管理節(jié)點(diǎn)和全局事務(wù)管理器五個(gè)部分組成。組成分布式數(shù)據(jù)庫(kù)的各個(gè)節(jié)點(diǎn)無(wú)須共享任何資源，都是獨(dú)立自治的通用計(jì)算機(jī)節(jié)點(diǎn)，之間通過(guò)高速互聯(lián)的網(wǎng)絡(luò)通信，從而完成對(duì)應(yīng)用數(shù)據(jù)請(qǐng)求的快速處理和響應(yīng)。
其中，計(jì)算節(jié)點(diǎn)集群層是分布式數(shù)據(jù)庫(kù)的核心層，其由無(wú)狀態(tài)的計(jì)算節(jié)點(diǎn)組成。計(jì)算節(jié)點(diǎn)從驅(qū)動(dòng)層或者管理節(jié)點(diǎn)接收用戶的操作，進(jìn)行邏輯優(yōu)化和物理優(yōu)化，生成滿足分布式事務(wù)一致性的分布式查詢計(jì)劃。計(jì)算機(jī)節(jié)點(diǎn)在執(zhí)行分布式查詢計(jì)劃時(shí)，通過(guò)持續(xù)地訪問(wèn)存儲(chǔ)節(jié)點(diǎn)，從而完成用戶的最終操作請(qǐng)求。用戶可以根據(jù)應(yīng)用對(duì)可靠性、可用性、性能等因素的不同要求，對(duì)計(jì)算節(jié)點(diǎn)進(jìn)行合理的規(guī)劃和劃分。
存儲(chǔ)節(jié)點(diǎn)集群是應(yīng)用數(shù)據(jù)的最終存儲(chǔ)組件。所有的存儲(chǔ)節(jié)點(diǎn)組成一個(gè)或多個(gè)數(shù)據(jù)庫(kù)集群。一個(gè)集群中可以有一個(gè)數(shù)據(jù)庫(kù)，也可以有多個(gè)數(shù)據(jù)庫(kù)。數(shù)據(jù)庫(kù)集群由一個(gè)或多個(gè)安全組組成，集群中每個(gè)表中的數(shù)據(jù)按照某種策略進(jìn)行橫向分片后存放到對(duì)應(yīng)的安全組中，分片策略一般有復(fù)制策略、哈希策略、范圍策略、列表策略。隨著安全組數(shù)量的增加，每個(gè)安全組承載的數(shù)據(jù)量和讀寫負(fù)載會(huì)相應(yīng)地減少，從而在存儲(chǔ)節(jié)點(diǎn)集群內(nèi)部具備了讀能力和寫能力的水平擴(kuò)展。安全組是由一個(gè)或多個(gè)存儲(chǔ)節(jié)點(diǎn)構(gòu)成的數(shù)據(jù)庫(kù)節(jié)點(diǎn)組，組內(nèi)的數(shù)據(jù)庫(kù)節(jié)點(diǎn)擁有相同的數(shù)據(jù)。存儲(chǔ)節(jié)點(diǎn)組通過(guò)多數(shù)派協(xié)議實(shí)現(xiàn)數(shù)據(jù)的一致性。安全組內(nèi)的存儲(chǔ)節(jié)點(diǎn)數(shù)量越多，可靠性就越高，讀能力也得以進(jìn)一步擴(kuò)展。
管理節(jié)點(diǎn)在分布式數(shù)據(jù)庫(kù)中負(fù)責(zé)集群管理流程，不涉及業(yè)務(wù)的訪問(wèn)流程，無(wú)負(fù)載壓力，同樣通過(guò)多數(shù)派協(xié)議保證該節(jié)點(diǎn)的高可靠性。管理流程主要包括元數(shù)據(jù)管理、計(jì)算節(jié)點(diǎn)集群管理、存儲(chǔ)節(jié)點(diǎn)集群管理、任務(wù)管理以及運(yùn)維管理。
全局事務(wù)管理器在分布式數(shù)據(jù)庫(kù)中維護(hù)全局事務(wù)的全生命周期，是分布式事務(wù)控制中心，提供申請(qǐng)、釋放、查詢?nèi)质聞?wù)的能力。
GoldenDB 是一款兼容MySQL 的分布式數(shù)據(jù)庫(kù)產(chǎn)品，具備分布式事務(wù)、高性能、強(qiáng)一致高可用、線性擴(kuò)容和彈性伸縮、企業(yè)級(jí)安全等特性，能夠同時(shí)提供智能運(yùn)維、自動(dòng)化運(yùn)營(yíng)、監(jiān)控告警等配套設(shè)施。
1. 分布式事務(wù)
金融行業(yè)核心交易類業(yè)務(wù)對(duì)事務(wù)的一致性要求很高， 目前業(yè)界流行的最終一致性分布式事務(wù)方案無(wú)法滿足其要求，其兩階段提交由于同步阻塞、讀數(shù)據(jù)可能不一致等常見(jiàn)問(wèn)題，同樣無(wú)法滿足金融行業(yè)交易類業(yè)務(wù)對(duì)性能和一致性的要求。GoldenDB 引入全局事務(wù)管理器GTM（-Global Transaction Manager） 對(duì)全局事務(wù)的生命周期進(jìn)行管理（ 創(chuàng)建/ 釋放/ 查詢），并為全局事務(wù)分配GTID， 實(shí)現(xiàn)事務(wù)之間的隔離性，保證數(shù)據(jù)的過(guò)程一致性和最終一致性。
2. 強(qiáng)一致性及高可用
在分布式數(shù)據(jù)庫(kù)中，系統(tǒng)的高可用性和數(shù)據(jù)強(qiáng)一致性往往不可兼得。一般情況下，對(duì)于一致性要求比較高的業(yè)務(wù)在響應(yīng)延時(shí)方面就會(huì)降低要求，適合選擇CP 模式；對(duì)于響應(yīng)時(shí)延有高要求的業(yè)務(wù)在數(shù)據(jù)一致性方面會(huì)降低要求， 適合選擇AP 模式。而銀行核心系統(tǒng)對(duì)數(shù)據(jù)一致性和可用性都有很高的要求，正常場(chǎng)景下需保證數(shù)據(jù)的強(qiáng)一致性要求， 當(dāng)出現(xiàn)數(shù)據(jù)中心間的網(wǎng)絡(luò)異常（如網(wǎng)絡(luò)抖動(dòng)、丟包、瞬斷等） 時(shí)，依然保證銀行核心系統(tǒng)的可用性。此外，支持各種跨數(shù)據(jù)中心部署方案，如同城雙活，兩地三中心等，全面保障服務(wù)高可用，能做到RPO 為0，RTO 小于30s，遠(yuǎn)高于銀保監(jiān)會(huì)標(biāo)準(zhǔn)要求。
3. 自動(dòng)化智能運(yùn)維
GoldenDB 具備完善的運(yùn)維支撐體系，設(shè)計(jì)以智能化、最簡(jiǎn)化為目標(biāo)。系統(tǒng)提供統(tǒng)一的運(yùn)維模塊OMM，提供網(wǎng)絡(luò)拓?fù)�、集群管理、元�?shù)據(jù)管理等功能，在OMM 上可以對(duì)系統(tǒng)進(jìn)行配置、發(fā)布、監(jiān)控和運(yùn)維管理。
GoldenDB 的8 個(gè)關(guān)鍵創(chuàng)新點(diǎn)
中興通訊研制的GoldenDB 分布式數(shù)據(jù)庫(kù)產(chǎn)品，創(chuàng)新地基于全局事務(wù)ID 技術(shù)實(shí)現(xiàn)了強(qiáng)一致性分布式事務(wù)處理能力， 通過(guò)高并發(fā)、低時(shí)延的事務(wù)處理和數(shù)據(jù)復(fù)制解決方案，攻克了數(shù)據(jù)庫(kù)的兩地三中心高可靠容災(zāi)、在線數(shù)據(jù)重分布與不停機(jī)擴(kuò)容等多項(xiàng)關(guān)鍵技術(shù)難點(diǎn)，滿足各行業(yè)對(duì)數(shù)據(jù)庫(kù)平臺(tái)安全、可靠、高擴(kuò)展、高可用、易維護(hù)的要求。關(guān)鍵創(chuàng)新點(diǎn)包括 ：
- 實(shí)現(xiàn)了強(qiáng)一致的分布式事務(wù)，通過(guò)已提交事務(wù)回滾、分布式隔離級(jí)別等關(guān)鍵技術(shù)，保證數(shù)據(jù)的過(guò)程一致性和最終一致性。
- 高度兼容MySQL 通信協(xié)議、語(yǔ)法及客戶端，數(shù)據(jù)查詢語(yǔ)句及數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)都完全兼容MySQL，確保對(duì)MySQL 數(shù)據(jù)庫(kù)平滑遷移，同時(shí)兼?zhèn)銶ySQL 經(jīng)長(zhǎng)期實(shí)踐驗(yàn)證的可靠性。
- GoldenDB 采用無(wú)狀態(tài)化SQL 集群加存儲(chǔ)節(jié)點(diǎn)的高可用分布式架構(gòu)，每個(gè)存儲(chǔ)節(jié)點(diǎn)內(nèi)采用一主多從的架構(gòu)設(shè)計(jì)， 數(shù)據(jù)多副本存儲(chǔ)，支持在線重分布，可自動(dòng)實(shí)現(xiàn)故障秒級(jí)切換，允許業(yè)務(wù)不停機(jī)進(jìn)行擴(kuò)容，線性擴(kuò)展。支持各種跨數(shù)據(jù)中心部署方案，全面保障服務(wù)高可用，能做到RPO 為0， RTO 小于30s，遠(yuǎn)高于銀保監(jiān)會(huì)標(biāo)準(zhǔn)要求。
- 在存儲(chǔ)節(jié)點(diǎn)之間，通過(guò)中興自研快同步日志復(fù)制機(jī)制保障數(shù)據(jù)寫入的高性能和數(shù)據(jù)強(qiáng)一致性；支持多樣的備份恢復(fù)策略，并保證恢復(fù)后的數(shù)據(jù)全局一致性。
- 智能易用輕運(yùn)維：GoldenDB 支持自動(dòng)部署，多種分片模式、平滑擴(kuò)容及自動(dòng)運(yùn)維，擴(kuò)容與故障切換時(shí)業(yè)務(wù)零中斷，無(wú)需人工干預(yù)；GoldenDB 具備云服務(wù)所有的彈性、敏捷、按需和輕運(yùn)維的特性。
- 自主可控：基于X86 服務(wù)器，以及中興通訊自主開(kāi)發(fā)的金融級(jí)分布式數(shù)據(jù)庫(kù)GoldenDB。
- 成本低廉：分布式的單賬戶成本可以降一個(gè)數(shù)量級(jí)， 運(yùn)營(yíng)成本實(shí)際上是創(chuàng)新成本的獎(jiǎng)勵(lì)，推動(dòng)了銀行創(chuàng)新業(yè)務(wù)的加速發(fā)展。
- 完整的生態(tài)，如備份遷移工具，優(yōu)化分析報(bào)告、監(jiān)控與自動(dòng)化管理等。
多年以來(lái)，中興通訊一直致力于打造數(shù)據(jù)庫(kù)領(lǐng)域的“新引擎”。為了滿足金融、政務(wù)、電信等業(yè)務(wù)場(chǎng)景需要，中興通訊歷經(jīng)十幾年的自主研發(fā)打造了中興通訊分布式數(shù)據(jù)庫(kù)產(chǎn)品GoldenDB，其采用分布式集群架構(gòu)，這種集群架構(gòu)具有較高的靈活性，也大大簡(jiǎn)化了各個(gè)節(jié)點(diǎn)之間的通信機(jī)制及其對(duì)于硬件的需求�；谶@種靈活的架構(gòu)，可以輕松實(shí)現(xiàn)同城雙活、兩地三中心、多地多中心等高可用方案。中興通訊也期待GoldenDB這個(gè)”新引擎”，能夠加注中國(guó)各行業(yè)尤其是金融科技行業(yè)的新動(dòng)能。
本文轉(zhuǎn)自：金融電子化
