海量存儲承載衛(wèi)星環(huán)境監(jiān)測的海量數(shù)據(jù)

　　“看清”霧霾  構(gòu)筑更快捷、更靈活的海量存儲是關(guān)鍵

　　衛(wèi)星承擔(dān)著國家對地觀測、資源勘探等重要任務(wù)，可提供精準(zhǔn)的對以霧霾等異常情況的觀測數(shù)據(jù)，成為政府環(huán)境治理決策的數(shù)據(jù)“智囊團(tuán)”。

　　隨著決策數(shù)據(jù)要求的精密性增加、以及衛(wèi)星技術(shù)的不斷發(fā)展，衛(wèi)星數(shù)據(jù)采集器的數(shù)據(jù)規(guī)模越來越龐大，對存儲設(shè)備的容量拓展、傳輸帶寬、可靠性等方面的要求越來越高。

　　首先，在數(shù)據(jù)量方面，一些高分衛(wèi)星可在距離地面約36000公里的地球同步軌道運(yùn)行，觀測面積大，并能長期對某一地區(qū)持續(xù)觀測，其分辨率在50米以內(nèi)，每十多分鐘便能獲取一幅圖像。衛(wèi)星每日生成數(shù)據(jù)量8TB以上，年數(shù)據(jù)容量達(dá)到2.6PB以上。

　　其次，在存儲性能方面，衛(wèi)星數(shù)據(jù)采集的原始數(shù)據(jù)主要為非結(jié)構(gòu)化的文件數(shù)據(jù)，這些原始數(shù)據(jù)的接收和處理需要占用巨大的寫入帶寬資源。根據(jù)分析內(nèi)容和側(cè)重點(diǎn)不同，原始數(shù)據(jù)的加工處理方法也不同，同一套原始數(shù)據(jù)經(jīng)常需要反復(fù)讀取和處理，對存儲設(shè)備的讀寫帶寬要求很高。而且，衛(wèi)星采集器的數(shù)據(jù)庫龐大，前端應(yīng)用系統(tǒng)對數(shù)據(jù)的調(diào)用開銷很大，需要通過有效的方式提高數(shù)據(jù)庫的訪問性能，減小前端系統(tǒng)的等待時間。

　　最后，存儲可靠性作為一個老生常談的話題，在衛(wèi)星數(shù)據(jù)存儲中同樣需要得到充足的保障。

　　快捷、海量、高可靠  衛(wèi)星海量存儲解決方案必備的“三板斧”

　　根據(jù)對衛(wèi)星數(shù)據(jù)采集領(lǐng)域的海量存儲需求分析，浪潮衛(wèi)星海量存儲整體解決方案框架如下：

　　浪潮衛(wèi)星海量存儲解決方案架構(gòu)圖

　　首先，對于衛(wèi)星海量存儲的大容量需求，浪潮海量存儲系統(tǒng)支持多控制器的橫向擴(kuò)展，實(shí)現(xiàn)了系統(tǒng)容量、性能的動態(tài)擴(kuò)展，通過最大5000個控制器的規(guī)模提供EB級海量存儲空間存儲能力，有效保證了衛(wèi)星數(shù)據(jù)的未來8-10年的存儲容量需求。

　　同時，在容量擴(kuò)展性方面，浪潮海量存儲也有獨(dú)到之處。衛(wèi)星采集數(shù)據(jù)是海量的，且存儲容量和存儲性能隨著業(yè)務(wù)量的增長而增長。通常一套系統(tǒng)的建設(shè)初期數(shù)據(jù)存儲和處理量不大，但未來會出現(xiàn)爆發(fā)式的增長。如果采用一次性投入的方式，前期會造成較大的資源浪費(fèi)，后期存儲系統(tǒng)容量及性能不足的時候又較難擴(kuò)展，因此，較合理及高性價(jià)比的方案是采用分批建設(shè)。浪潮海量存儲系統(tǒng)具有很高的可擴(kuò)展性，支持在線擴(kuò)展且無需對中斷業(yè)務(wù)，做到存儲容量和性能的在線線性擴(kuò)展。

　　浪潮海量存儲系統(tǒng)

　　其次，對于衛(wèi)星大規(guī)模數(shù)據(jù)的存儲性能需求，浪潮海量存儲系統(tǒng)基于橫向動態(tài)擴(kuò)展控制器架構(gòu)設(shè)計(jì)的浪潮海量存儲系統(tǒng)，通過全局緩存、最先進(jìn)的FDR Infiniband數(shù)據(jù)通信網(wǎng)絡(luò)、全交換、無阻塞的存儲交換網(wǎng)絡(luò)有效提供數(shù)百GB聚合帶寬，滿足了衛(wèi)星數(shù)據(jù)接收、處理的高并發(fā)IO需求；同時，浪潮海量存儲系統(tǒng)的自動分層功能可以把熱點(diǎn)數(shù)據(jù)遷移到FLASH緩存或SSD高性能存儲池中，實(shí)現(xiàn)熱點(diǎn)數(shù)據(jù)快速訪問，也可以把文件按照大小進(jìn)行分級，衛(wèi)星下傳小文件放在IOPS更高的磁盤池中，實(shí)現(xiàn)數(shù)據(jù)分層。其中閃存層，可以提供最大程度的性能提升、支持高性能OLTP系統(tǒng)；SAS層滿足數(shù)據(jù)庫中的各個不同層級和虛擬資源的數(shù)據(jù)存儲；大容量存儲層，實(shí)現(xiàn)對歸檔數(shù)據(jù)或冷數(shù)據(jù)的存儲。

　　再次，對于衛(wèi)星大規(guī)模數(shù)據(jù)的高可靠需求，浪潮海量存儲系統(tǒng)利用橫向擴(kuò)展多控制器架構(gòu)、全局共享緩存、全交換網(wǎng)絡(luò)和多重冗余的數(shù)據(jù)保護(hù)機(jī)制，消除了海量存儲系統(tǒng)的單點(diǎn)故障。通過在線數(shù)據(jù)的快速復(fù)制、已接收數(shù)據(jù)的近線存儲、冷數(shù)據(jù)的備份實(shí)現(xiàn)了衛(wèi)星數(shù)據(jù)的三級存儲備份保護(hù)，完美滿足衛(wèi)星應(yīng)用中的在線、近線、備份三級存儲要求；

　　同時，浪潮海量存儲系統(tǒng)支持?jǐn)?shù)據(jù)跨數(shù)據(jù)中心、跨機(jī)房、機(jī)柜的容災(zāi)，一份數(shù)據(jù)被寫入多個數(shù)據(jù)中心中，支持掉電保護(hù)，為數(shù)據(jù)的安全可靠提供強(qiáng)大支持，跨中心的冗余保護(hù)避免單數(shù)據(jù)中心重要數(shù)據(jù)因意外災(zāi)害導(dǎo)致的數(shù)據(jù)丟失，為衛(wèi)星數(shù)據(jù)中心提供強(qiáng)有力的保障。

　　三級存儲  浪潮海量存儲承載“高分衛(wèi)星”數(shù)據(jù)

　　“高分衛(wèi)星”項(xiàng)目地面系統(tǒng)是國家高分辨率對地觀測系統(tǒng)的重要組成部分，其主要任務(wù)是通過搭建一體化的地面系統(tǒng)體系架構(gòu)，在充分利用現(xiàn)有技術(shù)能力和基礎(chǔ)設(shè)施條件的基礎(chǔ)上進(jìn)行優(yōu)化，增強(qiáng)“高分衛(wèi)星”地面系統(tǒng)對地觀測衛(wèi)星的數(shù)據(jù)接收、綜合處理、數(shù)據(jù)庫與管理和分發(fā)服務(wù)等功能，提升運(yùn)營和服務(wù)能力。

　　結(jié)合衛(wèi)星中心數(shù)據(jù)業(yè)務(wù)的特點(diǎn)，浪潮衛(wèi)星海量存儲解決方案將整個存儲系統(tǒng)分為三個部分，備份存儲區(qū)子系統(tǒng)、近線存儲區(qū)子系統(tǒng)和在線存儲區(qū)子系統(tǒng)，三個存儲子系統(tǒng)統(tǒng)一由浪潮海量存儲系統(tǒng)管理，實(shí)現(xiàn)對數(shù)據(jù)進(jìn)行自動調(diào)動遷移和保存。

　　睜著眼睛做決策

　　浪潮衛(wèi)星海量數(shù)據(jù)整體解決方案，針對衛(wèi)星數(shù)據(jù)采集的行業(yè)應(yīng)用特點(diǎn)，提供了多種類型的存儲資源，支持Windows/Unix/Linux等異構(gòu)平臺，存儲系統(tǒng)具有大容量、高并發(fā)、高帶寬、高性能、高可擴(kuò)展性等典型特征，滿足衛(wèi)星采集器的數(shù)據(jù)存儲和處理分析需求，還通過分級存儲、自動精簡配置等方式提高存儲資源的利用效率、降低投入和運(yùn)行成本。浪潮海量存儲系統(tǒng)可與數(shù)據(jù)處理系統(tǒng)、前端應(yīng)用系統(tǒng)等無縫結(jié)合，提供統(tǒng)一的監(jiān)控和管理平臺，改善客戶的管理和使用體驗(yàn)。

　　“以前是閉著眼睛干活，現(xiàn)在是睜著眼睛做決策。浪潮海量存儲運(yùn)行后，獲得和使用衛(wèi)星對地監(jiān)測的海量數(shù)據(jù)更加高效，對霧霾等異常環(huán)境監(jiān)測更加精準(zhǔn)。一句話，利用衛(wèi)星數(shù)據(jù)使我們的眼睛更明亮，看得更清楚，決策就更有力。”某衛(wèi)星數(shù)據(jù)中心信息化負(fù)責(zé)人說。