HPC與AI、大數(shù)據(jù)走向融合，HPDA應(yīng)運(yùn)而生
5G、云、AI等新ICT技術(shù)的快速發(fā)展使視頻、圖片等數(shù)據(jù)呈指數(shù)級增長，從數(shù)據(jù)增長軌跡中可以預(yù)測到，未來幾年數(shù)據(jù)量將達(dá)到百ZB的水平，從而促使HPC行業(yè)從計算驅(qū)動演進(jìn)為數(shù)據(jù)驅(qū)動�；厥走^往15年以來HPC存儲增長的多種驅(qū)動因素，可以發(fā)現(xiàn)它與AI、大數(shù)據(jù)的飛速發(fā)展密不可分，進(jìn)而催生出以數(shù)據(jù)分析生態(tài)為主的HPC解決方案，并在多個至關(guān)重要的科學(xué)領(lǐng)域中得到應(yīng)用，如計算科學(xué)建模和數(shù)據(jù)分析。計算科學(xué)建模和數(shù)據(jù)分析兩個生態(tài)在解決方案和技術(shù)上的融合是加速科學(xué)發(fā)現(xiàn)的關(guān)鍵因素。在此背景下，高性能數(shù)據(jù)分析（HPDA）應(yīng)運(yùn)而生并迅速發(fā)展。
從計算到數(shù)據(jù)，是HPC市場發(fā)展的必然。從傳統(tǒng)HPC建模/仿真應(yīng)用向新的HPDA/AI/ML/DL應(yīng)用演進(jìn)，其主要特點(diǎn)是從計算密集型負(fù)載向數(shù)據(jù)密集型負(fù)載轉(zhuǎn)變，有助于研究人員、工程師和業(yè)務(wù)數(shù)據(jù)分析師從最佳性能的HPC基礎(chǔ)設(shè)施中，更快地獲取研究結(jié)果并對其進(jìn)行分析總結(jié)。
HPDA/AI的快速發(fā)展推動著傳統(tǒng)HPC建模/仿真應(yīng)用不斷轉(zhuǎn)型升級，然而HPDA/AI/ML/DL技術(shù)所產(chǎn)生的數(shù)據(jù)越來越多，給現(xiàn)有HPC存儲生態(tài)系統(tǒng)帶來巨大壓力，要解決和優(yōu)化這兩種類型的負(fù)載，就要高度重視并大力建設(shè)HPC存儲基礎(chǔ)設(shè)施。
科技強(qiáng)國政策的背景下，我國開始大力發(fā)展和推進(jìn)HPC事業(yè)，建立隸屬于科技部的國 國家超級計算濟(jì)南中心發(fā)展勢頭迅猛，構(gòu)建引領(lǐng)全球科技發(fā)展的“最強(qiáng)大腦”家超級計算中心，用于發(fā)展高性能計算相關(guān)產(chǎn)業(yè)與應(yīng)用。截至2021年，科技部批準(zhǔn)建立了國家超級計算濟(jì)南中心、國家超級計算天津中心、國家超級計算深圳中心等八所國家超級計算中心。
目前，濟(jì)南超算正在主導(dǎo)山東省“超級計算大科學(xué)工程”，研制建設(shè)全球算力領(lǐng)先的新一代超級計算機(jī)，通過根植山東、覆蓋全國、輻射全球的超算互聯(lián)網(wǎng)建設(shè)，構(gòu)建“E級超算、人工智能、大數(shù)據(jù)、工業(yè)互聯(lián)網(wǎng)”等大科學(xué)裝置集群，形成國際一流的“超算大腦”，力爭成為推動國家基礎(chǔ)科學(xué)進(jìn)步和重大技術(shù)攻關(guān)，助力山東省走在“新動能”的最前沿。
面對挑戰(zhàn)，濟(jì)南超算積極追求HPC存儲架構(gòu)轉(zhuǎn)型
人工智能、大數(shù)據(jù)等新型應(yīng)用進(jìn)入到超算科研領(lǐng)域，推動濟(jì)南超算改革創(chuàng)新發(fā)展，由單一計算服務(wù)向計算加多元數(shù)據(jù)處理服務(wù)轉(zhuǎn)變。
濟(jì)南超算在創(chuàng)新改革中，正在面臨如下變化與挑戰(zhàn):
- 首先，數(shù)據(jù)量的激增帶來傳輸與存儲成本的挑戰(zhàn)。數(shù)據(jù)量的激增主要有兩個原因：一是參與計算的原始數(shù)據(jù)不僅多且雜；二是數(shù)據(jù)多環(huán)節(jié)處理計算帶來數(shù)據(jù)的過度膨脹。伴隨著人工智能和大數(shù)據(jù)等新興產(chǎn)業(yè)的爆炸式增長，超算需要處理更多數(shù)據(jù)，既有結(jié)構(gòu)化數(shù)據(jù)又有非結(jié)構(gòu)化數(shù)據(jù)，而在線傳輸這些數(shù)據(jù)可能需耗費(fèi)數(shù)周，拷貝TB-PB級數(shù)據(jù)時更是要耗費(fèi)數(shù)月，這些都是超算中心在轉(zhuǎn)型過程中無法規(guī)避的難題。
- 其次，存儲資源搶占導(dǎo)致整體計算效率不高。當(dāng)前多數(shù)超算場景為多任務(wù)、多并發(fā)計算，一些作業(yè)對帶寬要求很高，另一些對IOPS要求高，多任務(wù)并發(fā)造成存儲資源搶占，則會導(dǎo)致整體計算效率被拉低。例如生命科學(xué)作業(yè)等大帶寬類作業(yè)增多時，整個計算效率會變得非常緩慢，從而影響整個超算中心的作業(yè)效率。
- 此外，濟(jì)南超算業(yè)務(wù)在與傳統(tǒng)數(shù)據(jù)中心類業(yè)務(wù)融合過程中，也面臨著數(shù)據(jù)管理及數(shù)據(jù)孤島的挑戰(zhàn)。在提供如人工計算、大數(shù)據(jù)、虛擬化和災(zāi)備等多元化服務(wù)時，面對萬級用戶群體及各種數(shù)據(jù)形式的讀寫（如文件存儲、虛擬化的塊存儲、AI的對象存儲、大數(shù)據(jù)的HDFS存儲等），都會增加管理難度，且數(shù)據(jù)間易呈現(xiàn)割裂的孤島狀態(tài)。如何讓數(shù)據(jù)流動起來進(jìn)而促進(jìn)跨域創(chuàng)新，是濟(jì)南超算急需解決的問題。
濟(jì)南超算攜手華為OceanStor全閃存，打造標(biāo)桿級新型超算中心
華為OceanStor全閃存超高性能、超高吞吐量滿足多平臺、多類型作業(yè)需求，為濟(jì)南超算發(fā)展降本增效。為滿足濟(jì)南超算的HPC平臺、AI平臺及云平臺各集群間存儲需求的差異性，平臺規(guī)劃建設(shè)存儲系統(tǒng)容量220PB，涵蓋高性能存儲系統(tǒng)、對象存儲、塊存儲、NAS存儲，可滿足各類應(yīng)用對存儲的需求。其中高性能文件存儲系統(tǒng)配套的全閃存儲系統(tǒng)容量15PiB。華為OceanStor全閃存憑借TBps級帶寬，千萬級IOPS超算主存系統(tǒng)，完全能滿足超算綜合場景高帶寬及高IOPS等性能需求，提升業(yè)務(wù)效率，加速業(yè)務(wù)創(chuàng)新，整體帶寬超1000GB/s，有效解決資源搶占拉低整體作業(yè)效率的問題。同時，采用數(shù)據(jù)圖像壓縮算法，進(jìn)一步提升了存儲空間的利用率，大大降低了海量數(shù)據(jù)的存儲成本，為超算中心的持續(xù)發(fā)展降本增效。
華為OceanStor全閃存綠色節(jié)能，科技助力“碳達(dá)峰”。無論是基于國家政策的導(dǎo)向，還是超算中心降本增效的考量，綠色節(jié)能已逐步落地到生產(chǎn)和經(jīng)營的方方面面。在數(shù)據(jù)中心層面，采用華為OceanStor全閃存是理想的解決方案，可以極大縮減數(shù)據(jù)中心空間和能耗的開支，由此帶來的高資源利用率和高成本效益是驅(qū)動全閃存系統(tǒng)出貨量增長的重要因素。
華為和客戶聯(lián)創(chuàng)主存、對象存儲等系統(tǒng)間數(shù)據(jù)流動方案，解決客戶數(shù)據(jù)存儲難題。華為OceanStor全閃存已經(jīng)充分適配并能高效支撐起超算業(yè)務(wù)，面向未來的合作層面，濟(jì)南超算與華為成立了存儲創(chuàng)新中心，在數(shù)據(jù)流動、數(shù)據(jù)服務(wù)、和數(shù)據(jù)安全等方面展開深入研究并孵化產(chǎn)業(yè)；面向超算領(lǐng)域?qū)用�，�?jì)南超算與華為提供了技術(shù)創(chuàng)新方向和解決方案，共同打造全球領(lǐng)先的智能數(shù)據(jù)與存儲的示范點(diǎn)、產(chǎn)業(yè)基地。依托華為OceanStor存儲存算占比1:1.5的數(shù)據(jù)流動方案，濟(jì)南超算將具備國內(nèi)HPC領(lǐng)域容量最大、性能最高的全閃存陣列集群，可以解決濟(jì)南超算當(dāng)前面臨的塊、對象、文件互訪難題，打通數(shù)據(jù)流通，促進(jìn)數(shù)據(jù)跨域創(chuàng)新，為濟(jì)南超算未來創(chuàng)新業(yè)務(wù)探索持續(xù)助力。華為提供API接口并聯(lián)合濟(jì)南超算共同定制開發(fā)，實(shí)現(xiàn)基于數(shù)據(jù)流動任務(wù)和策略，實(shí)現(xiàn)數(shù)據(jù)流動的服務(wù)化和可視化。華為與濟(jì)南超算共同基于客戶數(shù)據(jù)屬性標(biāo)簽化進(jìn)行定制開發(fā)，實(shí)現(xiàn)數(shù)據(jù)流動的安全管理。
業(yè)內(nèi)人士認(rèn)為，華為與濟(jì)南超算合作是一個典型的標(biāo)桿案例，濟(jì)南超算之所以選擇華為OceanStor全閃存，與其高效、節(jié)能的端到端超算存儲解決方案和技術(shù)創(chuàng)新能力密不可分。華為OceanStor全閃存具備敏捷性、高效率、可用性、安全性、面向云業(yè)務(wù)的適配性等特點(diǎn)，同時基于業(yè)界領(lǐng)先的技術(shù)和架構(gòu)，與我國全面推動的“新基建”戰(zhàn)略高度契合。此外，華為OceanStor全閃存高密度、低功耗的特點(diǎn)可以顯著降低超算中心PUE，賦能濟(jì)南超算完成HPC存儲架構(gòu)轉(zhuǎn)型升級，加速產(chǎn)業(yè)生態(tài)創(chuàng)新發(fā)展，以“超算速度”助推濟(jì)南超算成為全球超算中心的領(lǐng)跑者。
