摘要：視頻監(jiān)控在高清、智能、大聯(lián)網(wǎng)時(shí)代，正面臨著數(shù)據(jù)洪水的沖擊，傳統(tǒng)的視頻體系架構(gòu)設(shè)計(jì)思路正在被挑戰(zhàn)，本文從大數(shù)據(jù)技術(shù)角度，提出未來視頻監(jiān)控的技術(shù)發(fā)展建議。

　　得益于IT信息技術(shù)的快速進(jìn)步，人類可以隨時(shí)隨地記錄下產(chǎn)生的各類數(shù)據(jù)，而同時(shí)數(shù)據(jù)存儲(chǔ)的成本也正以前所未有的速度下降，一個(gè)大數(shù)據(jù)的時(shí)代在悄然來臨。根據(jù)IDC預(yù)測(cè)，全球在2010年正式進(jìn)入ZB 時(shí)代，全球數(shù)據(jù)量大約每兩年翻一番，意味著人類在最近兩年產(chǎn)生的數(shù)據(jù)量相當(dāng)于之前產(chǎn)生的全部數(shù)據(jù)量。爆炸式增長的數(shù)據(jù)，正推動(dòng)人類進(jìn)入大數(shù)據(jù)的時(shí)代。

　　維基百科全書的定義：“大數(shù)據(jù)是飛速增長的，用現(xiàn)有數(shù)據(jù)庫管理工具難以管理的數(shù)據(jù)集合”。這些數(shù)據(jù)包括：社交媒體、移動(dòng)設(shè)備、科學(xué)計(jì)算和城市中部署的各類傳感器等等，其中視頻又是構(gòu)成數(shù)據(jù)體量最大的一部分。據(jù)IMS Research統(tǒng)計(jì)，2011年全球攝像頭的出貨量達(dá)到2646萬臺(tái)，預(yù)計(jì)到2015年攝像頭出貨量達(dá)5454萬臺(tái)。2011年一天產(chǎn)生的視頻監(jiān)控?cái)?shù)據(jù)超過1500PB,而累計(jì)歷史數(shù)據(jù)將更為龐大，在視頻監(jiān)控大聯(lián)網(wǎng)、高清化推動(dòng)下，視頻監(jiān)控業(yè)務(wù)步入數(shù)據(jù)洪水時(shí)代不可避免。

　　視頻監(jiān)控?cái)?shù)據(jù)有兩個(gè)方面的內(nèi)涵——海量和非結(jié)構(gòu)化。視頻監(jiān)控?cái)?shù)據(jù)量規(guī)模龐大，并且隨著高清化、超高清化的趨勢(shì)加強(qiáng)，視頻監(jiān)控?cái)?shù)據(jù)規(guī)模將以更快的指數(shù)級(jí)別增長；與通常講的結(jié)構(gòu)化數(shù)據(jù)不同，視頻監(jiān)控業(yè)務(wù)產(chǎn)生的數(shù)據(jù)絕大多數(shù)以非結(jié)構(gòu)化的數(shù)據(jù)為主，這給傳統(tǒng)的數(shù)據(jù)管理和使用機(jī)制帶來了極大的挑戰(zhàn)。
　　
　　數(shù)據(jù)洪水給視頻監(jiān)控的困境
　　
　　以飛速增長的視頻監(jiān)控?cái)?shù)據(jù)，使得傳統(tǒng)視頻監(jiān)控體系架構(gòu)、數(shù)據(jù)的管理方式、數(shù)據(jù)分析應(yīng)用等面臨新的困境。

　　
　　困境一，數(shù)據(jù)量的急劇擴(kuò)大和IT投資之間的矛盾。按照IT產(chǎn)業(yè)的法則：在滿足客戶需求的前提之下，往往技術(shù)成本越低，其生命力往往越強(qiáng)。由于數(shù)據(jù)量的急速擴(kuò)大，以及隨之而來的大規(guī)模計(jì)算的需求越來越多，一味采用高配硬件，使得硬件投資成為客戶不可承受之重，客戶越來越希望在滿足需求的前提下，用中低端的硬件來替換高配硬件。

　　困境二，海量數(shù)據(jù)和有效數(shù)據(jù)之間的矛盾。攝像頭7X24小時(shí)工作，如實(shí)記錄鏡頭覆蓋范圍的發(fā)生的一切，僅僅記錄信息是不夠的，因?yàn)閷?duì)于客戶來講可能大部分信息是無效，有效信息可能只分布在一個(gè)較短的時(shí)間段內(nèi)，按照數(shù)學(xué)統(tǒng)計(jì)的說法，信息是呈現(xiàn)冪律分布的，也稱之為信息的密度，往往越高密度的信息對(duì)客戶價(jià)值越大。

　　困境三，資源利用和效率之間的矛盾，串行計(jì)算和并行計(jì)算的矛盾。視頻監(jiān)控業(yè)務(wù)網(wǎng)絡(luò)化、大聯(lián)網(wǎng)后，網(wǎng)絡(luò)內(nèi)的設(shè)備越來越多，利用閑置的計(jì)算資源，實(shí)現(xiàn)資源的最大化利用，關(guān)乎運(yùn)算的效率。在視頻監(jiān)控領(lǐng)域，往往視頻分析的效率決定價(jià)值，更低的延遲、更準(zhǔn)確的分析往往是平安城市這類客戶的普遍需求。隨著數(shù)據(jù)量的增加，哪怕對(duì)TB級(jí)別的數(shù)據(jù)進(jìn)行對(duì)視頻內(nèi)容的數(shù)據(jù)分析和檢索，采用串行計(jì)算的模式都可能需要花費(fèi)數(shù)小時(shí)的計(jì)算，已遠(yuǎn)遠(yuǎn)不能勝任時(shí)效性的需求。視頻的分析和檢索，不能依賴于傳統(tǒng)的手段，巨量數(shù)據(jù)的效率優(yōu)化，并行計(jì)算是視頻智能分析的唯一出路。

　　大數(shù)據(jù)關(guān)鍵技術(shù)簡(jiǎn)介

　　因?yàn)榇髷?shù)據(jù)帶來了很多現(xiàn)實(shí)中的難題，為了解決這些難題我們需要新的技術(shù)變革，需要新一代的數(shù)據(jù)庫技術(shù)，業(yè)界稱之為大數(shù)據(jù)技術(shù)。IDC 在定義大數(shù)據(jù)技術(shù)：大數(shù)據(jù)技術(shù)將被設(shè)計(jì)用于在成本可承受（economically）的條件下，通過非�？焖伲╲elocity）的采集、發(fā)現(xiàn)和分析，從大量化（volumes）、多類別（variety）的數(shù)據(jù)中提取價(jià)值（value），將是IT 領(lǐng)域新一代的技術(shù)與架構(gòu)的變革。Hadoop技術(shù)正是在此背景下誕生，歷經(jīng)數(shù)年的積累，Hadoop已成長為一個(gè)強(qiáng)大的生態(tài)系統(tǒng)，不但衍生出HDFS、HBase、Hive等多個(gè)子項(xiàng)目，成為IT領(lǐng)域廣泛采用的大數(shù)據(jù)模型框架。

　　大數(shù)據(jù)技術(shù)和視頻監(jiān)控業(yè)務(wù)在體系架構(gòu)上的融合

　　“除了上帝，任何人都必須用數(shù)據(jù)來說話”，美國著名管理學(xué)家、統(tǒng)計(jì)學(xué)家愛德華.戴明將數(shù)據(jù)提升到了和上帝平行的高度。視頻監(jiān)控業(yè)務(wù)正是一個(gè)典型的數(shù)據(jù)依賴型業(yè)務(wù)，依靠數(shù)據(jù)說話。可以說，大數(shù)據(jù)與視頻監(jiān)控業(yè)務(wù)有著天然的結(jié)合。綜合來看，大數(shù)據(jù)與數(shù)據(jù)監(jiān)控業(yè)務(wù)的結(jié)合主要體現(xiàn)在“存”、“看”、“用”上。

　　“閃存”：如果類比水庫蓄水的方式，典型的網(wǎng)絡(luò)視頻監(jiān)控?cái)?shù)據(jù)存儲(chǔ)模型是一個(gè)由小溪匯聚河流、再匯聚到水庫的蓄水方式。小溪數(shù)量增多、水量增大是水庫蓄水量的保證，然而傳統(tǒng)方式下蓄水量增大將提高水庫建造成本和蓄水安全的要求。而采用分布式蓄水模式，在河流中游建立多個(gè)中間蓄水池，不僅可以減少主水庫蓄水壓力和成本，化整為零也提高了就近用水效率。在大數(shù)據(jù)技術(shù)支撐下，網(wǎng)絡(luò)視頻監(jiān)控?cái)?shù)據(jù)存儲(chǔ)模型可轉(zhuǎn)向分布式的數(shù)據(jù)存儲(chǔ)體系，提供高效、安全、廉價(jià)的存儲(chǔ)方式。

　　“易看”：在視頻監(jiān)控業(yè)務(wù)中，錯(cuò)看漏看、來不及看等是常見的困擾點(diǎn)。大數(shù)據(jù)監(jiān)控圖像的回溯給許多安防監(jiān)控管理人員帶來了生理與心理的雙重挑戰(zhàn)。在大量人力投入的公安案件追溯中，都常常耳聞“看到吐”、“看到暈”等無奈和感嘆。可想而知一般零售行業(yè)、金融行業(yè)等，對(duì)于視頻監(jiān)控圖像的回溯就更為困難。在視頻監(jiān)控大數(shù)據(jù)趨勢(shì)已經(jīng)來臨之際，依靠人眼去檢索、查看所有視頻圖像數(shù)據(jù)已經(jīng)不太現(xiàn)實(shí)。通過大數(shù)據(jù)技術(shù)實(shí)現(xiàn)視頻圖像模糊查詢、快速檢索、精準(zhǔn)定位，讓看變得簡(jiǎn)單迫在眉睫。

　　“善用”：視頻監(jiān)控業(yè)務(wù)中，看只是信息采集的方式之一，用才是業(yè)務(wù)應(yīng)用的根本。視頻監(jiān)控業(yè)務(wù)的效率問題已經(jīng)成為阻礙產(chǎn)業(yè)發(fā)展的關(guān)鍵瓶頸。隨著視頻監(jiān)控?cái)z像機(jī)覆蓋廣度、密度增大，視頻圖像數(shù)據(jù)量呈指數(shù)級(jí)上升，而視頻監(jiān)控?cái)?shù)據(jù)的使用效率卻在下降。智能交通應(yīng)用、消費(fèi)者行為分析應(yīng)用等綜合視頻監(jiān)控和圖像智能分析的業(yè)務(wù)出現(xiàn)，正努力突破視頻監(jiān)控效率值及商業(yè)價(jià)值低下的瓶頸。通過大數(shù)據(jù)技術(shù)，進(jìn)一步挖掘海量視頻監(jiān)控?cái)?shù)據(jù)背后的價(jià)值信息，快速反饋內(nèi)涵知識(shí)輔助決策判斷是將視頻監(jiān)控用好、用善的金鑰匙。

　　面向大數(shù)據(jù)的視頻監(jiān)控體系架構(gòu)

　　視頻監(jiān)控業(yè)務(wù)的核心就是數(shù)據(jù)，數(shù)據(jù)就是業(yè)務(wù)本身，那么基于大數(shù)據(jù)架構(gòu)，可以給中大型的視頻監(jiān)控項(xiàng)目帶來諸多的裨益。

• 第一，架構(gòu)更加靈活，伸縮彈性更大。對(duì)于一些中大型項(xiàng)目，由于起點(diǎn)的差異，缺乏視頻監(jiān)控架構(gòu)的頂層設(shè)計(jì)，后期的擴(kuò)容升級(jí)難免尾大不掉，如在建設(shè)初期就引入面向大數(shù)據(jù)的架構(gòu)，為業(yè)務(wù)擴(kuò)張和管理帶來好處。
• 第二，以廉價(jià)通用硬件迎合視頻監(jiān)控?cái)?shù)據(jù)的爆發(fā)性增長。 在面向大數(shù)據(jù)的架構(gòu)中，可根據(jù)視頻監(jiān)控業(yè)務(wù)的部署需要，設(shè)立多個(gè)HDFS集群組成，采集的流數(shù)據(jù)會(huì)被劃分成段，并分布于數(shù)據(jù)節(jié)點(diǎn)，這些數(shù)據(jù)節(jié)點(diǎn)可以采用廉價(jià)通用型的硬件，由軟件技術(shù)保證其高可靠性，這種方式避免采用傳統(tǒng)高端硬件的模式，大大降低投資成本。
• 第三，通過高速并行計(jì)算實(shí)現(xiàn)智能分析和數(shù)據(jù)挖掘。對(duì)于金礦來講，唯有熠熠發(fā)光的金子才是有價(jià)值，視頻監(jiān)控?cái)?shù)據(jù)就猶如這樣一座金礦，傳統(tǒng)人工和串行的數(shù)據(jù)篩選方式已在大數(shù)據(jù)時(shí)代不能滿足要求。面向大數(shù)據(jù)的架構(gòu)原理就是將海量數(shù)據(jù)分解為較小的更易訪問的批量數(shù)據(jù)，在多臺(tái)服務(wù)器上并行分析處理，從而大大加快視頻數(shù)據(jù)的處理進(jìn)程。

　　結(jié)合視頻監(jiān)控業(yè)務(wù)特點(diǎn)，引入Hadoop的架構(gòu)，以頂層設(shè)計(jì)的視角來構(gòu)建面向大數(shù)據(jù)視頻監(jiān)控架構(gòu)，將對(duì)未來視頻監(jiān)控業(yè)務(wù)的規(guī)劃設(shè)計(jì)產(chǎn)生深遠(yuǎn)的影響。下面下面簡(jiǎn)明扼要描述下面向大數(shù)據(jù)視頻監(jiān)控邏輯架構(gòu)。

　　數(shù)據(jù)源層，包括實(shí)時(shí)數(shù)據(jù)和非實(shí)時(shí)數(shù)據(jù)。實(shí)時(shí)數(shù)據(jù)指IP攝像頭和傳感器產(chǎn)生的實(shí)時(shí)流媒體數(shù)據(jù)。非實(shí)時(shí)數(shù)據(jù)指從DVR、編碼器、第三方系統(tǒng)導(dǎo)入的媒體數(shù)據(jù)。

　　大數(shù)據(jù)存儲(chǔ)層，采用了HDFS和HBASE，實(shí)現(xiàn)數(shù)據(jù)低成本、高可靠的管理。把采集的流視頻保存在HDFS集群內(nèi)，并通過HBase建立訪問的索引。把傳統(tǒng)NVR和專用存儲(chǔ)進(jìn)行重構(gòu)，納入到整體的分布式文件系統(tǒng)中來。

　　大數(shù)據(jù)計(jì)算層，實(shí)現(xiàn)智能分析和數(shù)據(jù)挖掘。通過MapReduce把對(duì)大視頻的分析進(jìn)行分解，充分利用閑置資源，把計(jì)算任務(wù)交由多臺(tái)服務(wù)器進(jìn)行并行計(jì)算分析，另外一方面，根據(jù)智能分析產(chǎn)生的視頻元數(shù)據(jù)，通過Hive挖掘視頻元數(shù)據(jù)的價(jià)值信息。

　　業(yè)務(wù)及管理層，實(shí)現(xiàn)設(shè)備和業(yè)務(wù)管理�；�于Zookeeper組成的服務(wù)器集群，可以保證業(yè)務(wù)系統(tǒng)的無故障運(yùn)營，基于Ganglia實(shí)現(xiàn)對(duì)攝像頭等設(shè)備的監(jiān)管。

　　基于大數(shù)據(jù)的視頻架構(gòu)，本質(zhì)上是把視頻數(shù)據(jù)作為最有價(jià)值的資產(chǎn)，以數(shù)據(jù)作為核心來構(gòu)建的技術(shù)架構(gòu)，重點(diǎn)解決了海量的視頻數(shù)據(jù)分散和集中式存儲(chǔ)并存、多級(jí)分布問題，極大提升了非結(jié)構(gòu)化視頻數(shù)據(jù)讀寫的效率，為視頻監(jiān)控的快速檢索、智能分析提供了端到端的解決方案。

　　大數(shù)據(jù)視頻監(jiān)控構(gòu)架帶來的價(jià)值

　　大數(shù)據(jù)視頻架構(gòu)是革命性的技術(shù)，特別在實(shí)時(shí)智能分析和數(shù)據(jù)挖掘方面，讓視頻監(jiān)控從人工抽檢，進(jìn)步到高效事前預(yù)警、事后分析，實(shí)現(xiàn)智能化的信息分析、預(yù)測(cè)，為視頻監(jiān)控領(lǐng)域業(yè)務(wù)帶來深刻的變革：

　　平安城市領(lǐng)域，實(shí)時(shí)匯總并綜合分析各種公共安全數(shù)據(jù)和資料，為執(zhí)法人員快速準(zhǔn)確應(yīng)對(duì)提供科學(xué)依據(jù)：如實(shí)時(shí)調(diào)閱現(xiàn)場(chǎng)視頻錄像、犯罪嫌疑人記錄、同一地區(qū)的相似案件資料；進(jìn)行地理、時(shí)間和空間的比較分析，揭示其犯罪模式和行為模式；追蹤嫌疑人與其車輛的位置等。指揮人員也可以參照各種數(shù)據(jù)對(duì)不同來源的資料進(jìn)行綜合分析，制作指揮圖。

　　智能交通行業(yè)，可以輕松監(jiān)控?cái)z像覆蓋范圍內(nèi)的所有車輛的行駛狀態(tài)、運(yùn)行軌跡，快速分析出其是否違章，通過對(duì)海量交通數(shù)據(jù)的比對(duì)、分析和研判，實(shí)現(xiàn)指定車輛行駛路徑、道路擁堵研判等功能。

　　云服務(wù)領(lǐng)域：實(shí)現(xiàn)基于大數(shù)據(jù)的視頻監(jiān)控云服務(wù)，讓攝像機(jī)僅通過互連網(wǎng)就能連接云端的視頻監(jiān)控托管服務(wù)，通過快速、智能的分析部署在云端的大數(shù)據(jù)，為小型企業(yè)、零售商店、餐館酒店等提供實(shí)時(shí)監(jiān)控視頻和潛在風(fēng)險(xiǎn)管理，甚至能提供收費(fèi)的基于視頻內(nèi)容的分析報(bào)告，如日常的客戶數(shù)，平均隊(duì)列長度等，創(chuàng)造新的商業(yè)模式。

　　華為視頻監(jiān)控業(yè)務(wù)在大數(shù)據(jù)領(lǐng)域積淀

　　華為技術(shù)有限公司作為世界500強(qiáng)企業(yè)，一直以實(shí)力和創(chuàng)新能力聞名于世。華為結(jié)合業(yè)界主流架構(gòu)Hadoop，創(chuàng)建了屬于華為自己的大數(shù)據(jù)平臺(tái)解決方案，不僅有用于存儲(chǔ)的分布式文件系統(tǒng)，而且是可以在由通用計(jì)算設(shè)備組成的大型集群上執(zhí)行分布式應(yīng)用的框架，已經(jīng)融入到華為視頻監(jiān)控的體系結(jié)構(gòu)中。華為大數(shù)據(jù)視頻監(jiān)控系統(tǒng)具有超大規(guī)模容量、跨域資源管理、靈活調(diào)度、高性價(jià)比海量存儲(chǔ)、端到端安全、精細(xì)化運(yùn)維等優(yōu)點(diǎn)，有效支撐平安城市、智能交通等運(yùn)營及應(yīng)用。

　　華為Hadoop開源組織的影響力

　　在Yahoo和Cloudera發(fā)布的數(shù)據(jù)中，華為公司在Hadoop重要貢獻(xiàn)公司名單內(nèi)，排在IBM和Cisco之前。從2011年截至到現(xiàn)在，華為貢獻(xiàn)到開源社區(qū)的問題合計(jì)626個(gè)，報(bào)告問題685個(gè)，在Hadoop核心和外圍全面、持續(xù)積累。

　　按照業(yè)界的公開排名，華為Hadoop團(tuán)隊(duì)在全球綜合排名第七，在HBase和HDFS社區(qū)中擁有2名Committer。華為Hadoop團(tuán)隊(duì)的貢獻(xiàn)是均衡的，同時(shí)在Hadoop內(nèi)核和周邊項(xiàng)目都有貢獻(xiàn)。而在HBase和HDFS社區(qū)中的2名Committer可以在第一時(shí)間為華為帶來大數(shù)據(jù)管理及應(yīng)用領(lǐng)域前沿技術(shù)。

　　華為大數(shù)據(jù)視頻監(jiān)控架構(gòu)的實(shí)踐

　　X國剛經(jīng)過戰(zhàn)爭(zhēng)洗禮，社會(huì)秩序正在重建，治安面臨嚴(yán)峻的形勢(shì)。經(jīng)過多輪的客戶需求的分析和挖掘，華為向客戶提供了基于大數(shù)據(jù)架構(gòu)的視頻監(jiān)控解決方案，贏得客戶的信賴，并超越客戶的期望。

1. 首先，針對(duì)客戶希望通過多個(gè)階段實(shí)現(xiàn)由點(diǎn)及面再網(wǎng)的分步建設(shè)需求。華為提出基于分布式文件系統(tǒng)的節(jié)點(diǎn)架構(gòu)，可以在攝像頭動(dòng)態(tài)增加的情況下，擴(kuò)展服務(wù)器，即可達(dá)到單點(diǎn)服務(wù)能力的提升，同時(shí)不影響業(yè)務(wù)運(yùn)營；并且針對(duì)新建的點(diǎn)，可以很方面和上一級(jí)節(jié)點(diǎn)構(gòu)建隸屬關(guān)系。
2. 其次，統(tǒng)一管理，分布式存儲(chǔ)的需求。由于節(jié)點(diǎn)與節(jié)點(diǎn)之間，無固定網(wǎng)絡(luò)，節(jié)點(diǎn)與節(jié)點(diǎn)之間只能靠無線通信，不具備大容量數(shù)據(jù)交換的條件。華為提供分布式管理的方案，內(nèi)容存在節(jié)點(diǎn)內(nèi)，把視頻的描述信息匯總到中心節(jié)點(diǎn)進(jìn)行管理，根據(jù)中心節(jié)點(diǎn)的指令對(duì)內(nèi)容進(jìn)行管理。
3. 第三，全網(wǎng)智能聯(lián)動(dòng)。 當(dāng)治安事件發(fā)生后，通過關(guān)鍵信息，能快速搜尋全網(wǎng)2萬多個(gè)攝像頭記錄的信息，傳統(tǒng)意義上的智能檢索方式已經(jīng)不能勝任，華為提出并行計(jì)算的概念，充分利用各節(jié)點(diǎn)閑置計(jì)算能力，快速高效實(shí)現(xiàn)檢索。

　　總結(jié)

　　“這是最好的時(shí)代，也是最壞的時(shí)代”——狄更斯 《雙城記》。

　　視頻監(jiān)控進(jìn)入網(wǎng)絡(luò)化時(shí)代以后，越來越多融入IT新興技術(shù)，大數(shù)據(jù)技術(shù)在視頻監(jiān)控領(lǐng)域的廣闊發(fā)展路徑已經(jīng)顯現(xiàn)，華為正致力于把大數(shù)據(jù)技術(shù)和視頻監(jiān)控業(yè)務(wù)的完美融合，打造大數(shù)據(jù)時(shí)代的視頻監(jiān)控解決方案。