IP視頻系統(tǒng)的視頻質(zhì)量客觀測試
袁飛 2010/08/17
視頻質(zhì)量客觀測試是利用機(jī)器或程序來評(píng)價(jià)視頻質(zhì)量的方法，由運(yùn)行特定算法的程序或機(jī)器完成視頻處理效果的優(yōu)劣評(píng)價(jià)，排除了主觀評(píng)價(jià)時(shí)的外在條件及人員差異性的影響。
1.引言
決定一個(gè)視頻系統(tǒng)的好壞主要在于其視頻處理效果，而如何評(píng)價(jià)視頻處理效果則是以一個(gè)比較棘手的問題。目前常用的方法就是通過人眼來直接觀看，但是由于人眼的主觀性及觀看人員的單體差異性，對(duì)于同樣的視頻處理結(jié)果，不同的人的感受是不一樣的；此外，燈光、觀看距離、顯示設(shè)備等外在條件也會(huì)限制觀看人員的評(píng)價(jià)結(jié)果。為體現(xiàn)公平性，在評(píng)價(jià)一個(gè)視頻系統(tǒng)之前，通常需要召集多個(gè)經(jīng)過培訓(xùn)的觀看人員，并搭建一個(gè)燈光、觀看距離、顯示設(shè)備都固定的觀看室，整個(gè)過程繁瑣且耗費(fèi)時(shí)間較長、成本較大。為解決主觀評(píng)價(jià)存在的缺陷，多個(gè)研究機(jī)構(gòu)提出了視頻質(zhì)量客觀測試方法，即利用機(jī)器或程序來評(píng)價(jià)視頻質(zhì)量的方法，由運(yùn)行特定算法的程序或機(jī)器完成視頻處理效果的優(yōu)劣評(píng)價(jià)，這樣就排除了主觀評(píng)價(jià)時(shí)的外在條件及人員差異性的影響。
2.視頻質(zhì)量客觀測試原理、測試模型及標(biāo)準(zhǔn)
2.1 測試原理
目前常用的主要基于以下兩種：
通過計(jì)算參考和測試圖像之間的峰值信噪比來確定視頻處理系統(tǒng)的優(yōu)劣（原理如圖1所示）。其計(jì)算公式為：
PSNR (dB) = 20*log10(信號(hào)峰值/差值) 其中，信號(hào)峰值=255（有時(shí)等于239），差值= [參考像素值]-[損傷像素值]
圖1 基于噪聲的客觀測試模型原理
PSNR計(jì)算起來簡單、快捷，實(shí)現(xiàn)起來較容易，而且對(duì)于檢測視頻處理硬件及軟件具有很好的幫助作用，但其測試結(jié)果與人眼的主觀感受相差較大，目前只是作為視頻處理系統(tǒng)設(shè)計(jì)開發(fā)過程中的一個(gè)參考值，不能作為視頻處理系統(tǒng)的評(píng)價(jià)標(biāo)準(zhǔn)。
在人眼視覺模型研究的基礎(chǔ)上，建立一定的統(tǒng)計(jì)數(shù)學(xué)模型，通過該數(shù)學(xué)模型來提取參考視頻和測試視頻中人眼較敏感的亮度、邊緣、連貫性等特征信息，再對(duì)這些提取的特征進(jìn)行差分比較之后給出評(píng)價(jià)值�；驹砑疤幚磉^程如圖2所示：
圖2 基于人眼視覺模型的客觀測試模型原理
其測試過程基本模擬了人眼的主觀評(píng)價(jià)過程，因此其結(jié)果與主觀評(píng)價(jià)的結(jié)果一致性較高，可客觀反映視頻處理系統(tǒng)的優(yōu)劣。
2.2 測試模型
圖3 客觀測試通用模型
在圖3所示的測試模型中，客觀測試系統(tǒng)會(huì)對(duì)同時(shí)對(duì)輸入的參考視頻及測試視頻內(nèi)容進(jìn)行比較，比較算法可以采用基于噪聲的信噪比算法，也可以根據(jù)人眼視覺系統(tǒng)提取出人眼可感知特征后，再對(duì)這些特征值進(jìn)行差異比較，然后綜合所有的比較結(jié)果給出視頻質(zhì)量評(píng)價(jià)值。
通常為保證評(píng)價(jià)的公正性�？陀^測試系統(tǒng)在對(duì)參考/測試視頻進(jìn)行比較之前，需要糾正被測視頻系統(tǒng)中非編解碼引入的一些畫面偏移，如時(shí)空偏移、增益等變化，每種客觀測試標(biāo)準(zhǔn)都會(huì)有自己的糾正算法，通過這些糾正算法可以排除時(shí)間的前后偏移、空間的上下左右偏移、以及增益的變化對(duì)最終的計(jì)算結(jié)果的影響，以給出較可靠的客觀的視頻質(zhì)量評(píng)價(jià)。
2.3 測試標(biāo)準(zhǔn)
目前最常見的客觀測試標(biāo)準(zhǔn)是PSNR（峰值信噪比）測試算法，但是其測試結(jié)果與主觀評(píng)價(jià)結(jié)果的一致性較差，不能完全反應(yīng)人眼的主觀感覺。因此有多個(gè)機(jī)構(gòu)提出了與主觀評(píng)價(jià)結(jié)果一致性較好的客觀評(píng)價(jià)算法，如美國國家電信和信息管理局（NTIA）提出的視頻質(zhì)量度量（VQM）算法及其模型、英國電信BT提出的全參考視頻質(zhì)量模型及其算法（BTFR）、巴西電信發(fā)展研究中心（CPqD）提出的基于分段的圖像評(píng)價(jià)（IES）算法，以及泰克公司和Sarnoff公司提供的PQR算法等，這些客觀算法都是在模擬人眼視覺模型的基礎(chǔ)上建立的。
為驗(yàn)證這些客觀測試標(biāo)準(zhǔn)與主觀評(píng)價(jià)結(jié)果的一致性，視頻質(zhì)量專家組（VQEG）在2003年進(jìn)行的第二次視頻質(zhì)量專題測試中，對(duì)上述客觀算法與主觀算法的關(guān)聯(lián)性進(jìn)行了驗(yàn)證測試，測試結(jié)果如表1和表2所示，可以發(fā)現(xiàn)，NTIA提供的VQM客觀視頻質(zhì)量評(píng)價(jià)方法對(duì)于PAL制及N視頻格式都有較好的表現(xiàn)，與主觀測試結(jié)果的一致性較好。
表1 PAL制式下客觀評(píng)價(jià)與主觀評(píng)價(jià)結(jié)果關(guān)聯(lián)性
表2 NTSC制式下客觀評(píng)價(jià)與主觀評(píng)價(jià)結(jié)果關(guān)聯(lián)性
VQM 客觀測試標(biāo)準(zhǔn)是利用統(tǒng)計(jì)學(xué)原理模擬實(shí)際的人眼視覺系統(tǒng)，在提取參考及其對(duì)應(yīng)的測試圖像中人眼能夠感知的圖像特征值（亮度、色彩、時(shí)空變化等信息）的基礎(chǔ)上，計(jì)算得出視頻質(zhì)量客觀評(píng)價(jià)值，該評(píng)價(jià)值為人眼可感知的模糊、塊失真、不均勻/不自然的運(yùn)動(dòng)、噪音和錯(cuò)誤塊等損傷的綜合反映，其值位于0~1之間，值越小越好。
VQM的具體處理過程如圖4所示：
圖4 VQM客觀測試處理過程示意
- 參考及測試視頻流的采集保存及模擬/數(shù)字信號(hào)轉(zhuǎn)換；
- 測試視頻流的校準(zhǔn)，依據(jù)參考視頻，去除測試視頻中的時(shí)間偏移、空間偏移、增益等非編解碼引入的變化；
- 提取參考及測試視頻圖像中人眼可感知的特征：模糊、塊失真、不均勻/不自然的運(yùn)動(dòng)、噪音和錯(cuò)誤塊等信息；
- 對(duì)于步驟3提取的每一種特征值進(jìn)行一定的差分比較計(jì)算，依據(jù)視頻測試序列的長短進(jìn)行統(tǒng)計(jì)平均；
- 使用VQM合并計(jì)算公式合并步驟4計(jì)算的每種特征值的統(tǒng)計(jì)平均值，給出最終的視頻質(zhì)量客觀評(píng)價(jià)值（VQM），最終計(jì)算獲得的VQM值位于0到1之間，數(shù)值越小代表視頻質(zhì)量越好。
3.視頻質(zhì)量客觀測試舉例
3.1 環(huán)境搭建
根據(jù)VQM算法的原理及客觀測試模型搭建測試環(huán)境，如圖5所示：
圖5 VQM視頻質(zhì)量客觀測試環(huán)境
參考視頻輸入PC負(fù)責(zé)播放標(biāo)準(zhǔn)的各種場景的視頻測試序列，并通過視頻顯卡先后輸出至編碼器及視頻采集PC；
視頻采集PC將參考視頻輸入PC輸入的視頻內(nèi)容以無壓縮的格式保存，為后續(xù)的視頻質(zhì)量評(píng)價(jià)提供參考視頻文件；
編碼器將輸入的各場景的視頻內(nèi)容編碼之后，發(fā)送給解碼器，解碼器解碼后輸出給視頻采集PC，視頻采集PC采集后同樣以無壓縮的格式保存，為為后續(xù)的視頻質(zhì)量評(píng)價(jià)提供測試視頻文件。
安裝在采集PC上的 VQM 視頻質(zhì)量評(píng)價(jià)程序?qū)⒖家曨l及測試視頻進(jìn)行相應(yīng)的計(jì)算，給出視頻處理系統(tǒng)的視頻質(zhì)量評(píng)價(jià)。
3.2 測試過程
選擇H3C視頻會(huì)議系統(tǒng)進(jìn)行驗(yàn)證測試，并將其測試結(jié)果與主觀測試結(jié)果進(jìn)行大致驗(yàn)證。具體過程如下：
1. 選擇多個(gè)特定的視頻測試場景序列。這是因?yàn)榇蠖鄶?shù)的視頻編解碼系統(tǒng)的處理效果與視頻場景切切相關(guān)，通常情況下，視頻編解碼系統(tǒng)對(duì)于靜止場景的處理效果要好于劇烈運(yùn)動(dòng)的場景。根據(jù)H3C視頻會(huì)議系統(tǒng)的應(yīng)用場景及現(xiàn)有的視頻素材，選擇如表3所示的視頻測試序列。
表3 測試場景選擇及說明
2. 為適應(yīng)VQM 計(jì)算工具的某些要求，，需要對(duì)這些視頻序列進(jìn)行簡單的處理，包括將每個(gè)視頻場景長度裁剪為14S，格式轉(zhuǎn)化為播放器可連續(xù)播放的格式。之后使用裝有高清顯卡的PC播放這些視頻測試序列，再通過高清顯卡輸出至被測系統(tǒng)或視頻采集PC。
3. 將參考視頻輸入PC播放的視頻測試序列直接輸出至視頻采集PC，視頻采集PC將這些測試場景采集并保存作為后續(xù)的參考視頻。
4. 將參考視頻輸入PC的播放的視頻測試序列輸出至被測視頻處理系統(tǒng)，相應(yīng)的視頻測試序列經(jīng)被測系統(tǒng)處理后輸給視頻采集PC，視頻采集PC進(jìn)行采集并保存為測試視頻；
5.在視頻采集PC上將之前采集的參考視頻及測試視頻進(jìn)行一定的無損轉(zhuǎn)換，轉(zhuǎn)換為VQM軟件需要的格式，之后提供給VQM測試工具進(jìn)行一些列的數(shù)學(xué)計(jì)算，最終給出客觀視頻質(zhì)量評(píng)價(jià)值VQM。
3.3 測試過程的自動(dòng)化實(shí)現(xiàn)
我們在測試過程中發(fā)現(xiàn)，視頻采集、視頻轉(zhuǎn)化及數(shù)據(jù)收集等過程投入的人力較多，并且在視頻采集機(jī)轉(zhuǎn)化過程中，雖然只進(jìn)行了一些輔助性工作，但是也會(huì)給測試結(jié)果帶來較大的誤差，因此需要對(duì)上述測試過程進(jìn)行自動(dòng)化實(shí)現(xiàn)，排除人為的影響，具體實(shí)現(xiàn)過程如下：
1. 選擇并處理好視頻測試序列之后，將相關(guān)視頻測試場景文件保存在參考視頻輸入PC上，然后在該P(yáng)C上架設(shè)WEB服務(wù)器，將該P(yáng)C作為視頻點(diǎn)播網(wǎng)站，在其主頁中嵌入視頻播放控件，遠(yuǎn)端用戶可通過登錄該WEB網(wǎng)站在參考視頻輸入PC本地播放視頻測試場景。
2.在視頻采集PC上使用AutoIT實(shí)現(xiàn)了視頻文件采集、轉(zhuǎn)換，VQM計(jì)算及結(jié)果收集的自動(dòng)化運(yùn)行；并最終使用AutoIT整合了步驟1及步驟2的所有自動(dòng)化腳本，實(shí)現(xiàn)了在測試環(huán)境搭建后可完全的自動(dòng)化運(yùn)行，無需人工干預(yù)，排除了人為的影響。
3.4 測試結(jié)果
視頻質(zhì)量客觀測試實(shí)踐驗(yàn)證過程中，為保證測試的穩(wěn)定性，我們對(duì)每個(gè)場景進(jìn)行了多次測試之后求平均值，具體數(shù)據(jù)如表4所示：
表4 多個(gè)場景測試結(jié)果（VQM平均值）
從測試結(jié)果可看出，視頻處理系統(tǒng)對(duì)于靜止及畫面復(fù)雜度較低的場景的處理效果要好于運(yùn)動(dòng)較大及細(xì)節(jié)豐富的場景。但是此測試結(jié)果無法同人眼的主觀感受關(guān)聯(lián)起來，因此接下來需要進(jìn)行VQM測試結(jié)果與主觀測試標(biāo)準(zhǔn) DMOS 測試結(jié)果的一致性分析。
4.VQM與DMOS主觀測試方案結(jié)果一致性分析
4.1 DMOS主觀測試方案分級(jí)原理
DMOS 主觀測試方案直接由視頻質(zhì)量觀察人員同時(shí)對(duì)參考圖像及測試圖像進(jìn)行打分，再對(duì)參考圖像和測試圖像的結(jié)果進(jìn)行歸一化（轉(zhuǎn)換為0-100）；然后計(jì)算參考圖像及測試圖形之間的差值并求平均值，通過該平均值的分布來反映被測系統(tǒng)視頻主力能力的好壞，其分布范圍為0-100，值越小越好。分布范圍與主觀感覺的映射如表5所示：
表5 DMOS與主觀感受映射表
4.2 兩個(gè)分級(jí)方案一致性分析
VQM 客觀測試和 DMOS 主觀測試均是通過計(jì)算參考圖像與測試圖像之間的差值平均值來對(duì)被測系統(tǒng)進(jìn)行評(píng)價(jià)；其中VQM 客觀測試方案是在模擬人眼視覺系統(tǒng)的基礎(chǔ)上提取出人眼可感知的特征值進(jìn)行計(jì)算得出結(jié)果，DMOS 主觀測試結(jié)果則直接通過人眼的可感知性得出結(jié)果；因此從測試原理上，VQM 與 DMOS應(yīng)該是線性相關(guān)的。 VQEG 視頻質(zhì)量專家組在其進(jìn)行的第二次視頻質(zhì)量專題測試中將VQM的值乘以100后再通過下面的非線性公式轉(zhuǎn)換為DMOS值：DMOSp = b1 / ( 1 + exp( - b2*(VQM-b3) )
再與其他獨(dú)立實(shí)驗(yàn)測試的實(shí)際DMOS值進(jìn)行比較計(jì)算得出表格1與表格2的一致性結(jié)果。 VQEG 視頻質(zhì)量專家組經(jīng)過分析，若不經(jīng)過非線性轉(zhuǎn)換而是只將VQM*100線性轉(zhuǎn)換為DMOS值，則其對(duì)應(yīng)的皮爾森相關(guān)系數(shù)只會(huì)下降 0.003 及 0.015。
通過上述分析，可以初步得出，VQM的測試結(jié)果值可以通過乘以100線性轉(zhuǎn)為 DMOS值，通過 DMOS 值的分布可以間接映射為用戶的主觀感覺。將上文表4的VQM測試結(jié)果直接映射為DMOS主觀評(píng)價(jià)結(jié)果，如表5所示。
表6 VQM測試結(jié)果映身為DMOS主觀評(píng)價(jià)結(jié)果
上述映射結(jié)果值，已通過測試人員觀看實(shí)際的參考與測試視頻進(jìn)行驗(yàn)證。綜上所述，VQM可以作為日常視頻質(zhì)量測試中的一個(gè)評(píng)價(jià)標(biāo)準(zhǔn)。
5.結(jié)論
視頻質(zhì)量客觀測試標(biāo)準(zhǔn)是在模擬人眼視覺系統(tǒng)的基礎(chǔ)上提出的，與主觀測試結(jié)果一致性較好。但是由于目前對(duì)于人眼視覺系統(tǒng)的的研究還不是很透徹，人眼視覺系統(tǒng)的數(shù)學(xué)模擬并不能夠真實(shí)反映人眼的主觀感受，因此依據(jù)頻質(zhì)量客觀測試標(biāo)準(zhǔn)得出的測試結(jié)果只能作為視頻質(zhì)量評(píng)價(jià)的一個(gè)重要參考，更適合用于視頻處理系統(tǒng)廠商之間的對(duì)比測試。直接用戶是視頻處理系統(tǒng)的最終效果評(píng)價(jià)者。
CTI論壇編輯
相關(guān)閱讀: