概覽
數字聲頻與音頻為消費者提供了立體聲且高清晰度的聲頻體驗,而相關測試則從傳統的靜態、單幀像分析,轉換為動態測試、質量" title="圖像質量">圖像質量分析。雖然單幀像分析可提供信號定時、色深、線條同步化,以及更多有用信息,但壓縮/解壓縮算法與緩沖錯誤的數字影像也常造成瑕疵,且無法通過單幀像所察覺。常見錯誤則包含宏區塊、幀像停滯、聲頻遺失與截斷,或像素化。此篇教學指南概述了圖像質量分析,并說明NI Picture Quality Analysis軟件應如何搭配NI Digital Video Analyzer使用,偵測數字聲頻與視頻的瑕疵或假影。
HDMI串流的常見瑕疵
首先應了解圖像質量分析,從而知道數字視頻系統可能產生的瑕疵類型。而用戶自己就能發覺最常見、最重要的瑕疵,如宏區塊、像素化、幀像模糊、停滯、遺失、聲頻截斷和LipSync。
宏區塊–數字影像往往是通過MPEG4或H.264壓縮成多個8x8色塊。若壓縮/解壓縮算法之間并無高度相關,則可能產生多個定義邊緣的區域。 這就是宏區塊。
.
圖1.若原始圖像的解壓縮效果不佳,宏區塊就可能在解壓縮后的像素之間形成定義邊緣。
若傳輸期間遺失數據,則解碼器將無法正確讀取數據區塊從而檢索原始的像素數據,這樣會造成明顯的掉色區塊錯誤。與宏色塊相比,雖然這些錯誤均較為少見,但仍極為明顯。
圖2. 因數據遺失與錯誤解碼而產生的像素化錯誤。
–在解碼或調整期間,可能遺失高頻率的組件,進而在邊緣之間遺失定義,或出現模糊的情況。視頻信號將因此丟失清晰度或鮮明度。
圖3. 模糊將使視頻信號產生不清晰的邊緣。 圖左在黑、白邊緣之間的定義較不明顯。
從圖1到圖3呈現了單一圖像的模糊、像素化、宏區塊;這些瑕疵往往不會再各個幀像逐一出現,而必須全時間完整測量設備以獲得正確的結果。其他瑕疵如幀像停滯/遺失、聲頻切割、LipSync(聲頻/視頻同步化),也需分析多組幀像。
圖像質量分析評分
圖像質量分析即測量視頻流的整體。因此匯集了專業技術人員觀看視頻,并以其專業的主觀角度評分,設立了DifferentialMeanOpinion Scores (DMOS)。 但此方法仍有許多待解的難題,如訓練技術人員的成本,還有操作人員觀看屏幕的重復性成本。 另一個重大挑戰則是關于主觀測試的質量。 在制造過程中,根本不可能聘請視頻質量專家觀看各組設備的生產細節,只能讓水平較差的操作人員觀看視頻并評分。 因此如分心、疲勞、眼睛過度刺激等人為因素,均會降低產品品質而讓劣質品過關,由此促使了工程師必須重新設計影像測試的方法。
較好的圖像質量分析方式,即必須能重復套用客觀的測量方式,以測量音頻與視頻的質量。目前有多種算法,均與專業操作人員的主觀評分相關。常見的兩種測量之一為峰值信噪比(PPSNR),它是以均方差(MSE)以及德州大學圖像與視頻工程實驗室(LIVE)的Al Bovik教授和其團隊,所設定的結構相似性(SSIM)指數為構架。 此項指數已成為最具公信力的視頻質量測量指數。 只要套用如PSNR與SSIM算法,即可通過自動化、可重復的測量方法,輕松評定視頻質量。
圖4.愛因斯坦照片的比較,代表了不同的失真程度:
a)參考圖像, b)平均對比伸展, c)亮度平移, d)高斯噪音污染,e)脈沖噪音污染, f)JPEG壓縮, g)模糊,
h)空間縮放 (縮小), i)空間平移 (向右), i)空間平移 (向左), k)旋轉 (逆時針), l)旋轉 (順時針)。
下載“ImageQualityAssessment: From Error Visibility to Structural Similarity” 由Zhou Wang與Alan C. Bovik撰寫,并被IEEE Signal Processing Society授予最佳學術文章獎。
另一種視頻質量測試方法是測量視頻與音頻內容的特定假影。此時可套用特定瑕疵算法,以找出視頻中的特定錯誤,如方格或幀像停滯/遺失。許多生產應用不太需要如PSNR或SSIM的高性能測試。反之,往往僅需確認沒有產生宏區塊、聲頻切割、視頻停滯即可。 通過特定瑕疵的測量,即可迅速決定該款設備是通過還是失敗。
具備NIPictureQualityAnalysis軟件的NI Digital Video Analyzer能夠測量特定瑕疵,也可達到如PSNR與SSIM的高圖像質量測量。 通過用戶定義的測量,即可套用自定義的算法,以建立完全自定制的圖像質量分析應用。
圖5.針對水平與垂直空間中的宏區塊,需采集并分析1080p60的視頻流。
參考與無參考測試
針對視頻/音頻流,進行圖像質量分析測量的方法目前有三種。
1.無參考測試:不論圖像內容如何,此方式可將測量套用至任何系統。而此測量方式的挑戰之處在于,因分析圖像內容的不同,測量結果的差異也相當大。
2.簡化參考測試:簡化參考測試則需要“金級”或理想樣本設備。在測量了金級樣本設備的音頻/視頻質量之后,其它設備即根據金級樣本結果進行測試,以定義該系統是通過還是失敗。
3.完全參考測試::完整參考測試也需要金級的樣本設備。但不同于簡化參考測試(分別測量測試與參考流),完整參考是將2組串流依像素進行分析。它是目前功能最為強大的測試,但針對參考串流的分析,其處理/存儲/檢索的難度更高。PSNR與SSIM測量均屬于完整參考方式。
圖6.圖片質量分析共有三種方式:1)左圖的無參考測試,可用于未知或無法重復的視頻串流,
2)中間的簡化參考測試,是在測量參考與測試流完成之后,再進行比較,3)右圖的完整參考測試即在測試與參考流之間進行像素比較。
觸發
當使用簡化或完整參考分析時,必須同步化測試與參考流,以實現精確的比較。盡管同步化的方法有多種,但最理想的方式包含:
如果可在感興趣區(ROI)中辨認文字,則可使用光學字符識別(OCR)方式。視頻串流上的框架計數器是OCR的最佳范例。通過OCR可輕松地在任何特定框架上設定觸發器。
若串流的亮度大幅變化,如相機角度變化或其他亮度增強時,強度閥值是理想的觸發方式。此方法的關鍵就是必須找出觸發器的ROI,且不會觸發序列中的其他點。
模式對比則常見于參考與測試流之間的觸發采集。而此方法的難點在于,框架N與N+1太過相近,會在錯誤框架上觸發模式對比觸發器。使用模式對比觸發器的最佳方式就是針對單一框架,為視頻流(例如色條)插入已知模式。接著即可將此框架作為模式對比。
圖7.最理想的三種同步化方式是:模式對比、強度閥值、光學字符識別。
NI Picture Quality Analysis軟件均具備這些觸發方式,更適用于任何應用或視頻流。也有用戶定義的觸發器,可針對分析器寫入自己的觸發算法。
NI Digital Video Analyzer與NI Picture Quality Analysis軟件(NI PQA)
NIDigitalVideoAnalyzer與NI Picture Quality Analysis軟件,可為HDMI串流視頻/音頻測試應用提供必要的軟硬件。 硬件以PXI Express技術為構架,可采集1080p60、 HDCP加密的圖像內容,并可套用相關函數庫客觀測量圖像質量。
NIDigitalVideoAnalyzer搭配NI Picture Quality Analysis軟件可提供強大的算法,并在多媒體設備的設計與檢驗期間,進行視頻的參考測試。 針對更高傳輸率的應用,NI Picture Quality Analysis軟件可提供高性能的實時測量,避免操作人員發生錯誤或主觀性測試。可配置的介面選用參考/無參考測試、直接進行預先建立的測量、設定限制,并自動化應用。