技術(shù)領(lǐng)域
本發(fā)明涉及視頻編碼技術(shù)領(lǐng)域，特別涉及一種基于圖像融合和邊緣Hash的子塊修復(fù)方法。
背景技術(shù)：
傳統(tǒng)的視頻編碼器為了獲得較高的壓縮效率，一方面，通過(guò)基于塊的離散余弦變換（DiscreteCosineTransform,DCT）去除視頻信號(hào)的空間冗余度，另一方面，通過(guò)運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償技術(shù)進(jìn)行幀間預(yù)測(cè)編碼，以去除視頻信號(hào)的時(shí)間冗余度。這種用DCT結(jié)合幀間預(yù)測(cè)技術(shù)的混合編碼器，在編碼端需要完成變換、量化、熵編碼、以及運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)却罅康倪\(yùn)算，而解碼器僅僅利用來(lái)自編碼器的信息重建視頻信號(hào)，這使得編碼復(fù)雜度遠(yuǎn)遠(yuǎn)高于解碼復(fù)雜度[8]。這種復(fù)雜度不對(duì)稱的結(jié)構(gòu)非常適合一次編碼、多次解碼的應(yīng)用場(chǎng)合，如廣播式或下行鏈路式的應(yīng)用。然而對(duì)于近年來(lái)興起的無(wú)線視頻監(jiān)控、無(wú)線傳感器網(wǎng)絡(luò)、移動(dòng)可視電話等面向上行鏈路的、低功耗、低帶寬的應(yīng)用需求，其無(wú)線視頻編碼設(shè)備簡(jiǎn)單且能量有限，而解碼設(shè)備一般無(wú)能量限制且有較強(qiáng)的處理能力。傳統(tǒng)的復(fù)雜的編碼器顯然不適用于這種場(chǎng)合，復(fù)雜度不對(duì)稱的結(jié)構(gòu)需要逆轉(zhuǎn)來(lái)適應(yīng)新的應(yīng)用需求。
分布式視頻編碼有效地將編碼器的復(fù)雜度轉(zhuǎn)移到解碼器，是一種在解碼端挖掘視頻信號(hào)的時(shí)間冗余度的全新的視頻編碼方案。其編碼框架如圖1，GOP長(zhǎng)度固定為2，關(guān)鍵幀（奇數(shù)幀）采用傳統(tǒng)的H.264幀內(nèi)編解碼方法。編碼WZ幀X（偶數(shù)幀）時(shí)將圖像分成不重疊的4×4大小的塊，首先對(duì)每個(gè)子塊進(jìn)行DCT變換，并對(duì)DCT系數(shù)均勻量化，量化后的系數(shù)用格雷碼表示，然后輸入LDPC編碼器，輸出得到校驗(yàn)比特q。解碼時(shí)，先由解碼的關(guān)鍵幀Y2i-1',Y2i+1'進(jìn)行MCI得到WZ幀的邊信息再進(jìn)行相關(guān)噪聲模型估計(jì)，LDPC解碼器在已知校驗(yàn)比特q和邊信息的條件下解碼得到糾錯(cuò)解碼系數(shù)q’，最后經(jīng)重建和IDCT模塊得到重建的WZ幀X’。
目前已經(jīng)有大量的研究集中在邊信息幀質(zhì)量和相關(guān)噪聲模型方面，以提高分布式視頻編碼器的編碼效率，然而分布式視頻編碼的失真來(lái)源于多個(gè)方面，LDPC編解碼失真就是其中之一。
圖2顯示了變換域Wyner-Ziv（TransformDomainWyner-Ziv,TDWZ）系統(tǒng)中LDPC解碼的示意圖，圖中y表示邊信息，xopt表示信源的最優(yōu)重建，[zi,zi+1)是正確解碼的區(qū)域。LDPC編解碼失真是由其解碼特性引起的。圖1所示的TDWZ系統(tǒng)解碼WZ幀時(shí)，首先是LDPC解碼器解碼出每個(gè)DCT系數(shù)對(duì)應(yīng)的量化符號(hào)q'，如果q'被正確解碼，對(duì)應(yīng)的量化區(qū)間是[zi,zi+1)，隨后按下式進(jìn)行最優(yōu)重建，
xopt=zi+1α+Δ1-eαΔ,y<ziy+(γ+1α)e-αγ-(δ+1α)e-αδ2-(e-αγ+e-αδ),y∈[zi,zi+1)zi+1-1α-Δ1-eαΔ,y≥zi+1---(1)]]>
其中α是相關(guān)噪聲模型的參數(shù)，它和方差σ2間有的關(guān)系，Δ＝zi+1-zi，即量化步長(zhǎng)，γ＝y(tǒng)-zi，δ＝zi+1-y。則重建后該DCT系數(shù)就是我們所期望的結(jié)果。然而LDPC解碼允許有一定的誤差，通常誤碼率Pe≤10-3，就認(rèn)為是正確解。如果q'解碼有誤，那么對(duì)應(yīng)的量化區(qū)間就是[zi,zi+1)以外的其它區(qū)間，再按（1）式重建后就會(huì)有很大誤差，這也是造成分布式視頻編碼系統(tǒng)失真的一個(gè)因素。
由于q'是量化索引，誤差的大小和兩個(gè)因素有關(guān)，即q'的二進(jìn)制表示中的錯(cuò)誤比特的位置和量化步長(zhǎng)，如果錯(cuò)誤出現(xiàn)在q'的自然二進(jìn)制碼的低比特位，引起DCT系數(shù)的誤差要小于錯(cuò)誤出現(xiàn)在高比特位引起的誤差，但是無(wú)論如何都會(huì)使DCT系數(shù)至少產(chǎn)生一個(gè)量化步長(zhǎng)的誤差，從而使整個(gè)子塊產(chǎn)生嚴(yán)重的誤差。而本發(fā)明能夠很好地解決上面的問(wèn)題。
技術(shù)實(shí)現(xiàn)要素：
鑒于目前分布式視頻編碼的上述不足，本發(fā)明目的在于提出一種結(jié)合圖像融合和邊緣Hash的WZ幀子塊修復(fù)方法，在WZ幀邊緣Hash的指導(dǎo)下，用信息融合的方法，對(duì)WZ幀中有解碼錯(cuò)誤的子塊進(jìn)行修復(fù)，解決由于LDPC解碼誤差導(dǎo)致的失真，提高重建WZ幀子塊的質(zhì)量。
本發(fā)明的結(jié)合圖像融合和邊緣Hash的子塊修復(fù)方法，首先根據(jù)邊緣特征判斷重建的WZ幀子塊中是否有解碼出錯(cuò)的塊，然后對(duì)有解碼錯(cuò)誤的WZ幀子塊進(jìn)行修復(fù)，修復(fù)時(shí)根據(jù)LDPC解碼器的解碼特性，融合邊信息幀子塊和重建WZ幀子塊的信息，優(yōu)化WZ幀子塊的質(zhì)量，從而提高分布式視頻編碼器的性能增益。
本發(fā)明在編碼端只進(jìn)行WZ幀的幀內(nèi)分析與處理，不涉及編碼端的其他幀，嚴(yán)格遵循分布式視頻編碼“獨(dú)立編碼”的要求。由于LDPC解碼的誤碼率受相關(guān)噪聲模型準(zhǔn)確度的影響，本發(fā)明能彌補(bǔ)相關(guān)噪聲模型的不準(zhǔn)確而造成的編碼效率的下降，對(duì)于有信道噪聲存在的情況也有一定的實(shí)際意義。
本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是：本發(fā)明提出了一種基于圖像融合和邊緣Hash的子塊修復(fù)方法，其具體步驟包括如下：
第一步：在編碼端提取WZ幀子塊的邊緣特征，即邊緣Hash信息，根據(jù)邊緣Hash信息把子塊分成垂直邊緣子塊、水平邊緣子塊和其它子塊三類；
第二步：把邊緣Hash信息編碼傳送到解碼端，采用游程長(zhǎng)度編碼和直接編碼相結(jié)合的方法：用游程編碼表示這類子塊的位置信息，用1比特“0”表示垂直邊緣子塊，用1比特“1”表示水平邊緣子塊；
第三步：在解碼端提取重建WZ幀子塊的邊緣特征，即邊緣Hash信息，根據(jù)邊緣Hash信息把子塊分成垂直邊緣子塊、水平邊緣子塊和其它子塊三類；
第四步：在解碼端判斷重建WZ幀子塊中LDPC解碼出錯(cuò)的子塊，對(duì)需要修復(fù)的子塊定位。定位的流程如圖3，把原始WZ幀邊緣信息與重建WZ幀編碼的邊緣Hash信息相比較，如果兩者一致，則說(shuō)明LDPC解碼無(wú)誤，重建子塊無(wú)需修復(fù)；如果兩者不一致，則說(shuō)明LDPC解碼有誤，需要對(duì)重建子塊進(jìn)行修復(fù)；
第五步：對(duì)解碼出錯(cuò)的子塊進(jìn)行定位后需要對(duì)有誤的子塊進(jìn)行修復(fù)，子塊修復(fù)借助于WZ幀重建子塊和邊信息幀子塊的融合來(lái)完成。子塊融合修復(fù)的機(jī)理主要從兩方面考慮，首先一旦LDPC解碼有誤，則此誤差會(huì)給DCT系數(shù)帶來(lái)很大偏差，而且一般會(huì)大于邊信息幀子塊的誤差；其次，LDPC解碼的誤差在誤碼率的限制下不會(huì)很多，這里假設(shè)一個(gè)子塊中只有一個(gè)DCT系數(shù)因?yàn)長(zhǎng)DPC解碼而產(chǎn)生誤差。具體按下述步驟執(zhí)行：
（1）求出重建子塊和邊信息幀子塊DCT系數(shù)殘差的絕對(duì)值。分別用Tx'和Ty表示重建子塊的和邊信息幀子塊的DCT系數(shù)矩陣，用Res表示重建子塊和邊信息幀子塊DCT系數(shù)殘差的絕對(duì)值矩陣，即
Res＝|Tx'-Ty|（2）
（2）求出殘差矩陣Res中的最大值max_Res，
max_Res＝argmax{Res}（3）
如果滿足
max_Res＞2*Δb（4）
則認(rèn)為此處的DCT系數(shù)就是有LDPC解碼誤差的，求出max_Res的行坐標(biāo)和列坐標(biāo)(u,v)。式（4）中Δb是b子帶系數(shù)的量化步長(zhǎng)；
（3）重建子塊Tx'中(u,v)處的系數(shù)用邊信息幀子塊Ty相應(yīng)位置處的值替代，
Tx'(u,v)＝Ty(u,v)（5）
這樣就修復(fù)了重建子塊中有LDPC解碼誤差的DCT子塊系數(shù)。
顯然修復(fù)的結(jié)果受到邊信息幀子塊(u,v)處系數(shù)的準(zhǔn)確度的影響，由于LDPC編解碼的對(duì)象是量化索引，如果解碼有誤，則量化索引的二進(jìn)制表達(dá)的1比特錯(cuò)誤就會(huì)引起至少一個(gè)步長(zhǎng)的偏差，而邊信息幀的誤差多是由細(xì)節(jié)的丟失造成的圖像模糊，所以一般情況下，邊信息幀的誤差不會(huì)大于LDPC解碼的誤差，也就是說(shuō)，該方法能提高重建子塊的質(zhì)量。
有益效果：
1、本發(fā)明可以彌補(bǔ)相關(guān)噪聲模型不準(zhǔn)確而造成的編碼效率下降的問(wèn)題。
2、本發(fā)明提高了重建子塊的質(zhì)量。
附圖說(shuō)明
圖1是TDWZ分布式視頻編碼器框圖。
圖2是LDPC解碼重建示意圖。
圖3是基于邊緣Hash的有誤子塊判斷流程圖。
具體實(shí)施方式
如圖1所示，TDWZ分布式視頻編碼器框圖對(duì)視頻序列進(jìn)行編碼，本發(fā)明提出了一種基于圖像融合和邊緣Hash的子塊修復(fù)方法，針對(duì)WZ幀子塊中由于LDPC模塊的誤碼率產(chǎn)生的誤差，借助編碼器提供的WZ幀子塊邊緣Hash信息，利用邊信息幀和WZ幀重建幀的信息融合進(jìn)行修復(fù)，具體按下述步驟實(shí)施：
第一步：在編碼端提取WZ幀子塊的邊緣特征，即邊緣Hash信息，根據(jù)邊緣Hash信息把子塊分成垂直邊緣子塊、水平邊緣子塊和其它子塊三類；
第二步：把邊緣Hash信息編碼傳送到解碼端，采用游程長(zhǎng)度編碼和直接編碼相結(jié)合的方法：用游程編碼表示這類子塊的位置信息，用1比特“0”表示垂直邊緣子塊，用1比特“1”表示水平邊緣子塊；
第三步：在解碼端提取重建WZ幀子塊的邊緣特征，即邊緣Hash信息，根據(jù)邊緣Hash信息把子塊分成垂直邊緣子塊、水平邊緣子塊和其它子塊三類；
第四步：在解碼端判斷重建WZ幀子塊中LDPC解碼出錯(cuò)的子塊，對(duì)需要修復(fù)的子塊定位。定位的流程如圖3，把原始WZ幀邊緣信息與重建WZ幀編碼的邊緣Hash信息相比較，如果兩者一致，則說(shuō)明LDPC解碼無(wú)誤，重建子塊無(wú)需修復(fù)；如果兩者不一致，則說(shuō)明LDPC解碼有誤，需要對(duì)重建子塊進(jìn)行修復(fù)；
第五步：對(duì)解碼出錯(cuò)的子塊進(jìn)行定位后需要對(duì)有誤的子塊進(jìn)行修復(fù)，子塊修復(fù)借助于WZ幀重建子塊和邊信息幀子塊的融合來(lái)完成。子塊融合修復(fù)的機(jī)理主要從兩方面考慮，首先一旦LDPC解碼有誤，則此誤差會(huì)給DCT系數(shù)帶來(lái)很大偏差，而且一般會(huì)大于邊信息幀子塊的誤差；其次，LDPC解碼的誤差在誤碼率的限制下不會(huì)很多，這里假設(shè)一個(gè)子塊中只有一個(gè)DCT系數(shù)因?yàn)長(zhǎng)DPC解碼而產(chǎn)生誤差。具體按下述步驟執(zhí)行：
（1）求出重建子塊和邊信息幀子塊DCT系數(shù)殘差的絕對(duì)值。分別用Tx'和Ty表示重建子塊的和邊信息幀子塊的DCT系數(shù)矩陣，用Res表示重建子塊和邊信息幀子塊DCT系數(shù)殘差的絕對(duì)值矩陣，即
Res＝|Tx'-Ty|（2）
（2）求出殘差矩陣Res中的最大值max_Res，
max_Res＝argmax{Res}（3）
如果滿足
max_Res＞2*Δb（4）
則認(rèn)為此處的DCT系數(shù)就是有LDPC解碼誤差的，求出max_Res的行坐標(biāo)和列坐標(biāo)(u,v)。式（4）中Δb是b子帶系數(shù)的量化步長(zhǎng)；
（3）重建子塊Tx'中(u,v)處的系數(shù)用邊信息幀子塊Ty相應(yīng)位置處的值替代，
Tx'(u,v)＝Ty(u,v)（5）
這樣就修復(fù)了重建子塊中有LDPC解碼誤差的DCT子塊系數(shù)。
顯然修復(fù)的結(jié)果受到邊信息幀子塊(u,v)處系數(shù)的準(zhǔn)確度的影響，由于LDPC編解碼的對(duì)象是量化索引，如果解碼有誤，則量化索引的二進(jìn)制表達(dá)的1比特錯(cuò)誤就會(huì)引起至少一個(gè)步長(zhǎng)的偏差，而邊信息幀的誤差多是由細(xì)節(jié)的丟失造成的圖像模糊，所以一般情況下，邊信息幀的誤差不會(huì)大于LDPC解碼的誤差，也就是說(shuō)，該方法能提高重建子塊的質(zhì)量。