當前位置:成語大全網 - 新華字典 - 圖像濾波(Image Denoising)

圖像濾波(Image Denoising)

在討論所有問題之前,首先要對濾波這個問題進行良好的數學建模,壹般來講光學圖像濾波都會采用如下的模型

其中 代表了空間位置信息, 代表了對應 位置上的觀察到的像素值信息, 代表了對應 位置上真實的像素值信息,是需要求解的對象,常常被稱為ground truth, 是均值為0的隨機噪聲。

? 如果對同壹目標 進行多次觀測,為了從這壹系列觀測到的值 中恢復出真實的信號,根據貝葉斯的理論框架,如果已知獨立同分布的噪聲 的概率密度函數 ,有表達式

濾波問題就是在求解如下的方程

在均勻先驗 的假設下,如果 是零均值高斯白噪聲 ,存在如下的表達式

很顯然,上式的解就是常見的均值濾波器。它建立在對於同壹個目標的多次觀測的假設基礎上。在圖像處理中,壹般認為空間上臨近的像素其相同的可能性大,因此往往在目標點的空間領域內進行均值操作。但是上式的要求是嚴格的,它要求周圍像素點和中心像素點擁有相同的真值。可以想象,這種方法在勻質區域上擁有較好的效果,事實上它是勻質區域在最小方差無偏意義上最好的濾波器,達到了該問題的克拉美羅界。對於非勻質區域,周圍像素點不再和中心像素點保持絕對壹致,該濾波器無偏差地濾掉了屬於信號的高頻信息(比如邊緣信息),引起了邊緣模糊等現象。因此後來引入了擁有權重的濾波器,對這些周圍領域像素點賦予不同的權重,和中心像素點越相似的權重越大,越不相似的權重越小。這些濾波器可以統壹地用下面的式子來表達

其中的權重 是壹個對稱的正值的函數,它代表了像素之間的相似性和距離。很多濾波算法都可以用上式來表達,它們之間的區別就在於這個權重函數 的不同。前面的均值濾波器也是其中的壹種特殊情況,其中 。此外還有常見的高斯濾波器(Gaussian Filter,GF),它把權重函數寫成只和位置 相關的函數,認為在空間上距離 越近相似度越大,距離越遠相似度越小,其中相似度權重和距離的關系采用高斯函數來描述,如果距離度量采用歐氏距離,其權重可以用下式表達

除了高斯函數之外,還有很多類似的只與空間位置相關的核函數。遺憾的是這樣的描述方式只考慮了空間上的關系,缺少了基於內容的修正,因此並沒有解決邊緣、角點這樣的高頻信號的模糊問題,因此後來提出了雙邊濾波器,其權重函數如下式所示

這種雙邊濾波器考慮到了像素值之間的相似程度,對於含有邊緣的圖像能夠起到壹定的保邊作用。但是雙邊濾波器對於低信噪比下的圖像,性能會惡化。這是因為噪聲的幹擾,處於同壹邊的像素點之間的相似程度也會很低。其根本原因在於位置 的值是精確的,但是像素 的值是近似的,直接采用單個像素的 值會受到噪聲的影響,為了增加濾波器對於噪聲的抵抗力,需要用周圍領域來估計和 相關的參數,因此後面又有學者提出了局部自適應回歸核LARK,其權重核函數如下所示

這種方法首先估計窗內每個點的梯度協方差矩陣,然後求平均,這壹步的本質就是在求解窗內邊緣的方向,以便於制定和圖像結構相關的濾波器核函數。相比於前面的均勻濾波和高斯濾波,LARK權重系數在每個方向上下降的速度是不壹樣的,和梯度的大小成正相關,因此它考慮了圖像本身的結構信息。相比於雙邊濾波器,LARK利用周圍領域來估計和 相關的系數,抗噪聲能力更強。LARK可以認為是壹種從數據中學習魯棒的結構探針的方法。

為了進壹步提升性能,需要將更多的相似像素加入到這個估計式子中來,因此有必要將周圍領域擴大到更大的範圍,比如說全圖,這就是非鄰域平均算法(Non-Local Mean,NLM)的出發點。可以用下面的式子來表達

它完全忽視了距離對於權重的影響,只考慮圖像像素和結構之間的相似性,這樣可以把更多的屬於同壹目標的像素點加入到計算中來,進壹步降低估計結果的方差,提高泛化性能。遺憾的是如果嚴格按照公式來,對每壹點都要做這樣的全圖相似性計算操作,其計算復雜度急劇上升,因此在應用中往往還是采用local的鄰域方案,只不過是壹個相對更大的鄰域而已。如果Non-Local算法只根據單個像素的觀測值 來計算權重,同樣對於低信噪比下的結果會造成性能惡化。壹般采用基於小塊的Non-Local算法來增強算法的魯棒性。但是對於那些不具有自相似性的圖像,會過度平滑復雜不規則結構。

如果對式用矩陣的方式來描述,那麽可以寫成

上面方程的閉式解是

上式是對單點濾波的閉式解,如果是對整個區域裏的點濾波則可以寫成

可以看到前面這些空域方法的核心就是權重參數 ,雖然不同方法得到的參數不壹樣,但它們都是周圍鄰域點的函數。如果對式稍作變換可以得到

這就是變換域濾波算法,先把信號 通過正交矩陣 變換到變換域上,然後在變換域通過矩陣 進行濾波,再通過正交矩陣 變換到原域上。常用的變換有傅裏葉變換、小波變換、DCT變換等等。

前面提到的算法都是從式 出發的,它們有壹個***同的特性,就是都在均勻先驗 的假設下。這種假設認為濾波的圖像的像素值均勻分布在整個色彩空間,而事實上,實際中的圖像在整個色彩空間是有壹定偏好的。如果利用這種先驗信息,那麽可以得到更好的結果。

這種先驗包括非常流行的稀疏先驗假設,稀疏先驗假設認為任意壹個圖像 都可以用壹個完備的字典 稀疏表達,它的先驗就是字典表達的稀疏性,也被稱為稀疏編碼(Sparse Coding,SC),如下式所示

其中 是圖像 在字典 下的表達。

還有壹種很流行的先驗是變分(Total Variation,TV)約束先驗。這種先驗的想法來源於Rudin在文獻中提到的壹個經驗性的觀察:含有噪聲的圖像比沒有噪聲的圖片,其變分絕對值之和要大很多。因此這可以作為壹種信息對優化加以約束。具體表達式如下

在這些約束的作用下,使得濾波器更加傾向於修復符合先驗的圖像(概率大的 ),而不再是在全空間修復,對於特定問題可以超越壹般的算法,先驗越符合實際,效果就越好。

註意到前面的這些方法,往往需要真值的壹些特征參數,包括像素值、邊緣主方向等等。這些參數由於噪聲的幹擾,本身也變成了壹個隨機變量。前面已經出現了用壹個小patch來估計這些參數的方法,大大改善了估計的準確度。除此以外,還出現了循環方法,這些循環包括串聯濾波器,使得下壹次的參數基於上壹次濾波之後的更準確的結果,以達到比上壹次更加準確的最終估計值(偏差不斷變大,方差不斷變小),也包括殘差濾波,不斷挖掘被濾掉部分中的高頻信息疊加到最後的結果中(偏差不斷變小,方差不斷變大)。它們不斷疊加的結果就是方差和偏差之間的權衡,在均方誤差(Mean Squared Error,MSE)最小的情況下,線性濾波器通過最優叠代最終演變成維納濾波,達到線性均方最小誤差問題(Linear Minimun Mean Square Error,LMMSE)的克拉美羅界。

文獻Image Denoising by Sparse 3-D Transform-Domain Collaborative Filtering提出了壹種新的濾波方法BM3D,它參考了NLM在很大的領域內搜索相似塊,並且在變換域進行濾波,同時考慮了空間的位置關系和塊之間的特征相似性,並且采用了叠代的方法。使得下壹次得到的維納濾波器參數估計更加準確,達到了經典濾波算法的state of art。該方法非常復雜,以至於沒法簡單的用數學表達式來表達權重參數 。具體的細節可以參考文獻。

這些傳統方法都有壹個很大的缺陷,就是需要事先得知圖像的噪聲強度或者信噪比來估算其中的某些參數,這給實際應用帶來了很大的限制。有時候甚至在同壹張圖像上的噪聲強度並不是均勻的,而是有差別的,而這些方法都不能應對這樣的情況。更重要的是,它們本身就是淺層的神經網絡,表達能力有限。因此後面出現了采用神經網絡的方法。

未完待續……