在一些特定環(huán)境下,紅外傳感器無(wú)法探測(cè)到目標(biāo)時(shí),需要將偏振技術(shù)與紅外技術(shù)相融合。為了獲得更清楚的融合圖像,可采用一種基于多尺度結(jié)構(gòu)分解的圖像融合方法實(shí)現(xiàn)紅外光強(qiáng)與偏振圖像融合。
據(jù)麥姆斯咨詢報(bào)道,近期,西安工程大學(xué)電子信息學(xué)院的科研團(tuán)隊(duì)在《紅外技術(shù)》期刊上發(fā)表了以“基于結(jié)構(gòu)與分解的紅外光強(qiáng)與偏振圖像融合”為主題的文章。該文章第一作者為陳錦妮碩士生導(dǎo)師,主要從事信息與信號(hào)處理方面的研究工作;通訊作者為陳宇洋,主要從事圖像融合方面的研究工作。
本文提出一種反正切權(quán)值函數(shù)與應(yīng)用在紅外與可見(jiàn)光圖像融合算法相結(jié)合,通過(guò)均值濾波器,將圖塊級(jí)的融合轉(zhuǎn)換成圖像級(jí)的融合,在不同尺度下通過(guò)不同權(quán)值,充分提取基礎(chǔ)層與細(xì)節(jié)層中的特征,有效地提高融合圖像的對(duì)比度、保留更多的紋理細(xì)節(jié)、提升了客觀指標(biāo)。
多尺度圖像分解融合方法原理
本文研究一種基于多尺度結(jié)構(gòu)分解的紅外光強(qiáng)與偏振圖像融合方法。首先,多尺度的優(yōu)勢(shì)可以在融合圖像中感知信息結(jié)構(gòu)、抑制目標(biāo)周圍的偽影。其次,將紅外光強(qiáng)與偏振圖像通過(guò)滑動(dòng)窗口進(jìn)行精確圖像分解與融合,并且轉(zhuǎn)換為圖像級(jí)濾波融合,可以降低計(jì)算復(fù)雜度。
多尺度圖像分解的基本框架
結(jié)構(gòu)圖塊分解的基本思想是將一個(gè)大小為k × k的圖像塊分解為3個(gè)概念上獨(dú)立的部分:平均強(qiáng)度、信號(hào)強(qiáng)度和信號(hào)結(jié)構(gòu)。在平均強(qiáng)度融合方面,采用加權(quán)平均計(jì)算強(qiáng)度分量,以使紅外信息與偏振信息都能在融合圖像中得到體現(xiàn)。一般采取兩張輸入圖像進(jìn)行融合。
控制權(quán)重函數(shù)非線性曲線如圖1所示。不同的目標(biāo)物在不同環(huán)境下的紅外特性與偏振特征不同,所反應(yīng)出紅外光強(qiáng)與偏振圖像的平均強(qiáng)度各有高低,通過(guò)不同λ的選擇,可以擴(kuò)大紅外光強(qiáng)和偏振圖塊平均強(qiáng)度的權(quán)重差。λ較大表示更多偏振特征可以在融合結(jié)果中得到體現(xiàn),目標(biāo)的偏振特征也會(huì)得到增強(qiáng)。
圖1 控制權(quán)重函數(shù)非線性曲線
信號(hào)強(qiáng)度的融合結(jié)果將會(huì)直接影響到圖像的局部對(duì)比度。信號(hào)強(qiáng)度越大,圖像的對(duì)比度將會(huì)越強(qiáng)、細(xì)節(jié)更清晰。通過(guò)獨(dú)立融合的平均強(qiáng)度、信號(hào)強(qiáng)度、信號(hào)結(jié)構(gòu)的3個(gè)分量,逆分解可以計(jì)算出局部融合圖塊x?。
圖塊級(jí)轉(zhuǎn)換成圖像級(jí)濾波融合
圖塊級(jí)融合通常可以通過(guò)滑動(dòng)窗口實(shí)現(xiàn),對(duì)每個(gè)圖塊進(jìn)行相應(yīng)的分解融合,然后放回原處,在圖像重疊處采用像數(shù)平均原則,在選擇較大尺寸的圖塊時(shí)圖塊級(jí)的分解與融合計(jì)算代價(jià)非常高。為了解決計(jì)算代價(jià)過(guò)高的問(wèn)題,本文將圖塊級(jí)的分解融合轉(zhuǎn)換成圖像級(jí)的濾波融合。
多尺度結(jié)構(gòu)分解方法
了進(jìn)一步解決融合圖像中目標(biāo)邊緣模糊和細(xì)節(jié)丟失等問(wèn)題,本文采用多尺度的方法,可以讓不同尺度上的特征與細(xì)節(jié)得到充分的利用,文中采取的多尺度方法與Li H的方法一致。通過(guò)下采樣可以將圖片分解成J層,其中包括J-1層細(xì)節(jié)層和一層基礎(chǔ)層。算法再分解尺度為4時(shí)的融合過(guò)程如圖2所示。當(dāng)中第一行和第三行分別是4種尺度下的紅外圖像與偏振圖像,第二行展示不同尺度下的融合過(guò)程與最終的融合結(jié)果。
圖2 展示多尺度結(jié)構(gòu)分解算法在J=4時(shí)的融合過(guò)程
融合圖像主客觀分析
在進(jìn)行圖像評(píng)價(jià)之前,應(yīng)該確定本算法中參數(shù)λ。進(jìn)行6組不同λ參數(shù)的融合對(duì)比實(shí)驗(yàn),根據(jù)實(shí)驗(yàn)結(jié)果,當(dāng)λ=5時(shí),本算法在7項(xiàng)評(píng)價(jià)指標(biāo)中4項(xiàng)領(lǐng)先,所以這里采用λ=5。分解層數(shù)J是由圖像的H和W與一個(gè)可變常數(shù)T所自適應(yīng)確定,這里約定使用T=3,細(xì)節(jié)層為2×2,中間層與基礎(chǔ)層分別為2×2與1×1,表1詳細(xì)說(shuō)明本算法在5組融合圖像下不同融合參數(shù)的平均質(zhì)量評(píng)價(jià)。從中可以看到當(dāng)λ=5時(shí)算法在信息熵(EN)、視覺(jué)保真度(VIF)、多尺度結(jié)構(gòu)相似度測(cè)量(MS_SSIM)、結(jié)構(gòu)相似度測(cè)量(SSIM),4種指標(biāo)上取得優(yōu)勢(shì),而其它的指標(biāo)也有不俗的表現(xiàn)。
表1 5組融合圖像下不同λ的平均質(zhì)量評(píng)價(jià)
主觀評(píng)價(jià)
選取常見(jiàn)數(shù)據(jù)集中的5組圖像進(jìn)行相應(yīng)的融合,并對(duì)比8種多尺度算法在紅外偏振融合的結(jié)果,其中包括CP、DWT、GP、LP、PCA、RP、SIDWT以及本文所提出的算法。如圖3~圖7所示。
圖3 Airport在8種多尺度融合算法的結(jié)果圖:(a)紅外圖像;(b)偏振圖像;(c)對(duì)比度金字塔;(d)離散小波變換;(e)梯度金字塔;(f)拉普拉斯金字塔;(g)主成分分析;(h)低通金字塔;(i)平移不變小波變換;(j)本文算法
圖4 Road在8種多尺度融合算法的結(jié)果圖:(a)紅外圖像;(b)偏振圖像;(c)對(duì)比度金字塔;(d)離散小波變換;(e)梯度金字塔;(f)拉普拉斯金字塔;(g)主成分分析;(h)低通金字塔;(i)平移不變小波變換;(j)本文算法
圖5 Car在8種多尺度融合算法的結(jié)果圖:(a)紅外圖像;(b)偏振圖像;(c)對(duì)比度金字塔;(d)離散小波變換;(e)梯度金字塔;(f)拉普拉斯金字塔;(g)主成分分析;(h)低通金字塔;(i)平移不變小波變換;(j)本文算法
圖6 Windows在8種多尺度融合算法的結(jié)果圖:(a)紅外圖像;(b)偏振圖像;(c)對(duì)比度金字塔;(d)離散小波變換;(e)梯度金字塔;(f)拉普拉斯金字塔;(g)主成分分析;(h)低通金字塔;(i)平移不變小波變換;(j)本文算法
圖7 Outdoor在8種多尺度融合算法的結(jié)果圖:(a)紅外圖像;(b)偏振圖像;(c)對(duì)比度金字塔;(d)離散小波變換;(e)梯度金字塔;(f)拉普拉斯金字塔;(g)主成分分析;(h)低通金字塔;(i)平移不變小波變換;(j)本文算法
從5組融合圖像中可以得知,通過(guò)CP算法融合的圖像,容易產(chǎn)生噪聲,并且大部分在圖像中出現(xiàn)噪聲,部分圖像目標(biāo)周圍出現(xiàn)偽影。DWT的融合思想,首先對(duì)源圖像進(jìn)行變換,然后按照一定規(guī)則對(duì)變換系數(shù)進(jìn)行合并,最后對(duì)合并后的系數(shù)進(jìn)行逆變換得到融合圖像。而DWT目標(biāo)周圍發(fā)生嚴(yán)重的偽影,以及少部分的紋理丟失。
GP與LP都是基于金字塔的多尺度分解方法,將源圖像分別分解到不同的空間頻帶上,融合過(guò)程是在各空間頻率層上分別進(jìn)行的,這樣就可以針對(duì)不同分解層的不同頻帶上的特征與細(xì)節(jié),采用不同的融合算子以達(dá)到突出特定頻帶上特征與細(xì)節(jié)的目的。PCA融合結(jié)果整體平滑,但將關(guān)鍵偏振信息丟失。
RP融合通過(guò)許多低頻信息,導(dǎo)致融合圖中存在許多噪聲導(dǎo)致融合結(jié)果不清晰。SIDWT也是采用不同的融合策略將高頻信息與低頻信息分別融合,最后逆變換獲得最終圖像,整體融合結(jié)果對(duì)比度較低。最后本文所改進(jìn)的算法,在紅外光強(qiáng)與偏振圖像的融合中,圖像對(duì)比度得到整體提高以及更多的紋理信息,且目標(biāo)周圍偽影得到有效處理。
客觀評(píng)價(jià)
除了主觀評(píng)價(jià)之外,為了對(duì)此方法與其他融合方法進(jìn)行定量對(duì)比,選取7種圖像質(zhì)量的評(píng)價(jià)指標(biāo),其中包括:EN信息熵、QAB/F基于梯度的融合性能、差異相關(guān)(SCD)、標(biāo)準(zhǔn)差(SD)、VIF視覺(jué)保真度、MS_SSIM多尺度結(jié)構(gòu)相似度測(cè)量、SSIM結(jié)構(gòu)相似度測(cè)量,評(píng)價(jià)指標(biāo)的具體數(shù)值如表2所示。EN主要是度量圖像包含信息量多少的評(píng)價(jià)指標(biāo);QAB/F代表圖像邊緣的保留程度;SCD的值度量融合后圖像與源圖像差異性,并且與人類視覺(jué)主觀評(píng)價(jià)相似;SD代表圖像的灰度級(jí)分布;VIF用于量化整個(gè)圖像的信息保真度;所選取7個(gè)評(píng)價(jià)指標(biāo)的數(shù)值越大,代表融合圖像的質(zhì)量越好。
表2 融合圖像的客觀評(píng)價(jià)指標(biāo)
結(jié)論
本文根據(jù)傳統(tǒng)多尺度融合方法在紅外光強(qiáng)與偏振圖像中存在的對(duì)比度低、目標(biāo)偏振特征不明顯、紋理細(xì)節(jié)不夠清晰等問(wèn)題,提出一種反正切函數(shù)作為權(quán)重函數(shù)與多尺度結(jié)構(gòu)分解相結(jié)合的融合算法應(yīng)用在紅外光強(qiáng)與偏振融合中。詳細(xì)說(shuō)明多尺度結(jié)構(gòu)分解的融合算法,將圖塊級(jí)融合的方式轉(zhuǎn)換為圖像級(jí)的濾波融合。然后通過(guò)參數(shù)實(shí)驗(yàn)結(jié)果對(duì)比,選取較好的融合參數(shù)進(jìn)行融合。
在主觀上具有較好的效果,提高融合圖像整體對(duì)比度,有效地抑制了目標(biāo)周圍偽影以及保留了更多的紋理細(xì)節(jié)。在常用的公共數(shù)據(jù)集中進(jìn)行主觀評(píng)價(jià)與客觀評(píng)價(jià),實(shí)驗(yàn)結(jié)果表明,本方法具有良好的主觀視覺(jué)效果,有效解決融合圖像對(duì)比低、目標(biāo)偏振特征不突出、紋理細(xì)節(jié)不夠清晰、目標(biāo)偽影等問(wèn)題,并且在與傳統(tǒng)多尺度算法的7種客觀評(píng)價(jià)指標(biāo)的比較中取得4種指標(biāo)領(lǐng)先的結(jié)果,說(shuō)明該算法在紅外與偏振的融合圖像中具有較多優(yōu)勢(shì)以及多場(chǎng)景的適應(yīng)性與穩(wěn)定性。
審核編輯:劉清
-
紅外傳感器
+關(guān)注
關(guān)注
9文章
534瀏覽量
47956 -
PCA
+關(guān)注
關(guān)注
0文章
90瀏覽量
29868 -
SCD
+關(guān)注
關(guān)注
0文章
9瀏覽量
10271 -
DWT
+關(guān)注
關(guān)注
0文章
20瀏覽量
11228
原文標(biāo)題:基于結(jié)構(gòu)與分解的紅外光強(qiáng)與偏振圖像融合
文章出處:【微信號(hào):MEMSensor,微信公眾號(hào):MEMS】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
VirtualLab Fusion應(yīng)用:亞波長(zhǎng)結(jié)構(gòu)偏振光柵的深入分析
VirtualLab Fusion應(yīng)用:圓錐折射作為偏振計(jì)量工具的模擬
FRED應(yīng)用:雙折射晶體偏振干涉效應(yīng)
光柵的偏振分析
偏振分析器
用于透過(guò)印刷圖案或液體的高輸出紅外光源

偏振分色
近紅外光譜儀的原理和工作機(jī)制
近紅外光譜儀校準(zhǔn)方法 近紅外光譜儀與紫外光譜儀區(qū)別
AFE4403紅光與紅外光默認(rèn)的開(kāi)關(guān)頻率是多少Hz?
全場(chǎng)景紅外光柵-智能紅外入侵探測(cè)器

如何使用便攜式礦物紅外光譜儀進(jìn)行野外勘測(cè)

集群智慧,防干擾先鋒 ——集群版紅外光柵的應(yīng)用革新

南方科技大學(xué)成功研制室溫片上微型紅外光譜儀

便攜式礦物分析紅外光譜儀

評(píng)論