1、動態范圍擴展定義

動態范圍(Dynamic Range)是物理學中常見的概念，表示某一物理量最大值與最小值的比率，通常以對數表示，單位為dB。對于真實場景，它指場景中最明亮處與最黑暗處的亮度之比。自然景觀的亮度范圍覆蓋非常之廣，最大動態范圍能達到160db，而人眼可以感知的亮度范圍高達10個數量級。

現實中8比特量化的數字相機輸出的圖像只能記錄有限范圍的灰階與顏色數，其動態范圍只有兩個數量級，遠遠小于常見的自然場景的動態范圍及人眼所能感知的動態范圍，數碼相機動態范圍不足的問題對其應用造成了較大的影響。鑒于該問題，需要我們進行動態范圍擴展，從而讓電子顯示設備能夠輸出更寬動態范圍的圖像。

擴展數字成像系統的動態范圍，即高動態范圍成像技術(HDR)，指利用硬件或者軟件的方法，使系統輸出的圖像包涵盡可能大的場景亮度范圍，并準確地再現場景真實的細節信息。目前實現該技術的主要方法：軟件擴展方法和硬件擴展方法。其中軟件擴展方法主要分為輻照度重建法和直接融合法。

2、動態范圍擴展方法

2.1 硬件擴展方法

硬件上限制數字成像系統動態范圍的主要元件是圖像傳感器(sensor)，CCD／CMOS傳感器的動態范圍定義為飽和電荷量Qs與最小可探測電荷量Qd的比值如下。sensor動態范圍主要受光敏器件的靈敏度、滿阱容量和噪聲水平等因素限制，而且傳感器面積一定的條件下，提高像素數目與提高動態范圍相互矛盾。因此在不減少圖像傳感器像素數目的條件下，提高動態范圍需要增大圖像傳感器的面積，成本將會增加，成像系統的結構也可能受到影響。

硬件擴展的另一方案是通過改變光學系統結構或添加其他元件改變圖像傳感器接收光能量，經后期處理實現動態范圍擴展。如利用分光棱鏡使入射光線在不同的靶面成像，采用不同靈敏度的傳感器接收或設置不同的電路增益，再利用多個傳感器獲得的不同圖像生成一幅高動態范圍圖像。

沒有成熟可靠的方案。而且上述方法需要對相機或圖像傳感器進行改造，甚至重新設計，在硬件設備上花費了大量精力，制造成本也大大提高，不宜在一般的科研項目中采用。

2.2 軟件擴展方法

軟件擴展方法原理：對被攝場景進行多次曝光成像，通過設置不同的曝光時間，改變系統探測的亮度范圍，獲取多幅不同曝光度的圖像，最后通過軟件方法將它們合成一幅高動態范圍圖像，恢復場景的細節信息。如下圖：

目前軟件擴展方法主要有兩種：基于相機響應函數(CRF)的輻照度重建和多曝光圖像融合。

2.2.1 輻照度重建方法

輻照度重建方法處理過程：靜態場景拍攝多幅不同曝光度的低動態范圍圖像，利用圖像信息推算成像系統的響應函數，再通過響應函數逆運算得到場景的相對輻照度，用以合成高動態范圍圖像，并以浮點數保存。其中，相機響應函數求解是關鍵的步驟 。

(1) 設相機和拍攝場景均處于靜態，且曝光時間足夠短，從而可以忽略拍攝過程場景的亮度變化 在多次曝光成像中，假設j次曝光時間為△t(j)。第i個像素接收的場景輻照度為E(i)，在獲得的第j幅圖像中，其像素值為Z(i,j)，公式如下：

(2) 假設相機響應函數是一定區間下單調連續，即f函數可逆：

(3) 上述函數左右取對數，可得到：

(4) 設置函數g = lnf-1，可簡化為：

Delta t(j)和Z(i,j)為已知，函數g(z)和輻照度E(i)未知，其中Z(i,j)取值為離散且有限的，因此我們并不需要求解g(z)的完整解析式，只需在Z的取值范圍中恢復g(Z)的有限個取值即可。假設像素值的最大值和最小值分別為Zmax和Zmin。像素采樣點為N，曝光次數為P。為了確定(Zmax-Zmin+1)個g(z)和N個E(i)的值，使之滿足上述公式，定義如下目標函數：

目標函數第一項是為了使所求得的解具有最小的方差，第二項則是對函數g進行平滑約束，其中r為平滑約束權重。此外，在過度曝光和曝光不足的區域，受傳感器動態范圍及噪聲影響，像素點的輸出值往往不夠穩定。為此，引入權重函數W(z)，衡量像素值的可信程度，減小邊界采樣對求解函數g的影響。

此時目標函數修改為：

至此，函數g的求解變為目標函數的最小化問題。由于甙z)的取值有限，只要選取足夠的采樣點，就可以將目標函數轉化為一個超定方程組，可以通過奇異值分解求得甙z)的最小二乘解，進而利用單調性計算出相機響應函數。如下一組多曝光LDR圖計算后的相機響應函數如下：

(5) 根據上述步驟即可得到相機的響應函數，則場景相對輻照度計算較為容易，如下式：

通常，為了降低圖像噪聲及飽和像素值的影響，在計算第i個像素對應的輻照度時，盡可能地利用其在所有輸入圖像中的像素值，并再次引入權重函數w(z)。通過如下公式計算：

在獲得場景的相對輻照度數據后，將其以特定的圖像格式存儲，一就得到了場景的高動態范圍圖像。在處理彩色圖像時，可以有兩種方法。一種方法是分R、G、B三個顏色通道計算相機響應函數，求出各通道對應的相對輻照度，最后調節比例參數進行白平衡處理。另一種方法是，將RGB圖像轉換至HSV空間，恢復V通道的高動態范圍數據。

2.2.2 多曝光圖像融合

輻照度重建法合成的HDR圖像質量十分地依賴于相機響應函數的計算精度，拍攝過程相機抖動或景物微小移動會對計算結果造成較大影響，因此最新提出了多曝光融合方法。從圖像融合的角度出發，從曝光度不同的LDR圖像序列提取信息合成一幅高質量LDR圖像，其視覺效果相當于一幅局部自適應曝光的“高動態范圍圖像”。常見的多曝光融合方法可以分為像素級融合、特征級融合 、決策級融合。

像素級融合主要針對原始圖像數據進行融合，融合前未進行圖像綜合分析與處理。這一層次的融合數據準確性最高，能夠提供豐富、可靠的細節信息，應用最為廣泛 。

特征級融合則針對圖像特征信息進行融合。首先從原始數據中提出特征信息，如邊緣、紋理、運動方向、視覺顯著性等，然后進行特征分析與綜合處理。相比于像素級融合，特征級融合能夠降低噪聲影響，提高魯棒性。

決策級融合是層次最高的信息融合，模擬人類學習與思考過程，對圖像信息進行邏輯推理與統計分析，設定一定規則對信息進行融合。

本文描述的是基于曝光適度評價的快速融合，屬于特征級融合范圍。曝光適度評價的快速融合是指使用權值圖對不同曝光度圖像序列進行加權融合，因此，高效確定融合權重值的成像質量評價標準是算法研究的關鍵。算法流程如下：

(1) 曝光適度評價

早期曝光適度評價方法：以像素的歸一化像素值與O，5的接近程度評價曝光適度，其評價數值體現為像素的融合權重分量，并利用高斯模型進行計算，權重值計算如下：

該權重公式可以盡可能地保留每幅輸入圖像中像素值在0.5附近的像素信息，這樣容易丟失場景灰暗和明亮處的細節。因為以固定值0.5作為最佳像素值不能顯著區分這些區域內不同像素間的差異，不利于提取區域內的細節信息。 因此為了保證圖像信息沒有丟失，將0.5修改為像素均值方式。對于同一場景的N幅不同曝光度圖像，以I(i,x，Y)表示第i幅圖像中坐標為(x，Y)處的像素，其曝光適度評價指標為：

其中：

從上述公式中，一方面，為保證較為理想的人眼視覺感受，u(x，y)的取值應在0.5附近；另一方面，為體現場景真實的亮暗對比信息，需從場景有限次數的采樣中近似地獲取其亮度信息。u(x,y)取O．5與該均值的加權和，權重因子p為細節信息與亮暗對比信息平衡參數。

(2) 分塊處理

根據實驗測試驗證，若使用上述曝光適度評價方法獲得的權重值對輸入圖像直接進行加權融合，生成圖像會出現像素值變化過快、顏色異常的現象 ，如下圖：

基于圖像區域分析的融合算法具有較高的魯棒性，將圖像劃分為不同區域，并將上述曝光適度評價方法應用于圖像分塊區域，既能保留景物的局部特性，又能避免隨機噪聲影響，同時還可以大幅度提高計算效率。將圖像分割為均勻大小的矩形分塊。將每幅輸入圖像分割為b×b大小的M個矩形分塊，以B(i,j)表示第i幅圖像的第j個分塊。為了綜合圖像的局部特性，計算每個分塊的像素值均值 ：

利用上述曝光適度評價方法對分塊圖像的成像質量進行衡量，以分塊均值作為該分塊區域的“像素值”，并將分塊區域視為單個“像素"，利用權重公司計算得到每個分塊對應的曝光適度評價值。若分塊內的像素直接以該評價值作為權重值，進行融合，融合圖像會在分塊邊界處出現明顯的不連續現象，需要進一步處理融合圖像以消除圖像塊效應。

因此，需要基于分塊模式優化權重圖，考慮塊內部像素分布，針對分塊B(i,j)內位置坐標為(x，y)的像素，利用B(i,j)的8鄰域內的分塊曝光適度評價值聯合確定該像素的權重值：

其中融合函數G(x，y)為峰值位于分塊中心的二維高斯函數，高斯標準差、 的取值與分塊寬度b有關：

(3) 圖像融合

將前面得到各輸入圖像的權值圖，對其做歸一化處理使得融合結果連續而自然，公式如下：

歸一化權值圖形，(x，Y)與對應曝光度圖像加權疊加即可得到最終的融合圖像：

在處理彩色圖像時，算法注重場景的亮度信息，因此將輸入圖像轉換到YCbCr空間，對亮度信息和顏色信息分別進行處理。此外，在計算Cb、Cr色差通道數據時，將曝光適度評價中的u(x,y)設置為固定值0.5，并省略公式分塊權重值融合的步驟，結果表明，仍可得到良好的融合效果，進一步減少了算法的運算量，提高了計算效率。