研究人員利用深度學習技術提高了直接集成在 CMOS 成像芯片上的超透鏡相機(左)的圖像質量。超透鏡利用 1000 納米高的圓柱形氮化硅納米柱陣列(右圖)操縱光線。

研究人員利用深度學習技術提高了超透鏡相機的圖像質量。這種新方法利用人工智能將低質量圖像轉化為高質量圖像，從而使這些相機可以用于多種成像任務，包括復雜的顯微鏡應用和移動設備。

超透鏡是一種超薄光學器件，通常只有幾毫米厚--利用納米結構來操縱光線。雖然它們的小尺寸有可能使相機變得非常緊湊和輕便，而無需傳統的光學鏡片，但使用這些光學元件一直很難達到必要的圖像質量。

來自中國東南大學的研究團隊負責人Ji Chen說：“我們的技術使我們基于超透鏡的設備能夠克服圖像質量的限制。這一進步將在未來高便攜性消費成像電子產品的發展中發揮重要作用，也可用于顯微鏡等專業成像應用。”

在《光學快報》(Optics Letters)雜志上，研究人員介紹了他們如何使用一種被稱為多尺度卷積神經網絡的機器學習，來改善小型相機(約 3 厘米×3 厘米×0.5 厘米)圖像的分辨率、對比度和失真度。

Chen說："超透鏡集成相機可以直接集成到智能手機的成像模塊中，取代傳統的折射體透鏡。"它們還可用于無人機等設備，體積小、重量輕的攝像頭既能保證成像質量，又不會影響無人機的機動性。"

提高圖像質量

新工作中使用的相機是研究人員之前開發的，它使用了一種帶有1000納米高的圓柱形氮化硅納米柱的超透鏡(metalens)。超透鏡可將光線直接聚焦到 CMOS 成像傳感器上，而無需其他光學元件。

雖然這種設計創造出了一個非常小的攝像頭，但緊湊的結構卻限制了圖像質量。因此，研究人員決定看看能否利用機器學習來改善圖像。

深度學習是機器學習的一種，它使用多層人工神經網絡自動學習數據特征，并做出復雜的決策或預測。研究人員采用這種方法，使用卷積成像模型生成大量高質量和低質量的圖像對。這些圖像對被用來訓練多尺度卷積神經網絡，使其能夠識別每種類型圖像的特征，并利用這些特征將低質量圖像轉化為高質量圖像。

Chen說：“這項工作的一個關鍵部分是開發一種方法，生成神經網絡學習過程所需的大量訓練數據。一旦訓練完成，低質量圖像就可以從設備發送到神經網絡進行處理，并立即獲得高質量的成像結果?！?/p>

圖片顯示了四幅測試圖像的地面實況、低質量圖像和神經網絡輸出結果的對比。第一行代表模擬結果，第二行代表實驗結果。藍色、紅色和黃色方框表示圖像中的細節特寫。

應用神經網絡

為了驗證新的深度學習技術，研究人員將其用于 100 張測試圖像。他們分析了兩個常用的圖像處理指標：峰值信噪比和結構相似性指數。

他們發現，經過神經網絡處理的圖像在這兩個指標上都有顯著改善。他們還表明，這種方法可以快速生成高質量的成像數據，這些數據與通過實驗直接捕捉到的數據非常相似。

研究人員目前正在設計具有復雜功能的超透鏡，如彩色或廣角成像，并開發神經網絡方法來提高這些先進超透鏡的成像質量。要使這項技術實用于商業應用，需要采用新的組裝技術，將超透鏡集成到智能手機成像模塊中，還需要專門為手機設計的圖像質量增強軟件。

Chen說：“超輕超薄的超透鏡是未來成像和檢測的革命性技術。利用深度學習技術優化超透鏡性能標志著一個關鍵的發展軌跡。我們預見機器學習是推動光子學研究的重要趨勢。”

審核編輯 黃宇