外科手術在過去的幾十年里有著巨大的蛻變，其中特別令人感興趣的進展是顯微外科（microsurgery）的出現(xiàn)。由于使用外科手術顯微鏡可以放大手術區(qū)域并實現(xiàn)更高的精度，這一進展尤其有意義。將顯微外科技術與新型相機相結合，使其真正地“讓看不見的東西變得可見”。

這種方法必將為醫(yī)療帶來革命性變化。想象一下，外科醫(yī)生能夠在分子水平上根據(jù)有關組織化學成分的實時信息做出決策，“看到”流經(jīng)動脈和血管的血液氧合情況，或者在人體內(nèi)（活體組織中）區(qū)分健康組織與異常組織（例如腫瘤細胞）。這是一個比人們所想象的更接近未來的憧憬。一個重要的驅動因素是當前醫(yī)療實踐恰好與光譜成像技術的發(fā)展相匹配。

在外科手術中使用高光譜相機的想法并不新鮮。關于這一主題的許多研究已經(jīng)進行，但一些問題的存在阻礙了該技術融入醫(yī)院的日常工作流程。

高光譜成像（HSI）解決方案的外形尺寸因素就是一項重要障礙。它們通常體積龐大，因此與手術室已經(jīng)擁擠不堪的無菌區(qū)域不兼容。高光譜成像的另一個限制是缺乏可以獲取實時數(shù)據(jù)的視頻速率高光譜相機，這對于捕捉外科手術場景中的運動和動態(tài)至關重要。imec研究機構及一些企業(yè)需要對此需求做出響應。

imec片上光譜成像活動的項目經(jīng)理Wouter Charle表示，緊湊型高光譜成像相機一旦集成到嚴格的臨床工作流程中，就會具有巨大的潛力。

據(jù)麥姆斯咨詢報道，與構建高光譜相機的傳統(tǒng)方法不同，imec并沒有在鏡頭與圖像傳感器之間使用精密光學元件來過濾和衍射光線。相反，imec利用了直接沉積在圖像傳感器上的薄膜光譜濾波器。這意味著imec可以打造穩(wěn)定且緊湊的高光譜成像解決方案，非常類似于標準機器視覺芯片和相機。由于這種技術建立在與制造IC芯片相同的晶圓級CMOS工藝之上，因此其可大規(guī)模制造、兼具成本效益，并且能夠根據(jù)特定的客戶和應用需求實現(xiàn)高度定制化。

imec在高光譜成像研究和原型開發(fā)領域擁有著豐富的經(jīng)驗，根據(jù)光譜濾波器的圖案種類，其產(chǎn)品組合主要有兩種類型。一種類型：每行像素頂部是條紋圖案，可以實現(xiàn)高分辨率的高光譜成像，該類型產(chǎn)品與經(jīng)典的線陣掃描相機相當，但具備更緊湊、更快速、更易操作等特點，其構成了imec的“snapscan”系列高光譜傳感器。

另一種類型：在3x3像素、4x4像素或5x5像素頂部是馬賽克圖案，成像的分辨率稍低，但即使在運動中也能夠實現(xiàn)用于實時數(shù)據(jù)采集的視頻速率光譜成像。這種被稱為“snapshot”的高光譜傳感器有多種款式。每種款式都涵蓋了特定的光譜分辨率和范圍——從可見光（VIS）、近紅外（NIR）到短波紅外（SWIR）。

圖為各種imec高光譜傳感器，光譜濾波器以條紋圖案或馬賽克圖案直接沉積在圖像傳感器之上。

案例研究：利用高光譜成像在人體內(nèi)鑒定低級別膠質(zhì)瘤

低級別膠質(zhì)瘤是各類生長緩慢的腦腫瘤，通常發(fā)病于年輕健康的患者身上。雖然通常情況是良性的，但研究表明，低級別膠質(zhì)瘤每年可增長4mm至5mm，并有惡變風險。因此，早期外科手術切除是一種最受青睞的治療選擇——盡管即使有外科手術顯微鏡的幫助，在人體內(nèi)檢測低級別膠質(zhì)瘤并確定其精確邊界也是極其困難的。

為外科醫(yī)生提供合適的工具在人體內(nèi)檢測這些腫瘤將是一個重要突破。正如imec的snapscan VNIR 150高光譜相機最近的研究項目所證明的那樣，高光譜成像技術顯示出了實現(xiàn)這一目標的潛力。

由于其小巧的外形尺寸以及與標準C接口光學元件的兼容性，imec的snapscan系列產(chǎn)品可以輕松安裝于標準外科手術顯微鏡。

由于其小巧的外形尺寸（10cm x 7cm x 6.5cm，重645g），并與標準C接口光學元件的兼容性，imec的snapscan系列產(chǎn)品可以輕松安裝于標準外科手術顯微鏡。與以往研究中使用的體積龐大的系統(tǒng)大相徑庭，該產(chǎn)品為緊湊型，能夠順利地納入醫(yī)院嚴格的臨床工作流程中。

更重要的是，該設備能夠生成準確的臨床數(shù)據(jù)，這些數(shù)據(jù)可以輸入深度學習神經(jīng)網(wǎng)絡。這樣就能夠將數(shù)據(jù)轉化為可操作的知識，使外科醫(yī)生能夠區(qū)分健康組織和異常組織。因此，這是適應體內(nèi)檢測腦腫瘤（例如低級別膠質(zhì)瘤）的重要第一步。

雖然術中使用該設備尚不成熟，但迄今為止，該方法已通過比利時魯汶大學醫(yī)學中心（Belgium’s Leuven University Hospital）6名患者的臨床數(shù)據(jù)集進行了驗證。imec旨在通過集成其snapshot技術來進一步推進該項目，該技術適用于視頻速率光譜成像。這將使研究人員能夠在外科手術實踐中探索低級別膠質(zhì)瘤的實時檢測。

讓高光譜成像技術實驗更容易

越來越多的廠商正在研究“如何利用高光譜成像技術增強其產(chǎn)品和/或服務，或者如何在（外科手術）實踐中使用該技術”。對于一些廠商來說，從一開始就很明確最適合其需求的光譜范圍。然而，對于另一些廠商來說，合適的光譜范圍需要通過測試多種相機選項來確認。雖然有多種相機選項可供使用，但將其數(shù)據(jù)融合到一個數(shù)據(jù)集中并從中得出結論，是一項公認的挑戰(zhàn)。

這就是imec最近通過多傳感器系統(tǒng)擴充了其snapshot產(chǎn)品組合的原因，該系統(tǒng)涵蓋可見光和近紅外光譜，并輔以高分辨率RGB圖像傳感器。該系列產(chǎn)品專門針對從事高光譜成像應用開發(fā)的企業(yè)和研究團隊。

imec的新型高光譜相機搭載三顆集成于一個外殼中的傳感器，并配備了標準F接口鏡頭。該高光譜相機將允許合作伙伴靈活地評估不同光譜分辨率和范圍的優(yōu)缺點，而無需投入大量的設備或重復實驗。

全球首款涵蓋可見光和近紅外光譜的高光譜相機，輔以高分辨率RGB成像，可用于視頻速率下的數(shù)據(jù)采集。

在相機內(nèi)部，光線被引導至三個通道。其中兩個通道配備了imec現(xiàn)成的200萬像素高光譜傳感器，覆蓋可見光和近紅外光譜范圍。第三個通道配備了高分辨率RGB圖像傳感器。因此，該相機覆蓋了460nm至870nm范圍內(nèi)的30個波段，并輔以500萬像素的真彩色圖像。相機內(nèi)的三個通道均能以視頻速率同步工作，以實現(xiàn)實時數(shù)據(jù)采集（即使面對動態(tài)場景）。

這款新相機特別適合涉及不可控動態(tài)場景的用例，例如輔助（微）外科手術、環(huán)境監(jiān)測、異常檢測、汽車視覺、精準農(nóng)業(yè)和農(nóng)作物檢查等。

到目前為止，潛在的復雜性阻礙了該行業(yè)構建功能齊全的多傳感器高光譜相機。imec認為這是其專業(yè)知識最有價值的地方：探索并原型化所需組件，幫助業(yè)界克服所有相關障礙。這款相機系統(tǒng)憑借其靈活性和附帶軟件，使得高光譜成像技術試驗從未如此容易。該特點可以讓那些仍在考慮哪種傳感器最適合其需求的合作伙伴專注于其核心業(yè)務，即應用發(fā)現(xiàn)和開發(fā)。

作為下一步發(fā)展目標，imec計劃與相機制造商和系統(tǒng)廠商分享其經(jīng)驗和完整開發(fā)套件，以支持高光譜成像系統(tǒng)的進一步商業(yè)化。

審核編輯 ：李倩