編輯按：昨日（11月26日），華為發(fā)布Mate 70系列手機(jī)，其中，手機(jī)上首次搭載的多光譜圖像傳感器——紅楓原色影像圖像傳感器，備受關(guān)注，本文由業(yè)界知名多光譜傳感器企業(yè)與光科技出品，可能是全網(wǎng)最深入、全面介紹這顆紅楓多光譜圖像傳感器的工作原理以及成像系統(tǒng)技術(shù)的內(nèi)容。與光科技成立于2020年，是清華大學(xué)科研成果轉(zhuǎn)化的高科技公司，其技術(shù)來(lái)源于清華大學(xué)電子系黃翊東教授課題組近20年的微納光學(xué)研究積累。供應(yīng)鏈消息稱(chēng)，這顆創(chuàng)新性的傳感器產(chǎn)品由華為和供應(yīng)商共同研發(fā)，除與光科技在發(fā)布會(huì)后第一時(shí)間發(fā)布多光譜傳感器技術(shù)原理內(nèi)容外，國(guó)產(chǎn)CMOS圖像傳感器廠(chǎng)商格科微亦在發(fā)布會(huì)后，發(fā)文披露已成功量產(chǎn)多光譜CIS解決方案。來(lái)源：與光科技原標(biāo)題：《光譜成像，邁入手機(jī)AI影像的新紀(jì)元》

11月26日，華為Mate70系列手機(jī)發(fā)布，再次升級(jí)了光譜技術(shù)在手機(jī)中的運(yùn)用，從多光譜傳感（非成像）到多光譜成像，除了硬件的增強(qiáng)，計(jì)算光學(xué)成像引領(lǐng)手機(jī)影像進(jìn)一步突破物理極限。

目前，以色溫傳感器為代表的多光譜傳感在手機(jī)中已經(jīng)得到了廣泛應(yīng)用，而多光譜成像也開(kāi)始在手機(jī)中嶄露頭角，不僅能帶來(lái)更極致的影像表現(xiàn)，也將進(jìn)一步提供皮膚、健康、物質(zhì)檢測(cè)等實(shí)用功能。

手機(jī)光譜影像技術(shù)發(fā)展的背后，是加工技術(shù)的進(jìn)步和計(jì)算能力的提升，支撐了芯片化光譜成像技術(shù)的快速發(fā)展，緩解了傳統(tǒng)光譜成像器件體積大、價(jià)格高、成像緩慢的痛點(diǎn)。芯片化光譜成像技術(shù)中，計(jì)算光譜是極具有產(chǎn)業(yè)發(fā)展前景的方向。

與光科技順應(yīng)行業(yè)趨勢(shì)，推出了光譜傳感和光譜成像兩大系列產(chǎn)品，適配不同應(yīng)用場(chǎng)景的不同需求。在技術(shù)上，與光科技構(gòu)筑了從光譜芯片設(shè)計(jì)、光譜算法到應(yīng)用算法的端到端開(kāi)發(fā)能力，以開(kāi)放的心態(tài)鏈接上下游合作伙伴，快速推進(jìn)光譜成像技術(shù)在多領(lǐng)域的應(yīng)用和發(fā)展。

01 多光譜技術(shù)全面進(jìn)入消費(fèi)電子時(shí)代

2024年11月26日，華為官方發(fā)布了備受期待的Mate70系列手機(jī)，在影像方面，華為稱(chēng)之為史上最出彩的Mate。

華為Mate70系列影像配置

來(lái)源：華為發(fā)布會(huì)

其中，Mate70系列推出了全新紅楓原色影像系統(tǒng)，硬件上采用了紅楓原色攝像頭，即一顆150萬(wàn)像素的多光譜攝像頭，將色彩還原準(zhǔn)確度較Mate 60 Pro+提升了120%，影像色彩實(shí)現(xiàn)質(zhì)的飛躍。

紅楓原色影像圖像傳感器示意圖

來(lái)源：華為終端視頻號(hào)

據(jù)華為官方介紹，紅楓原色攝像頭能夠準(zhǔn)確捕捉環(huán)境光譜，為主攝、超廣角、長(zhǎng)焦微距攝像頭提供更加真實(shí)的色彩輸入，從而拍出“所見(jiàn)即所得”的照片和視頻。

紅楓原色影像原理

來(lái)源：華為發(fā)布會(huì)

在實(shí)際拍攝中，應(yīng)對(duì)復(fù)雜環(huán)境光和大面積純色場(chǎng)景時(shí)，能夠?qū)崿F(xiàn)色彩更真實(shí)，光影更通透。

紅楓原色影像樣張

來(lái)源：華為發(fā)布會(huì)

拍攝舞臺(tái)人像時(shí)，能夠捕獲更加豐富的色彩和光源細(xì)節(jié)，從而更好還原人物膚色，提升畫(huà)質(zhì)。對(duì)于紅色、橙色等近似且復(fù)雜的燈光效果也能夠精準(zhǔn)還原。

紅楓原色影像樣張

來(lái)源：華為發(fā)布會(huì)

那么， “紅楓原色影像”背后的技術(shù)是什么？現(xiàn)在帶大家一探究竟。

本質(zhì)上，這顆150萬(wàn)像素的紅楓攝像頭是首次應(yīng)用于手機(jī)中的多光譜成像攝像頭。當(dāng)前常用的Bayer陣列圖像傳感器只有RGB三個(gè)顏色通道，也就是只有紅、綠、藍(lán)三波段的光譜分辨能力。多光譜甚至高光譜，則是將顏色通道數(shù)增加到了幾個(gè)或幾十個(gè)，從而具有更高的光譜分辨能力，能夠采集更多光和顏色的有效信息。

多光譜升維采樣

來(lái)源：與光科技

其實(shí)這并不是華為首次推出光譜影像單元。2018年，華為推出的P20首次搭載了色溫傳感器。根據(jù)芯智訊拆解，華為P20 Pro的顏色傳感器是由艾邁斯（ams）提供的TCS3430，作用是在不同照明條件下實(shí)現(xiàn)精準(zhǔn)的顏色和環(huán)境光感測(cè)，使得拍攝時(shí)可以更精準(zhǔn)調(diào)節(jié)白平衡。

華為P20 色溫傳感器

來(lái)源：華為發(fā)布會(huì)

ams TCS3430框圖

來(lái)源：ams官網(wǎng)

2021年，華為推出P50 Pocket，首創(chuàng)超光譜超級(jí)影像單元，光譜硬件由10通道多光譜傳感器、閃光燈、3200萬(wàn)像素超光譜攝像頭、超光譜補(bǔ)光燈構(gòu)成。其中3200萬(wàn)像素超光譜攝像頭+超光譜補(bǔ)光燈構(gòu)成了一個(gè)紫外相機(jī)，相當(dāng)于把手機(jī)圖像傳感器的濾光片換成只允許紫外光通過(guò)的濾光片。因此，這里的“超光譜”是指超越“肉眼可見(jiàn)”，可以發(fā)現(xiàn)可見(jiàn)光之外（紫外光）的細(xì)節(jié)，帶來(lái)肉眼“看不到的真實(shí)”，并非物理定義上的超光譜，其定義在第三章具體介紹。

華為P50 Pocket 超光譜超級(jí)影像單元

來(lái)源：華為發(fā)布會(huì)

紫外熒光攝影

來(lái)源：華為官網(wǎng)

華為在其旗艦機(jī)型中陸續(xù)搭載了色溫傳感器、8通道多光譜傳感器、10通道多光譜傳感器。不斷升級(jí)環(huán)境光譜采集系統(tǒng)，核心就在于提升光譜采樣與分析能力，將色彩還原重點(diǎn)轉(zhuǎn)向環(huán)境色，相比傳統(tǒng)白平衡算法更為真實(shí)地再現(xiàn)“拍攝時(shí)的記憶色”，從而實(shí)現(xiàn)“所拍即所見(jiàn)”。

華為多光譜傳感器的升級(jí)

來(lái)源：華為發(fā)布會(huì)，與光科技整理

當(dāng)然，多光譜對(duì)影像效果的提升不僅只有華為關(guān)注到了。隨芯片化光譜系統(tǒng)方案的愈發(fā)成熟，光譜傳感器在手機(jī)上早已興起。各大手機(jī)廠(chǎng)商在旗艦機(jī)型中均已采用過(guò)環(huán)境光/多光譜色溫傳感器。

iPhone X搭載了ams為其定制開(kāi)發(fā)的6通道多光譜傳感器，包括紫外光、紅光、綠光、藍(lán)光、和兩種近紅外光。可利用該傳感器感知環(huán)境光CCT水平，進(jìn)而調(diào)整顯示顏色和亮度。至iPhone 14系列，蘋(píng)果首次配備雙環(huán)境光傳感器，同時(shí)改善亮度調(diào)節(jié)和后攝曝光。

iPhone X中的環(huán)境光傳感器

來(lái)源：網(wǎng)絡(luò)

OPPO Find X5 Pro在業(yè)界首次搭載13通道光譜傳感器，給相機(jī)系統(tǒng)帶來(lái)精準(zhǔn)的色彩表現(xiàn)，同時(shí)也還原更真實(shí)的環(huán)境光源信息，改善白平衡效果。

OPPO Find X5 Pro中的13通道光譜傳感器

來(lái)源：OPPO官網(wǎng)

vivo X90則是采用自研VCS仿生光譜技術(shù)。由于普通圖像傳感器的color filter光譜與人眼差異較大，自研VCS仿生光譜技術(shù)通過(guò)改進(jìn)color filter，讓傳感器接收的原始信息不斷接近人眼，實(shí)現(xiàn)更好的噪聲表現(xiàn)和色彩還原，前置優(yōu)化光信號(hào)。

vivo VCS仿生光譜技術(shù)

來(lái)源：vivo官網(wǎng)

技術(shù)原理

1.多光譜傳感器的技術(shù)原理（非成像）

上述手機(jī)中使用的多光譜傳感器通常采用窄帶濾波技術(shù)。在傳感器的感光部分開(kāi)口，開(kāi)口上方放置窄波長(zhǎng)濾光片，從而探測(cè)到環(huán)境光源的光線(xiàn)，不同光譜通道實(shí)際就是通過(guò)窄波長(zhǎng)濾光片來(lái)控制特定頻率的光通過(guò)。這類(lèi)傳感器不需要體積龐大的色散元件和光路，因此結(jié)構(gòu)非常緊湊。而此類(lèi)方案屬于單點(diǎn)的光譜傳感，僅限對(duì)整體的光環(huán)境混合探測(cè)，無(wú)法體現(xiàn)局部的光源、色溫信息和差異。

窄帶濾光結(jié)構(gòu)設(shè)計(jì)示意圖

來(lái)源：ams官網(wǎng)

2.多光譜成像芯片的技術(shù)原理

華為Mate70系列搭載的紅楓原色影像比以往的單點(diǎn)多光譜傳感器在功能上進(jìn)一步升級(jí)，實(shí)現(xiàn)了成像的效果。常規(guī)圖像傳感器通常是在各像素的光電二極管上構(gòu)建紅、綠、藍(lán)3種彩色濾光片，而多光譜成像則是在圖像傳感器的光電二極管上構(gòu)建更多種顏色的濾光片，可分別透過(guò)不同波長(zhǎng)的光線(xiàn)。結(jié)合光譜恢復(fù)算法，可以和普通相機(jī)一樣，一次拍攝即可獲取二維圖像和更豐富的光譜信息。

彩色濾光片示意圖

來(lái)源：Sensors 2014, 14, 21626-21659

3.借力AI，計(jì)算成像突破物理極限

想要實(shí)現(xiàn)完美的色彩表現(xiàn)，僅從硬件上提升是遠(yuǎn)遠(yuǎn)不夠的，各大手機(jī)品牌在軟件算法上也下足了功夫。

得益于AI技術(shù)的快速發(fā)展，計(jì)算為光學(xué)成像注入了新的活力。圖像形成不再僅僅依賴(lài)于光學(xué)物理器件，而是將前端的光學(xué)調(diào)控與后端信息處理有機(jī)結(jié)合，通過(guò)對(duì)照明、成像系統(tǒng)進(jìn)行光學(xué)編碼與數(shù)學(xué)建模，以計(jì)算重構(gòu)的方式獲取圖像與信息。這就是現(xiàn)在廣為人知的“計(jì)算成像”（Computational Imaging）技術(shù)，該技術(shù)入選了阿里巴巴達(dá)摩院2023十大科技趨勢(shì)。

2023年十大科技趨勢(shì)之計(jì)算光學(xué)成像

來(lái)源：阿里巴巴達(dá)摩院

手機(jī)影像方面，在各大主流手機(jī)廠(chǎng)商的大力倡導(dǎo)下，自動(dòng)HDR、超級(jí)夜景、模擬大光圈等算法調(diào)優(yōu)幾乎成了各大廠(chǎng)商智能手機(jī)的標(biāo)配。計(jì)算成像早已不是“錦上添花”的存在，而是影像表現(xiàn)至關(guān)重要的環(huán)節(jié)。

手機(jī)影像入算法時(shí)代

計(jì)算成像成為核心驅(qū)動(dòng)

計(jì)算成像在手機(jī)影像中的應(yīng)用：

• 華為陸續(xù)推出的XD Fusion、XD Fusion Pro、原色引擎，基于光路，利用計(jì)算光學(xué)修正部分像差，或是結(jié)合軟件算法模擬人眼看到光的一系列流程，從而獲得更強(qiáng)的場(chǎng)景環(huán)境感知能力。

華為 XD Fusion Pro

來(lái)源：華為發(fā)布會(huì)

• 蘋(píng)果自iphone11起，搭載圖像處理系統(tǒng)Deep Fusion，基于仿生神經(jīng)網(wǎng)絡(luò)引擎拍攝紋理及細(xì)節(jié)更出眾、低光環(huán)境下噪點(diǎn)更少的照片。技術(shù)實(shí)現(xiàn)簡(jiǎn)單來(lái)說(shuō)就是，當(dāng)按下快門(mén)，相機(jī)會(huì)先拍4張短時(shí)間曝光的照片，然后再以正常標(biāo)準(zhǔn)曝光拍4張，最后拍一張長(zhǎng)曝光獲取暗部細(xì)節(jié)，然后將這九張照片自動(dòng)分析，選擇其中解析力最高的部分進(jìn)行合成。可以說(shuō)是通過(guò)計(jì)算，打破了手機(jī)攝像頭堆積像素的僵局。

蘋(píng)果 Deep Fusion

來(lái)源：蘋(píng)果發(fā)布會(huì)

• 榮耀在Magic3系列推出融合計(jì)算攝影技術(shù)，將全鏡頭參與全焦段融合，通過(guò)軟件融合算法將所有攝像頭采集的信息都利用起來(lái)，讓多個(gè)攝像頭的數(shù)據(jù)可以互相交流，實(shí)現(xiàn)全場(chǎng)景的拍攝質(zhì)量提升。

榮耀融合計(jì)算攝影技術(shù)

來(lái)源：網(wǎng)絡(luò)

• OPPO在其Find X6系列首次搭載支持計(jì)算光影的OPPO超光影圖像引擎，可以準(zhǔn)確地計(jì)算出光線(xiàn)、被攝物體和環(huán)境的正確關(guān)系，讓原本只存在于三維世界的光線(xiàn)，首次照進(jìn)二維照片，為每一幅影像作品還原最真實(shí)的光影層次。

OPPO超光影圖像引擎

來(lái)源：OPPO官網(wǎng)

• 小米先后推出小米影像大腦1.0、2.0版本，并在14 Ultra發(fā)布會(huì)上升級(jí)為“首個(gè) AI大模型計(jì)算攝影平臺(tái)”，命名 “Xiaomi AISP”。通過(guò)深度融入小米澎湃 OS，實(shí)現(xiàn)了對(duì)CPU、GPU、NPU和ISP等硬件算力的全面整合與優(yōu)化，不僅大幅提升影像處理速度，更將畫(huà)質(zhì)、色彩、景深、明暗的表現(xiàn)推向新高度，突出“層次感”。

Xiaomi AISP

來(lái)源：網(wǎng)絡(luò)

02

光譜技術(shù)多元化提升手機(jī)AI影像，市場(chǎng)前景廣闊

當(dāng)前：多光譜幫助手機(jī)提升色彩表現(xiàn)

影像效果歷來(lái)是手機(jī)的核心賣(mài)點(diǎn)，光譜成像芯片能夠獲取的有效色彩數(shù)據(jù)，遠(yuǎn)高于RGB圖像傳感器，從而在光源識(shí)別、白平衡優(yōu)化和色彩重建方面有天然的應(yīng)用優(yōu)勢(shì)。

白平衡是消除色偏的過(guò)程，使照片中的白色更接近人眼看到的白色。在不同光源下，人眼可以輕松辨別白色，而自動(dòng)白平衡（AWB）拍攝的照片可能會(huì)出現(xiàn)藍(lán)色、橙色甚至綠色的色偏。在沒(méi)有白色且色彩飽和度高的場(chǎng)景中，現(xiàn)有的AWB算法通常難以準(zhǔn)確識(shí)別白點(diǎn)。應(yīng)對(duì)此類(lèi)場(chǎng)景，與光科技的多光譜成像芯片能夠獲取更豐富的光譜數(shù)據(jù)，精確分類(lèi)光源，從而解決白平衡失效問(wèn)題。

對(duì)純色場(chǎng)景拍攝，白平衡恢復(fù)效果

來(lái)源：與光科技

對(duì)激光投影圖像拍攝，實(shí)現(xiàn)高飽和度色彩還原

來(lái)源：與光科技

未來(lái)：光譜成像賦予手機(jī)更多實(shí)用功能

提升色彩表現(xiàn)只是光譜成像芯片在手機(jī)應(yīng)用中的一個(gè)方面。未來(lái)，光譜成像芯片將在手機(jī)成像領(lǐng)域持續(xù)成為熱點(diǎn)。例如，膚色檢測(cè)、健康監(jiān)測(cè)、物質(zhì)鑒別、AIGC等應(yīng)用，預(yù)計(jì)在不久的將來(lái)就能在手機(jī)上實(shí)現(xiàn)。這些創(chuàng)新應(yīng)用將大大擴(kuò)展手機(jī)的功能和用戶(hù)體驗(yàn)，推動(dòng)手機(jī)成像技術(shù)進(jìn)入新的發(fā)展階段。

膚色還原：在人像攝影中，更準(zhǔn)確地捕捉人物膚色細(xì)節(jié)，從而幫助調(diào)整膚色色溫，呈現(xiàn)更加自然和真實(shí)的膚色效果。

采用與光科技光譜成像模組拍攝，精準(zhǔn)還原膚色光譜

來(lái)源：與光科技

皮膚檢測(cè)：通過(guò)手機(jī)拍攝即可對(duì)皮膚進(jìn)行檢測(cè)，例如，拍攝紅區(qū)圖識(shí)別皮膚干燥、敏感等癥狀，拍攝棕區(qū)圖提前發(fā)現(xiàn)皮膚暗沉、色斑等問(wèn)題，方便用戶(hù)進(jìn)行皮膚管理。

采用與光科技光譜成像模組對(duì)皮膚紅區(qū)圖、棕區(qū)圖拍攝

來(lái)源：與光科技

材質(zhì)識(shí)別：檢測(cè)和區(qū)分不同材質(zhì)的光譜特征，如紋理、顏色、反射率等。可以在手機(jī)上集成區(qū)分金屬、塑料、紡織品等不同材質(zhì)的功能。

采用與光科技光譜成像模組拍攝區(qū)分真假水果，實(shí)現(xiàn)材質(zhì)識(shí)別功能

來(lái)源：與光科技

AIGC：光譜成像能夠提供圖像生成所需的更準(zhǔn)確的環(huán)境光、顏色、紋理等信息，例如采用光譜成像準(zhǔn)確還原口紅和皮膚的顏色，使得線(xiàn)上試裝效果更貼近真實(shí)。光譜有望成為AIGC全新的物理輸入維度。可用于提升圖像增強(qiáng)識(shí)別、圖像編輯功能、以及AR體驗(yàn)等。

口紅試裝示意圖

來(lái)源：網(wǎng)絡(luò)、與光科技整理

未來(lái)，隨著光譜功能在手機(jī)中的滲透率持續(xù)提升，光譜成像芯片在手機(jī)領(lǐng)域市場(chǎng)空間廣闊。根據(jù)敏感性分析，廣發(fā)證券發(fā)展研究中心提出手機(jī)光譜成像芯片市場(chǎng)規(guī)模未來(lái)有望提升至5~10億美金。

手機(jī)光譜成像芯片市場(chǎng)規(guī)模敏感性測(cè)算

來(lái)源：廣發(fā)證券發(fā)展研究中心

03

芯片化光譜技術(shù)快速發(fā)展

當(dāng)然，產(chǎn)品化的創(chuàng)新與發(fā)展，離不開(kāi)科學(xué)技術(shù)的持續(xù)探索和進(jìn)步，科學(xué)家們對(duì)于芯片化光譜技術(shù)的攻關(guān)，已經(jīng)持續(xù)了近半個(gè)世紀(jì)。

光譜反映了光波與物質(zhì)相互作用的豐富信息，每種物質(zhì)都有特征吸收、發(fā)射或散射光譜，因此光譜也被稱(chēng)為物質(zhì)的“指紋”，通過(guò)光譜分析可以鑒別物質(zhì)并確定其化學(xué)組成。

光譜的構(gòu)成

來(lái)源：網(wǎng)絡(luò)

隨著遙感技術(shù)的興起，人們期望同時(shí)探測(cè)物體的圖像和光譜信息，這催生了光譜成像技術(shù)，它能夠獲得包含二維空間和光譜信息的三維數(shù)據(jù)立方體，超越人眼感知能力，在疾病診療、精準(zhǔn)農(nóng)業(yè)、食品安全、天文探測(cè)等諸多領(lǐng)域有著重要的應(yīng)用前景。如下圖中，與光科技創(chuàng)始團(tuán)隊(duì)采用自研的光譜成像芯片對(duì)活體大鼠實(shí)時(shí)光譜成像，通過(guò)光譜重構(gòu)算法恢復(fù)光譜圖像和包含601個(gè)波段的數(shù)據(jù)立方體，圖中選取了選擇了5個(gè)單波長(zhǎng)光譜圖像，實(shí)現(xiàn)了大鼠腦部血紅蛋白及其衍生物的特征光譜的動(dòng)態(tài)變化觀測(cè)。

與光科技創(chuàng)始團(tuán)隊(duì)對(duì)大鼠腦血管光譜成像，同時(shí)獲取圖像和光譜信息

來(lái)源：Cui K, et al.Optica 9, 461-468 (2022)

傳統(tǒng)光譜成像技術(shù)基于傳統(tǒng)棱鏡色散、光柵衍射或干涉原理，需要精密的器件和足夠的光程來(lái)將不同波長(zhǎng)的光分開(kāi)，一般采用空間掃描或波長(zhǎng)掃描的模式，無(wú)法實(shí)時(shí)獲取視野場(chǎng)景中各像素點(diǎn)的光譜信息。從原理上導(dǎo)致光譜成像儀器，體積龐大、價(jià)格昂貴，成像速度緩慢，是光譜成像技術(shù)長(zhǎng)期存在的痛點(diǎn)。

根據(jù)光譜分辨能力的不同，可以將光譜成像劃分為多光譜成像、高光譜成像和超光譜成像。具體來(lái)說(shuō)，通常采用工作中心波長(zhǎng)與分辨率的比值來(lái)進(jìn)行區(qū)分。

• 多光譜成像（Multispectral imaging）：對(duì)應(yīng)的λ/Δλ~10，在可見(jiàn)光波段對(duì)應(yīng)幾個(gè)波長(zhǎng)通道，一般用于地帶分類(lèi)領(lǐng)域。

• 高光譜成像（Hyperspectral imaging）：對(duì)應(yīng)的λ/Δλ~100，在可見(jiàn)光波段對(duì)應(yīng)數(shù)十個(gè)波長(zhǎng)通道，被廣泛應(yīng)用于遙感、農(nóng)業(yè)等領(lǐng)域。

• 超光譜成像（Ultraspectral imaging）：對(duì)應(yīng)的λ/Δλ~1000，在可見(jiàn)光波段對(duì)應(yīng)數(shù)百個(gè)波長(zhǎng)通道，通常用于大氣微粒探測(cè)、天文觀測(cè)等領(lǐng)域。

光譜成像分辨率示意圖

來(lái)源：Vines & Zhang Grass Research 2022, 2:1

得益于加工技術(shù)的進(jìn)步和計(jì)算機(jī)能力的提升，芯片化光譜技術(shù)得到快速發(fā)展。早期微型光譜儀的發(fā)展主要依賴(lài)于20世紀(jì)80年代到21世紀(jì)初微制造領(lǐng)域的突破，光刻和蝕刻工藝的進(jìn)步以及MEMS技術(shù)的持續(xù)發(fā)展使得復(fù)雜的微型色散器件、濾光器件和傅里葉變換系統(tǒng)的制造成為可能。

過(guò)去十年，計(jì)算能力的大幅度增強(qiáng)、計(jì)算成本的大幅度降低、壓縮感知和深度學(xué)習(xí)等數(shù)學(xué)工具的發(fā)展為片上光譜儀的發(fā)展注入了新的活力。由于光譜儀的性能不僅可以通過(guò)增強(qiáng)硬件設(shè)備實(shí)現(xiàn)，也可以通過(guò)軟件的優(yōu)化實(shí)現(xiàn)，因此計(jì)算光譜儀成為了最具有發(fā)展前景的研究方向。近年來(lái)，研究人員相繼提出了一系列新型光譜儀，例如量子點(diǎn)光譜儀、納米線(xiàn)光譜儀、超表面光譜儀等。

1980s~至今，關(guān)鍵微型化光譜儀技術(shù)發(fā)展

來(lái)源：Yang et al., Science 371, eabe0722 (2021)

簡(jiǎn)單來(lái)說(shuō)，光譜成像分為分光和成像部分，分光部分完成光譜維獲取，成像實(shí)現(xiàn)對(duì)目標(biāo)的空間維成像。在分光部分，與光科技布局了多種光譜分光技術(shù)，其中創(chuàng)始團(tuán)隊(duì)的超表面技術(shù)被《Science》綜述論文引用為領(lǐng)域內(nèi)最領(lǐng)先的研究成果之一（如上圖）。在成像部分，與光科技采用CMOS圖像傳感器采集調(diào)制光信號(hào)，通過(guò)自主研發(fā)的光譜重建算法，實(shí)現(xiàn)空間陣列化的光譜成像。此外，與光科技與圖像傳感器廠(chǎng)商深度合作，共同拓寬CIS的光譜性能邊界，致力于開(kāi)拓更廣闊的光譜應(yīng)用市場(chǎng)。

與光科技的計(jì)算光譜成像芯片成果，源于清華大學(xué)微納光電子學(xué)實(shí)驗(yàn)室，由清華大學(xué)電子工程系黃翊東教授領(lǐng)銜。團(tuán)隊(duì)提出了基于超表面寬帶調(diào)制和計(jì)算光譜重建的片上光譜成像，研制出國(guó)際首款實(shí)時(shí)超光譜成像芯片，為實(shí)現(xiàn)消費(fèi)級(jí)的光譜芯片提供了一種極具前景的方案。

超表面光譜成像芯片及光譜重構(gòu)算法示意圖

來(lái)源：Yang, J. et al. Chip 2, 100045 (2023)

與光科技創(chuàng)始團(tuán)隊(duì)進(jìn)一步利用ADMM-net實(shí)現(xiàn)了對(duì)戶(hù)外駕駛場(chǎng)景的實(shí)時(shí)光譜成像，光譜成像速率達(dá)到約36幀/秒，天空和白色車(chē)輛的光譜具有明顯的差異，有望解決自動(dòng)駕駛場(chǎng)景中同色異譜的識(shí)別問(wèn)題。此外，具有視頻幀率的高空間分辨快速光譜成像，也展示出與光的實(shí)時(shí)光譜成像芯片在機(jī)器視覺(jué)領(lǐng)域的巨大應(yīng)用潛力。

戶(hù)外駕駛場(chǎng)景的實(shí)時(shí)光譜成像結(jié)果

來(lái)源：Yang, J. et al. Chip 2, 100045 (2023)

黃翊東，清華大學(xué)學(xué)術(shù)委員會(huì)副主任、長(zhǎng)江學(xué)者特聘教授、美國(guó)國(guó)家工程院外籍院士、國(guó)際光學(xué)委員會(huì)副主席，曾任清華大學(xué)電子工程系主任和清華大學(xué)天津電子信息研究院院長(zhǎng)。黃翊東教授帶領(lǐng)團(tuán)隊(duì)致力于“光芯片“研究20余年，取得了一系列領(lǐng)先的研究成果。黃翊東教授始終堅(jiān)持通過(guò)創(chuàng)新走在前沿，在全球范圍內(nèi)創(chuàng)造不會(huì)被卡脖子的引領(lǐng)技術(shù)。

黃翊東教授

來(lái)源：清華大學(xué)電子工程系

崔開(kāi)宇，清華大學(xué)電子工程系長(zhǎng)聘副教授、周炳琨學(xué)者，國(guó)家級(jí)青年人才。主要的學(xué)術(shù)方向?yàn)榛?a target="_blank">半導(dǎo)體周期微納結(jié)構(gòu)的光電子器件，特別是基于光子晶體、光聲晶體、超表面的新型智能感知光電子器件。崔開(kāi)宇副教授致力于讓光譜芯片成果從實(shí)驗(yàn)室走向?qū)嶋H應(yīng)用，帶領(lǐng)團(tuán)隊(duì)在生物醫(yī)學(xué)、自動(dòng)駕駛等領(lǐng)域開(kāi)展了諸多探索。

崔開(kāi)宇長(zhǎng)聘副教授

來(lái)源：清華大學(xué)電子工程系

04 拓寬光譜芯片應(yīng)用邊界，讓光譜感知無(wú)處不在

隨著新興技術(shù)的迅速發(fā)展，CMOS圖像傳感器市場(chǎng)的競(jìng)爭(zhēng)格局正在發(fā)生深刻變化。除了傳統(tǒng)的像素尺寸和分辨率比拼，光譜成像也有望擴(kuò)充CIS的性能邊界，助力國(guó)內(nèi)芯片企業(yè)進(jìn)軍高價(jià)值創(chuàng)新市場(chǎng)。

與光科技協(xié)同上下游廠(chǎng)商，在多領(lǐng)域共同推進(jìn)光譜芯片的技術(shù)創(chuàng)新和產(chǎn)業(yè)升級(jí)。在開(kāi)發(fā)環(huán)節(jié)，與材料供應(yīng)商、設(shè)備制造商和科研機(jī)構(gòu)合作，提升光譜芯片的性能；在生產(chǎn)環(huán)節(jié)，與制造商和測(cè)試廠(chǎng)商共同優(yōu)化工藝流程，確保產(chǎn)品的一致性和高質(zhì)量；在應(yīng)用環(huán)節(jié)，與終端設(shè)備廠(chǎng)商、軟件開(kāi)發(fā)商和行業(yè)用戶(hù)攜手，探索光譜芯片在消費(fèi)電子、醫(yī)療健康、自動(dòng)駕駛、農(nóng)業(yè)食品、安防監(jiān)控等領(lǐng)域的廣泛應(yīng)用。

目前，與光科技已經(jīng)和國(guó)內(nèi)外的主流手機(jī)品牌建立了穩(wěn)固的供應(yīng)及合作關(guān)系，同時(shí)具備光譜硬件和光譜算法的開(kāi)發(fā)能力，提供計(jì)算光譜的閉環(huán)解決方案，充分發(fā)揮光譜技術(shù)在手機(jī)AI影像中的作用和潛力。與光科技致力于推動(dòng)光譜芯片技術(shù)的快速發(fā)展，持續(xù)為各行業(yè)帶來(lái)更多創(chuàng)新解決方案，提升光譜芯片產(chǎn)業(yè)鏈的整體競(jìng)爭(zhēng)力并拓寬市場(chǎng)空間，助力客戶(hù)與合作伙伴共贏發(fā)展。

與光科技光譜成像芯片實(shí)拍

來(lái)源：與光科技

與光科技產(chǎn)品矩陣

來(lái)源：與光科技

主要參考資料：

楊家偉, 崔開(kāi)宇, 熊健, 饒世杰, 馮雪, 劉仿, 張巍, 黃翊東. 基于超表面的實(shí)時(shí)超光譜成像芯片[J]. 光學(xué)學(xué)報(bào), 2023, 43(16): 1623004. DOI：10.3788/AOS230901

Jian Xiong, Xusheng Cai, Kaiyu Cui, Yidong Huang, Jiawei Yang, Hongbo Zhu, Wenzheng Li, Bo Hong, Shijie Rao, Zekun Zheng, Sheng Xu, Yuhan He, Fang Liu, Xue Feng, and Wei Zhang, "Dynamic brain spectrum acquired by a real-time ultraspectral imaging chip with reconfigurable metasurfaces," Optica 9, 461-468 (2022). DOI: 10.1364/OPTICA.440013

Yang, J. et al. Deep-learning based on-chip rapid spectral imaging with high spatial resolution. Chip 2, 100045 (2023). DOI: 10.1016/j.chip.2023.100045

Spectral sensor及其在手機(jī)領(lǐng)域的應(yīng)用，大話(huà)成像微信公眾號(hào)

華為P50 Pocket超光譜超級(jí)影像單元分析，知乎

Deep Fusion(深度融合)是什么？Deep Fusion有多優(yōu)秀，知乎

OPPO 發(fā)布全新影像旗艦 Find X6 系列，引領(lǐng)移動(dòng)影像進(jìn)入全主攝時(shí)代，OPPO官網(wǎng)

2篇Science論文，這個(gè)團(tuán)隊(duì)對(duì)微型光譜儀有獨(dú)到見(jiàn)解，納米人公眾號(hào)

左超, 陳錢(qián). 計(jì)算光學(xué)成像：何來(lái)，何處，何去，何從？[J]. 紅外與激光工程, 2022, 51(2): 20220110. DOI: 10.3788/IRLA20220110

廣發(fā)電子 | 創(chuàng)新系列1：光譜分析進(jìn)入手機(jī)，攝像頭產(chǎn)業(yè)鏈增添新活力，廣發(fā)證券研究公眾號(hào)

您對(duì)本文有什么看法？歡迎在傳感器專(zhuān)家網(wǎng)公眾號(hào)本內(nèi)容底下留言討論，或在中國(guó)最大的傳感社區(qū)：傳感交流圈中進(jìn)行交流。

您對(duì)本文有什么看法？歡迎留言分享！

順手轉(zhuǎn)發(fā)&點(diǎn)擊在看，將中國(guó)傳感產(chǎn)業(yè)動(dòng)態(tài)傳遞給更多人了解！

星標(biāo)的內(nèi)容=你在乎的內(nèi)容，根據(jù)微信公眾號(hào)推薦原則，沒(méi)有在傳感器專(zhuān)家網(wǎng)公眾號(hào)主頁(yè)【設(shè)為星標(biāo)】，將無(wú)法及時(shí)獲得傳感器行業(yè)最新資訊！

聲明：本文內(nèi)容系作者個(gè)人觀點(diǎn)，不代表傳感器專(zhuān)家網(wǎng)觀點(diǎn)或立場(chǎng)。如有侵權(quán)或其他事宜，請(qǐng)微信聯(lián)系：MM380702。更多觀點(diǎn)，歡迎大家留言評(píng)論。如有投稿爆料采訪(fǎng)需求，請(qǐng)發(fā)郵箱：sensorexpert@sensorexpert.com.cn。

? ?