2024年11月19日，在烏鎮召開的第十一屆世界互聯網大會頒發了2024世界互聯網領先科技獎。該獎項由全球40多位頂尖專家評選，2024年共評選出20項，分基礎研究組、關鍵技術組和工程研發組三類。清華大學精儀系類腦團隊“基于原語表示的類腦互補視覺感知芯片”榮獲領先科技獎（基礎研究組，共評選出3項）。
▲ 基礎研究組獲獎名單
▲ 施路平教授發布“天眸芯”演講今年5月，全球頂尖學術期刊《Nature》（《自然》），封面文章刊登了由我國清華大學研究團隊發表的論文《面向開放世界感知具有互補通路的視覺芯片》（A Vision Chip with Complementary Pathways for Open-world Sensing）。該重磅研究成果報道獲等多家權威媒體轉發，據新華社報道，清華大學類腦計算研究中心團隊研制出了世界首款類腦互補視覺芯片“天眸芯”（Tianmouc），這是該團隊繼異構融合類腦計算“天機芯”后，第二次登上《自然》封面，標志著在類腦計算和類腦感知兩個方向上均取得了基礎性突破。這是一款全面超越現有傳統圖像傳感器和神經形態傳感器的視覺傳感器芯片，是智能感知芯片領域的一個重大突破，不僅為智能革命的發展提供了強大的感知技術支持，還為未來自動駕駛、具身智能等重要應用，開辟了新的道路。“天眸芯”的加入將能夠進一步完善類腦智能生態，有力推動人工通用智能的發展。清華大學施路平教授、趙蓉教授為論文共同通訊作者，此外精密儀器系楊哲宇博士（現北京靈汐科技有限公司研發經理）、精密儀器系 2020 級博士生王韜毅、林逸晗為論文共同第一作者。研究團隊依托清華大學精密儀器系的類腦計算研究中心。▲論文《Nature》網站頁面&研究團隊，來源：人民日報（張兆基攝）該新型視覺傳感器芯片長什么樣？有什么特點？有什么優勢？目前，我們主流中使用的視覺傳感器，主要是CMOS圖像傳感器和CCD圖像傳感器。
然而現有圖像傳感器在開放世界中處理動態、多樣化和不可預測的場景時，存在許多的不足，如向高速、高分辨率、大動態范圍和高精度方向發展，受到功率和帶寬的限制。論文通訊作者、清華大學精密儀器系教授施路平在媒體采訪中介紹，在開放世界中，智能系統不僅要應對龐大的數據量，還需要應對如駕駛場景中的突發危險、隧道口的劇烈光線變化和夜間強閃光干擾等極端事件。而傳統視覺感知芯片面對此類場景往往出現失真、失效或高延遲，限制系統的穩定性和安全性。
“該范式借鑒了人類視覺系統的基本原理，將開放世界的視覺信息拆解為基于視覺原語的信息表示，并通過有機組合這些原語，模仿人視覺系統的特征，形成兩條優勢互補、信息完備的視覺感知通路。”
與傳統圖像傳感器相比，人類視覺系統在開放世界環境中以其多功能性、適應性和魯棒性而脫穎而出。人類視覺系統將視覺刺激解釋為多種視覺，如顏色、方向和運動，并以互補的方式將其分配給腹側和背側通路。當前已有一系列模仿人類視覺系統特定特征的器件，包括硅視網膜、神經形態視覺傳感器、脈沖頻率調制和近傳感器計算芯片等。然而，在有限的功率和帶寬的限制下，實現具有高空間分辨率、高速、高精度和大動態范圍的圖像傳感器仍然存在挑戰。因此，研究團隊提出一種受人類視覺系統（HVS）多級特性啟發的互補感知范式，該范式涉及將視覺信息解析為基于視覺原語的表示，并通過有機組合這些原語，模仿人視覺系統的特征，形成兩條優勢互補、信息完備的視覺感知通路：用于準確認知的面向認知的路徑和用于快速認知的面向行動的路徑。
為了實現這一范式，研究團隊開發了世界首款類腦互補視覺芯片「天眸芯」（Tianmouc），該芯片結合了混合像素陣列和并行異構讀出架構，利用互補視覺通路的特性，可以在極低的帶寬（降低 90%）和功耗條件下，實現每秒 10000 幀的高速、10bit 的高精度、130dB 的高動態范圍視覺信息采集。它不僅突破了傳統視覺感知范式的性能瓶頸，而且能夠高效應對各種極端場景，確保系統的穩定性和安全性。
下圖為類腦互補視覺芯片「天眸芯」的測試系統。被處理的數據首先會傳輸到 FPGA 版上，FPGA 板采集原始數據，然后通過 PCIe 傳輸到主機，主機再負責數據處理，以完成測試等任務。基于Tianmouc 芯片，研究團隊將其與自動駕駛系統集成，展示了其即使在開放道路上具有挑戰性的極端情況下也能實現準確、快速和穩健感知的能力。基于基元的互補傳感范式有助于克服為各種開放世界應用開發視覺系統的基本限制。“天眸芯”（Tianmouc）互補視覺芯片怎么設計？采用90nm CMOS背照式技術制造！在物理傳感系統中，想實現互補傳感范式有幾個必須解決的挑戰。首先，設計像素陣列至關重要，這需要同時解析同一焦平面上相應圖元的光電信息轉換。其次，兩條路徑的讀出架構必須包含異構構建塊，這些構建塊可以使用不同的數據分布和格式對電信息進行編碼。如圖 2 所示，「天眸芯」采用 90 nm CMOS 背照式技術制造，由兩個核心部分組成：受感光細胞的啟發，混合像素陣列包括錐體和桿體像素，具有不同的特性，如顏色、響應模式、分辨率和靈敏度。這些像素可以將視覺信息解析為特定的顏色（紅色、綠色、藍色）和白色光譜，充當顏色對立圖元。研究團隊對「天眸芯」的量子效率、動態范圍、響應速度、功率和帶寬等性能指標進行了全面的評估。該芯片在 COP 和 AOP 中均表現出較高的量子效率，530 nm 最高可實現 72% 的 AOP 和 69% 的 COP。「天眸芯」通過利用互補的 COP 和 AOP 中不同增益模式的動態范圍來實現高動態范圍。可以說，全面超越了現有的神經形態傳感器和傳統圖像傳感器，同時仍能保持低功耗和低帶寬消耗。以自動駕駛為示例，“天眸芯”（Tianmouc）的表現有多強悍？「天眸芯」的互補感知范式為自動化系統提供了巨大的想象空間，它可以作為感知算法的優質數據源。為了在開放世界場景中評估這些能力，研究人員開發了一個集成「天眸芯」的汽車駕駛感知系統（圖 4a），以評估在開放道路上行駛，涉及各種極端情況，例如強光干擾、高動態范圍場景、域偏移問題（異常物體）和具有多個極端情況的復雜場景。為了利用天眸芯架構的優勢，作者設計了一種多路徑算法，專門用于利用 AOP 和 COP 的互補特性。在感知層面，圖元的完整性使得原始場景的重建和對極端照明的適應成為可能。同時在感知層面，AOP 提供對變化、紋理和運動的即時感知，而 COP 提供精細的語義細節。通過同步這些結果，我們可以讓 AI 系統全面了解場景。圖 4b 所示的第一種場景評估了突然強光環境的感知能力，在光照快速變化的情況下，傳感器的魯棒性受到了考驗。天眸芯對這種強光表現出了極強的適應能力，同時在正常情況下也保持了較高的感知性能。對于實時高動態范圍感知（圖 4c），兩條通路的互補靈敏度使天眸芯能夠感知高亮度對比度而不會犧牲速度。在感知層面，AOP 上的高速光流濾波器補充了異常檢測能力，其中 AOP-TD 和 AOP-SD 之間的協作可以精確計算運動方向和速度以識別異常（圖 4d）。圖 4e 顯示了自然光照昏暗、交通環境混亂、人造光突然干擾的復雜場景，需要在采樣速度、分辨率和動態范圍方面具有不同的感知能力。CVP 上的算法提供了互補和多樣化的結果，為這些場景中的進一步決策提供了充足的空間。根據 mAP_0.50（平均精度），與圖 4 中所有情況下僅使用單一路徑相比，CVP 具有更優的整體檢測性能。值得注意的是，它在實現這一目標的同時消耗了不到 80 MB s^(-1) 的帶寬和 328 mW 的平均功耗。實驗結果表明，天眸芯可以有效適應極端光環境并提供領域不變的多級感知能力。天眸芯擅長捕捉復雜的認知細節，同時可對快速不可預測的突發情況和運動作出響應。它提供高速、高動態范圍和高精度，同時保持了自適應低帶寬的特性。同樣重要的是，它的高可擴展性允許通過先進的制造工藝實現高級空間分辨率，從而促進具有低功耗和帶寬要求的分辨率敏感應用。作者認為，新的范式為開發用于開放世界應用的先進計算機視覺理論、算法和系統開辟了一條新途徑。您對本文有什么看法？歡迎留言分享！
順手轉發&點擊在看，將中國傳感產業動態傳遞給更多人了解！
星標的內容=你在乎的內容，根據微信公眾號推薦原則，沒有在傳感器專家網公眾號主頁【設為星標】，將無法及時獲得傳感器行業最新資訊！
聲明：本文內容系作者個人觀點，不代表傳感器專家網觀點或立場。如有侵權或其他事宜，請微信聯系：MM380702。更多觀點，歡迎大家留言評論。如有投稿爆料采訪需求，請發郵箱：sensorexpert@sensorexpert.com.cn。
原文標題：清華大學傳感器芯片獲2024世界互聯網大會領先科技獎，曾登Nature封面！世界第一款！
文章出處：【微信公眾號：傳感器專家網】歡迎添加關注！文章轉載請注明出處。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
相關推薦
近日，由河南省人民政府指導，鄭州市人民政府主辦的2024世界傳感器大會在鄭州國際會展中心開幕。
![的頭像]()
發表于 12-04 15:54
?351次閱讀
11月19-22日，2024年世界互聯網大會烏鎮峰會盛大舉辦，期間，“互聯網之光”博覽會“網絡安全”新產品新技術發布活動在烏鎮互聯網國際會展
![的頭像]()
發表于 11-27 15:57
?209次閱讀
此前，2024年11月19日至22日，世界互聯網大會烏鎮峰會隆重舉行。大會期間，千方集團應邀出席由之江實驗室、國星宇航主辦的“星算計劃”全球發布會并簽署合作協議，與浙大城市學院、復旦
![的頭像]()
發表于 11-27 14:38
?259次閱讀
近日，備受矚目的“直通烏鎮”全球互聯網大賽圓滿落幕，理想汽車憑借其在智能網聯汽車領域的卓越表現，榮獲該賽道三等獎。
![的頭像]()
發表于 11-27 10:06
?188次閱讀
近日，2024年世界互聯網大會烏鎮峰會順利舉行，本次大會全面聚焦人工智能。作為峰會永久舉辦的特色活動之一，長三角
![的頭像]()
發表于 11-26 17:53
?471次閱讀
近日，世界互聯網大會烏鎮峰會盛大舉行。軟通動力受邀參會，并與之江實驗室、國星宇航共同發布“星算計劃star-compute”。該計劃旨在建設覆蓋全球的天地一體化算力網絡，助力我國在全球率先建成太空
![的頭像]()
發表于 11-26 16:53
?480次閱讀
日前，2024年世界互聯網大會互聯網之光博覽會正式召開，中興通訊以“數啟興程 智善未來”為主題亮相，全面呈現中興通訊為支撐人工智能和大模型應用發展打造的全棧智算整體解決方案，同時分享底
![的頭像]()
發表于 11-26 14:02
?264次閱讀
11月21日，2024年世界互聯網大會烏鎮峰會“下一代互聯網”論壇在浙江烏鎮舉行。在論壇現場，匯聚了眾多來自IPv6相關領域的專家。他們帶著
![的頭像]()
發表于 11-26 10:26
?402次閱讀
近日，2024年世界互聯網大會烏鎮峰會在浙江桐鄉開幕。桐鄉是世界互聯網大會永久舉辦地，也是全國首批車路云
![的頭像]()
發表于 11-22 15:54
?228次閱讀
11月19日，2024年世界互聯網大會“互聯網之光”博覽會在浙江省桐鄉市烏鎮開幕。電科網安攜“數據安全新方案”和“網絡安全新產品”亮相中國電科展臺。
![的頭像]()
發表于 11-21 15:03
?522次閱讀
近日，世界互聯網大會領先科技獎揭曉了其年度獲獎名單，騰訊Angel機器學習平臺憑借其卓越的技術實力和創新成果，成功榮獲本年度領先科技獎。 騰訊Angel機器學習平臺在技術研發和應用推廣
![的頭像]()
發表于 11-21 13:45
?214次閱讀
行業領先45TOPS NPU算力的PC平臺”——驍龍X Elite，榮獲大會評選的“世界互聯網大會領先科技獎”。
![的頭像]()
發表于 11-21 10:21
?443次閱讀
11月19日-22日，2024年世界互聯網大會烏鎮峰會在烏鎮正式召開，本次峰會全新設立“世界互聯網大會杰出貢獻
![的頭像]()
發表于 11-20 19:14
?714次閱讀
2024 年世界互聯網大會烏鎮峰會于昨日正式啟幕，全球互聯網進入“烏鎮時間”。在今年的峰會上，Arm 憑借終端計算子系統 (CSS) 榮膺世界
![的頭像]()
發表于 11-20 19:11
?584次閱讀
11月 19日至 22日，2024年世界互聯網大會烏鎮峰會在中國浙江烏鎮舉辦。會議期間，“IBM 企業級數智化轉型解決方案”成功入選“攜手構建網絡空間命運共同體精品案例”（此后簡稱“精品
![的頭像]()
發表于 11-20 14:34
?362次閱讀
清華大學傳感器芯片獲2024世界互聯網大會領先科技獎，曾登Nature封面！世界第一款！
工商網監
評論