北大攜智元機器?團隊提出OmniManip架構
近日，北京大學與智元機器人的聯合實驗室有了重大成果，北?攜?智元機器?團隊提出 OmniManip 架構。
在具身智能領域，將視覺語言基礎模型（VLMs）應用于機器人實現通用操作一直是核心問題。目前存在兩大挑戰，一是VLMs缺乏精確3D理解能力，二是難以將高層次推理轉化為機器人低層次動作。
為解決這些難題，OmniManip架構應運而生。它基于以對象為中心的3D交互基元，把VLM的高層次推理能力轉化為機器人的低層次高精度動作。針對大模型幻覺和真實環境操作的不確定性，OmniManip引入了VLM規劃和機器人執行的雙閉環系統設計。
OmniManip的關鍵設計亮點頗多，包括基于VLM的任務解析，可將復雜任務分解為多個明確主動物體、被動物體和動作類型的結構化階段。還有閉環機器人執行，通過物體6D姿態跟蹤器實時更新物體位姿，轉換為機械臂操作軌跡。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
機器人
+關注
關注
211文章
28632瀏覽量
207970 -
語言模型
+關注
關注
0文章
538瀏覽量
10315
發布評論請先 登錄
相關推薦
機器視覺廠商博視像元完成近億元A+輪融資
近日，機器視覺廠商北京博視像元科技有限公司（以下簡稱“博視像元”）宣布完成近億元A+輪融資，本輪融資由國投創業、北京創投等投資。
智元與匯川加碼，機器人如何利好電機市場？
智元官宣量產近千臺機器人、工控巨頭匯川科技入局，近期的機器人行業釋放了怎樣的信號?電機行業是否又能乘借東風，迎來發展新的發展機遇? 機器人行業正迎來發展高峰。 近日，智
《具身智能機器人系統》第7-9章閱讀心得之具身智能機器人與大模型
研讀《具身智能機器人系統》第7-9章，我被書中對大模型與機器人技術融合的深入分析所吸引。第7章詳細闡述了ChatGPT for Robotics的核心技術創新：它摒棄了傳統的分層控制架構，創造性地
發表于 12-24 15:03
走進北大 | 算能RISC-V通用處理器設計成功開課
近日，北京大學集成電路學院賈天宇老師開設的《現代SoC處理器架構設計》如期進行，算能首席科學家楊柳西博士、處理器架構師張明俊受邀，為北大博士講授了RXU高性能通用處理器設計的課程。《現代系統SoC
“0元購”智元靈犀X1機器人，軟硬件全套圖紙和代碼全公開！資料免費下載！
出定制化的運動控制策略。尤其是專業人士或初創團隊，基于智元提供的核心組件，可以輕松打造出個性化的人形機器人產品，并借助開源代碼快速完成整機工程，極大地降低了研發成本和門檻。
智元靈犀X
發表于 10-25 15:20
飛利浦家電全球首席執行官攜全球高層團隊來華 持續看好中國市場
下，展開了為期4天的交流。 這也是自Véronique今年3月上任以來，攜高層團隊首次來華訪問。此行不僅極大地促進了總部與中國團隊之間的緊密聯系與高效協作，也彰顯了在中國市場強大的"磁吸力"下，飛利浦家電對于中國市場的高度重視及
【「大模型時代的基礎架構」閱讀體驗】+ 未知領域的感受
”，好奇于這種大模型算力中心到底是如何建設的，用什么設備、什么架構建設的？對這些問題真是一無所知，甚至都沒有想過，帶著這份好奇開始閱讀。
先瀏覽目錄，共分十三章，目錄中出現最多的就是GPU，比如機器學習
發表于 10-08 10:40
AMD贊助多支FIRST機器人競賽團隊
AMD 在 2024 賽季贊助了多支 FIRST 機器人競賽團隊。FIRST 機器人競賽旨在教導高中生如何構建能夠執行特定任務的機器人，同時也讓他們有機會學習重要的商業和時間管理技能、
軟通動力與智元機器人攜手亮相世界機器人大會
應用解決方案服務商與制造商，軟通動力攜人形機器人關鍵能力，與戰略合作伙伴智元機器人以聯展的形式亮相本屆大會。 大會現場，軟通動力展示了自身在人形機器
戴爾重組銷售架構，成立AI新團隊
戴爾公司近期宣布了一項重大戰略調整，旨在通過銷售團隊重組及新團隊的成立，加速其向人工智能（AI）領域的轉型步伐。此次重組中，戴爾不僅裁減了部分銷售人員以優化成本結構，更關鍵的是，公司正式成立了專注于AI產品和服務的新團隊，標志著
日本團隊發布在富岳超算上訓練的Fugaku-LLM大模型
自2023年5月起，Fugaku-LLM模型的開發工作開始展開，最初參與團隊包括富士通、東京工業大學、日本東北大學以及日本理化學研究所（簡稱理研）。
谷歌解散整個Python團隊
近日，谷歌Python工程師Thomas Wouters在社交媒體上透露，谷歌對其Python團隊進行了架構調整，整個團隊被解散。這一變動可能源于公司的成本優化策略，涉及團隊重組和裁員
寧德時代創新中心團隊來我司交流
3月11日下午2點，寧德時代（CATL）創新中心團隊到訪深圳市泰科智能機器人有限公司，雙方就協作機器人在新能源領域的廣泛應用進行了深入的交流和探討。
在訪問期間，寧德時代創新中心團隊參
深維科技-北京大學合作團隊在FPGA'24布線加速競賽中奪得佳績！
美國西部時間2024年3月4日，我司與北大合作團隊在FPGA'24布線加速競賽中獲得優異的成績。
OPPO與哲庫科技解散團隊，全力研發自研芯片底層架構
1月8日，OPPO首席產品官劉作虎在接受媒體采訪時指出，雖然OPPO不會自主研發芯片，但仍舊會保持哲庫科技原有核心架構師團隊，發揮其與聯發科、高通等企業的溝通交流作用，旨在打通終端需求和 SoC 能力之間的通道。
工商網監
評論