案例簡(jiǎn)介
國(guó)訊芯微(NIIC)專注于自主實(shí)時(shí)操作系統(tǒng)和 EtherCAT 協(xié)議棧的研發(fā)與應(yīng)用十余年,匯聚了一批業(yè)內(nèi)頂尖的工程師和科研人員,始終致力于為智能制造輸出自主可控核心技術(shù)產(chǎn)品。
國(guó)訊芯微的具身智能控制平臺(tái) NSPIC-R006NP 具備強(qiáng)大的 GPU 和 CPU 計(jì)算能力,內(nèi)置 NECRO 硬實(shí)時(shí)操作系統(tǒng),適配 Ubuntubase 系統(tǒng),并通過(guò) EtherCAT 多主站 NIIC EtherCAT Master 2.0 將控制邏輯與機(jī)器人或系統(tǒng)的物理特性緊密結(jié)合,能夠?qū)崟r(shí)處理復(fù)雜的機(jī)器人控制任務(wù)。該平臺(tái)支持多種設(shè)備的接口,具有豐富的軟件開發(fā)工具和生態(tài)資源,便于開發(fā)者進(jìn)行定制化開發(fā)和優(yōu)化。
本案例主要應(yīng)用到 NVIDIAAGX Orin 64GB。
在具身智能中的挑戰(zhàn)
傳統(tǒng)異構(gòu)方案
目前絕大多數(shù)人形機(jī)器人企業(yè)都在采用傳統(tǒng) X86+AI 芯片的具身智能控制平臺(tái)。然而,這其中存在顯著的缺點(diǎn)和痛點(diǎn)。網(wǎng)絡(luò)延遲問題會(huì)導(dǎo)致機(jī)器人實(shí)時(shí)響應(yīng)能力受限,影響手眼協(xié)調(diào)等復(fù)雜任務(wù)執(zhí)行。其次,RT-Linux 系統(tǒng)的不穩(wěn)定性和 EtherCAT 協(xié)議棧的潛在問題會(huì)使得多程序運(yùn)行時(shí)抖動(dòng)大,運(yùn)動(dòng)控制不穩(wěn)定,從而增加了運(yùn)行風(fēng)險(xiǎn)。再者,X86 與 AI 芯片間的協(xié)同工作十分復(fù)雜,系統(tǒng)整合難度大,性能下降和延時(shí)增加,難以滿足全身多關(guān)節(jié)高性能控制需求。這些痛點(diǎn)限制了機(jī)器人在復(fù)雜環(huán)境中的應(yīng)用,尤其是在實(shí)時(shí)可靠性和端到端升級(jí)方面。因此,保持系統(tǒng)同構(gòu)性,實(shí)現(xiàn)無(wú)縫銜接和高效協(xié)作成為人形機(jī)器人企業(yè)的迫切需求。
NIIC 新型單一 SOC 平臺(tái)
國(guó)訊芯微是目前全球極少數(shù)能夠在 AI SOC 平臺(tái)上植入高性能實(shí)時(shí)操作系統(tǒng)和運(yùn)動(dòng)控制平臺(tái)的企業(yè),NSPIC-R006NP 具身智能控制平臺(tái)在解決傳統(tǒng) X86+AI 芯片控制平臺(tái)問題方面取得了顯著的進(jìn)步,通過(guò)將感知、識(shí)別和決策過(guò)程融合在一個(gè)一體化的系統(tǒng)中,并利用 NECRO 實(shí)時(shí)操作系統(tǒng)的多進(jìn)程和多線程功能,成功實(shí)現(xiàn)了 nS 級(jí)別的交互速度,相較于傳統(tǒng) X86+AI 芯片控制器的 mS 級(jí)別交互速度,這無(wú)疑是一個(gè)巨大的提升。
NVIDIA 與國(guó)訊芯微攜手共創(chuàng)
高效人形機(jī)器人控制解決方案
新型平臺(tái)架構(gòu)
多模態(tài)感知的使用使得機(jī)器人能夠獲取更加豐富和準(zhǔn)確的環(huán)境信息,而基于 GPU(大腦智能決策)的識(shí)別過(guò)程則能夠迅速對(duì)這些信息進(jìn)行處理和分析。CPU(小腦)負(fù)責(zé)運(yùn)動(dòng)控制,能夠根據(jù)識(shí)別結(jié)果迅速做出反應(yīng),再利用 NECRO 實(shí)時(shí)操作系統(tǒng)的多進(jìn)程和多線程功能,最后成功實(shí)現(xiàn)納秒級(jí)別的交互速度。這種一體化的設(shè)計(jì)不僅提高了系統(tǒng)的實(shí)時(shí)性和響應(yīng)速度,還有助于減少數(shù)據(jù)傳輸延遲和網(wǎng)絡(luò)穩(wěn)定性問題。由于所有過(guò)程都在一個(gè)系統(tǒng)中完成,有效降低了整合性的挑戰(zhàn),使得整個(gè)系統(tǒng)更加穩(wěn)定和可靠。
強(qiáng)大的 AI 計(jì)算能力
NSPIC-R006NP 具身智能控制平臺(tái)基于 NVIDIA AGX Orin 64GB SOC,高達(dá) 275 TOPS 的 AI 算力,能夠?qū)崿F(xiàn) 13B-70B 的大模型推演。
為了進(jìn)一步提升 AI 性能,NSPIC-R006NP 特別利用了 NVIDIA CUDA 和先進(jìn)的 AI 大模型技術(shù),能夠在短時(shí)間內(nèi)完成大量高性能、高精度的目標(biāo)識(shí)別、圖像處理和分析任務(wù),極大地提升了人形機(jī)器控制器的感知和決策能力。
核心軟件:
實(shí)時(shí)操作系統(tǒng) NECRO
人形機(jī)器人所有的數(shù)據(jù)采集、數(shù)據(jù)訓(xùn)練必須高速同步,如果采集到的視覺是 1 秒之前的數(shù)據(jù),而雷達(dá)卻是 5 秒之后的數(shù)據(jù),那么大模型的訓(xùn)練就失去了意義。而實(shí)時(shí)操作系統(tǒng)所帶來(lái)的價(jià)值,就是保證大模型的訓(xùn)練建立在相同的時(shí)間基礎(chǔ)上,所有的多模態(tài)感知采集和計(jì)算都是時(shí)間精準(zhǔn)的,能夠向訓(xùn)練服務(wù)器推送相同時(shí)間軸的同步數(shù)據(jù),這樣才能完成 transformer,才能真正實(shí)現(xiàn)端到端。
國(guó)訊芯微 100% 自主研發(fā)的 NECRO 囚牛實(shí)時(shí)操作系統(tǒng)作為管理整個(gè)信號(hào)傳遞的核心組件,微秒級(jí)操作系統(tǒng)抖動(dòng)、納秒級(jí)中斷響應(yīng)速度,這樣強(qiáng)力的性能能夠確保信號(hào)在系統(tǒng)中的高效、準(zhǔn)確傳遞,為機(jī)器人的實(shí)時(shí)感知、決策和執(zhí)行提供堅(jiān)實(shí)基礎(chǔ)。Cyclictest 最大值不超過(guò) 2uS,在滿載、滿 CPU、滿內(nèi)存、滿 IO、滿存儲(chǔ)、滿內(nèi)存壓力之下,最大值不超過(guò) 10uS,從而實(shí)現(xiàn)最佳的整體性能。
EC 抖動(dòng) 4uS 以內(nèi)
在開發(fā)過(guò)程中,國(guó)訊芯微嚴(yán)格遵循 AGX 芯片手冊(cè)和全寄存器手冊(cè)的規(guī)范,確保系統(tǒng)的穩(wěn)定性和兼容性,成功地將 NECRO 囚牛內(nèi)核移植到 Orin 系列上,并為其量身打造了相應(yīng)的板級(jí)支持包(BSP)。
核心軟件:EtherCAT 多主站同步
在具身智能控制中,ETherCAT 通信確保了機(jī)器人能夠快速、準(zhǔn)確地執(zhí)行決策,實(shí)現(xiàn)全身關(guān)節(jié)的協(xié)同運(yùn)動(dòng)。
國(guó)訊芯微自主知識(shí)產(chǎn)權(quán) EtherCAT 多主站 NIIC EtherCAT Master 2.0 正是如此,可以有效減少數(shù)據(jù)傳輸?shù)难舆t和抖動(dòng)。NIIC EtherCAT Master 2.0 能夠確保每個(gè)主站獨(dú)立工作,最小控制周期都為 125uS,多主站之間可以實(shí)現(xiàn) nS 級(jí)數(shù)據(jù)同步。可將雙手、雙腿、頭與軀干等所有的傳感器分配到不同的主站中,以 125uS 的 2 次方倍數(shù)控制周期同相位高速協(xié)同。
多模態(tài)生態(tài)
國(guó)訊芯微打通了多模態(tài)生態(tài)中的各個(gè)環(huán)節(jié),在這個(gè)生態(tài)中,國(guó)訊芯微以 AGX 作為核心控制,不僅整合了尖端的硬件組件,如關(guān)節(jié)、靈巧手、全 GMSL 視覺系統(tǒng),還配備了雷達(dá)、環(huán)形六麥聽覺傳感器、電子皮膚、觸摸傳感器以及唇語(yǔ)識(shí)別攝像頭等,為機(jī)器人提供了全方位的感知和交互能力。可打包支持提供給人形機(jī)器人企業(yè),無(wú)需再進(jìn)行軟件 SDK 適配、多方采購(gòu)等繁瑣的適配工作。
NSPIC-R006NP 通過(guò)實(shí)時(shí)同步采集的高質(zhì)量數(shù)據(jù)集,然后利用視覺-語(yǔ)言模型 VLM 進(jìn)行數(shù)據(jù)處理或分析,并將該模型或其輸出結(jié)果加載到 AGX 的 GPU 上,以實(shí)現(xiàn)快速推理或計(jì)算。同時(shí),NSPIC-R006NP還提供 Isaac Sim 仿真平臺(tái)上的 NSPIC-R006NP 控制器仿真模型,幫助客戶在復(fù)雜環(huán)境中測(cè)試和優(yōu)化算法,加速機(jī)器人和 AI 系統(tǒng)的開發(fā)。
關(guān)于端到端的加速,國(guó)訊芯微認(rèn)為高質(zhì)量數(shù)據(jù)集的實(shí)時(shí)并發(fā)采集,能夠有機(jī)會(huì)在更少的真實(shí)物理世界參數(shù)模型下加速完成大模型的訓(xùn)練,并減少推理模型的容量,而且人形機(jī)器人并非是個(gè)全才,也和人類一樣有分工,未來(lái)的具身不會(huì)是一個(gè)通用就能解決一切問題,而是各類應(yīng)用集的 7B/8B 模型的集群,根據(jù)不同場(chǎng)景切換,因此如果可以將特定場(chǎng)景的 7B/8B 模型在 AGX 內(nèi)以 30-40 Tokens/S 來(lái)推理,是有可能直接推理出全身動(dòng)力學(xué)和軌跡規(guī)劃的,也就是 MBC 將是通過(guò) transformer 架構(gòu)由 GPU 推出來(lái)的最優(yōu)解,同時(shí)結(jié)合 CPU 已經(jīng)成熟積累的 WPC 算法,實(shí)現(xiàn)更好的行為預(yù)測(cè)和執(zhí)行。國(guó)訊芯微的目標(biāo)是如何在現(xiàn)有軟硬件架構(gòu)下把硬件利用率發(fā)揮到極致。同時(shí),成本也是人形機(jī)器人能否快速進(jìn)入市場(chǎng)的核心要素。
NVIDIA 推動(dòng)國(guó)訊芯微
人形機(jī)器人控制器技術(shù)升級(jí)
“做最好的控制器架構(gòu),讓算法和工藝有最肥沃的土壤,服務(wù)于大家是我們的核心理念。”國(guó)訊芯微聯(lián)合創(chuàng)始人兼 CTO 蔣琛表示。
NVIDIA AGX Orin 64GB 提供了豐富的開發(fā)工具和資源,為 NSPIC-R006NP 提供了領(lǐng)先的 AI 計(jì)算能力和運(yùn)動(dòng)控制能力,使得開發(fā)者能夠更快速、更高效地開發(fā)出高性能的人形機(jī)器人產(chǎn)品,有助于企業(yè)縮短研發(fā)周期,降低研發(fā)成本,幫助國(guó)訊芯微控制器在市場(chǎng)上獲得更強(qiáng)的競(jìng)爭(zhēng)力,保證實(shí)現(xiàn)人形機(jī)器人控制最優(yōu)方案。
人形機(jī)器人作為下一個(gè) AI 浪潮,未來(lái)產(chǎn)業(yè)化落地將創(chuàng)造大量的控制器需求;控制器相比執(zhí)行器更為“無(wú)形”,但對(duì)機(jī)器人本體的表現(xiàn)起到至關(guān)重要的作用,且長(zhǎng)期的發(fā)展迭代可能成為拉開距離的關(guān)鍵點(diǎn),是各家公司的核心技術(shù)。
國(guó)訊芯微(NIIC)在國(guó)產(chǎn)實(shí)時(shí)操作系統(tǒng)和軟 PLC 運(yùn)動(dòng)控制行業(yè)扎根十多年,始終致力于為智能制造輸出自主化可控核心技術(shù)產(chǎn)品。
公司研發(fā)自主化 NOM 系列產(chǎn)品,并結(jié)合自主研發(fā)的工業(yè)實(shí)時(shí)操作系統(tǒng) NECRO 和 NECRO SUPER STUDIO 軟 PLC IDE 構(gòu)成了一套完整的控制系統(tǒng)平臺(tái)產(chǎn)品,為智能制造領(lǐng)域提供實(shí)時(shí)操作系統(tǒng) SDK、IDE 工具鏈和完整的自動(dòng)化、運(yùn)動(dòng)控制解決方案。
國(guó)訊芯微于 2023 年研發(fā)了全國(guó)首款具身智能控制平臺(tái) NSPIC-R006NP,實(shí)現(xiàn)大小腦端到端協(xié)同控制,先后榮獲“Leaderobot 2024 年度人形機(jī)器人核心驅(qū)動(dòng)獎(jiǎng)”、“2024 年人形機(jī)器人供應(yīng)鏈優(yōu)質(zhì)企業(yè)”。
*本文中圖片來(lái)源于國(guó)訊芯微,若您有任何疑問或需要使用本文中圖片,請(qǐng)聯(lián)系國(guó)訊芯微。
NVIDIA 初創(chuàng)加速計(jì)劃
國(guó)訊芯微(NIIC)是 NVIDIA 初創(chuàng)加速計(jì)劃 (NVIDIA Inception) 會(huì)員企業(yè)。 NVIDIA 初創(chuàng)加速計(jì)劃為免費(fèi)會(huì)員制,旨在培養(yǎng)顛覆行業(yè)格局的優(yōu)秀創(chuàng)業(yè)公司。該計(jì)劃聯(lián)合國(guó)內(nèi)外知名的風(fēng)投機(jī)構(gòu)、創(chuàng)業(yè)孵化器、創(chuàng)業(yè)加速器、行業(yè)合作伙伴以及科技創(chuàng)業(yè)媒體等,打造創(chuàng)業(yè)加速生態(tài)系統(tǒng)。能夠提供產(chǎn)品折扣、技術(shù)支持、市場(chǎng)宣傳、融資對(duì)接、業(yè)務(wù)推薦等一系列服務(wù),加速創(chuàng)業(yè)公司的發(fā)展。
-
機(jī)器人
+關(guān)注
關(guān)注
211文章
28632瀏覽量
208348 -
NVIDIA
+關(guān)注
關(guān)注
14文章
5075瀏覽量
103688 -
操作系統(tǒng)
+關(guān)注
關(guān)注
37文章
6889瀏覽量
123727
原文標(biāo)題:初創(chuàng)加速計(jì)劃 | 基于 NVIDIA Jetson 平臺(tái),國(guó)訊芯微實(shí)現(xiàn)大小腦端到端協(xié)同控制
文章出處:【微信號(hào):NVIDIA-Enterprise,微信公眾號(hào):NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論