伴隨著深度神經網絡技術的發展,高階自動駕駛算法正從傳統2D感知向更先進的3D感知范式加速轉變,這在為智能駕駛落地應用提供更多可能性的同時,也對實際開發效率提出了更高的挑戰。在這個“快魚吃慢魚”的時代,“效率”已然成為產業玩家決勝智能駕駛“世界杯”的關鍵。搶灘智能駕駛技術高地,需要比快再快一點。
為了幫助產業開發者更高效地完成基于征程?系列芯片的性能驗證與開發部署,地平線面向智能汽車產業客戶與生態伙伴提供了參考算法開發加速包,避免對于典型任務的“重復造輪”,大幅降低算法開發門檻,加速產品原型的開發與迭代,實現計算與效率的并進“狂飆”。
軟硬協同優化,發揮極致計算性能
地平線作為最懂芯片的軟件公司和最懂軟件的芯片公司,始終踐行“軟硬結合”的技術理念,依托征程?系列芯片平臺打造的地平線天工開物?芯片工具鏈,能夠讓算法充分受益軟硬結合所帶來的極致性能表現。
天工開物提供了算法開發全生命周期內所需的完善軟件工具,能夠滿足模型量化、優化、編譯、仿真、部署、調試等各個開發環節的需要。特別是在模型量化方面,提供量化感知訓練(QAT)和訓練后量化(PTQ)兩類方式,可有效縮減模型大小,加速深度學習推理效率。同時,地平線在工具鏈基礎之上,進一步提供了豐富的參考算法,全面滿足開發者對計算性能與開發效率的要求與期待。
目前,地平線芯片工具鏈已積累近200家客戶與生態伙伴的應用實踐經驗,研發水平各異的開發團隊均能借助這一“得力武器”顯著提升開發效率。經統計,通過天工開物芯片工具鏈在征程與旭日芯片上進行算法部署的用戶,模型首次遷移成功率超過80%,性能和精度水平都能夠充分滿足業務預期。
降低軟件開發門檻,靈活滿足多樣化開發需求
智能駕駛算法工程師在開發部署中主要涉及兩類典型訴求,一方面是期待快速了解某個典型模型在征程芯片上的性能表現,另一方面則希望針對具體場景任務,高效完成在征程芯片上的部署調優。針對前者,地平線提供了豐富基礎算法與相應的benchmark;對于后者,則提供一系列經過充分調優的場景參考算法。
基礎參考算法
通過對智能駕駛算法演進與漸進式落地的持續探索,地平線構建了包含數百款算法模型的benchmark驗證庫,用于驗證芯片工具鏈對于各類算法的廣泛適用性,地平線還進一步篩選典型模型作為基礎示例,幫助開發者快速開展benchmark性能評測,其中既包含產業普遍關注的常見模型,也包含了地平線推薦的基礎模型。值得一提的是,為響應高階智能駕駛開發需求,地平線還基于公版Transformer結構開發了適配于征程5的Swin-Transformer,能夠高效支持SW-MSA和W-MSA結構,該模型在征程5芯片上的性能與端側最強GPU上的部署性能相當。
除了基于公版改進的基礎示例模型,地平線還開發提供了包含MixVarGENet在內,更為高效的自研模型。這類模型結構能夠充分發揮征程5的算力優勢,顯著提升網絡性能、減少訪存時間。用戶通過自由選用征程芯片高效支持的基礎模型,在保證運行效率和任務表現的前提下,輕松實現自有算法的快速遷移與二次開發。
目前,相關基礎示例模型均已隨征程5芯片工具鏈發版,用戶可直接通過「地平線開發者社區」獲取相關文檔與開發包,復現benchmark結果。
駕駛場景參考算法
智能駕駛嵌入式算法開發周期長、投入大、門檻高,benchmark能夠幫助開發者快速了解典型模型在征程芯片上的性能表現,而在面向實際業務場景的開發過程中,工程師依然要在場景算法的設計與調優上花費不少精力。
面對此類挑戰,地平線提煉了智能駕駛場景下的各類典型難題,并基于公開數據集提供了一系列經過充分優化的場景參考算法,當前已覆蓋目標檢測、光流預測、語義分割、車道線檢測等常見自動駕駛任務,還提供支持攝像頭與激光雷達等多類傳感器的感知模型,面向高階智能駕駛應用,地平線還提供支持Transformer、BEV等當下主流算法的先進模型示例,助力客戶與生態伙伴快速布局高階智能駕駛業務。
2D場景參考算法
地平線參考算法開放提供面向多種感知任務的2D場景模型,例如征程3、征程5芯片均可支持基于anchor-free實現的2D檢測模型FCOS,同時開放提供包括U-Net、DeepLab等極具代表性的語義分割模型,以及GANet車道線檢測、PWCNet光流預測等多類示例模型。
3D感知參考算法
在高階自動駕駛感知算法中,3D感知勢如破竹,成為主流技術應用方案。對此,地平線參考算法集成了基于Transformer的純視覺BEV模型、基于雷達點云的3D檢測模型以及單目3D目標檢測算法。
BEV算法能夠從高處統觀全局提供“上帝視角”,地平線所提供的BEV感知模型集成了目標檢測和語義分割多重任務,可開放支持包括IPM、Transformer、LSS等多種轉換方式,并在IPM基礎上提供融合時序特征的bev\_ ipm\_temporal模型;基于Transformer大模型,更開放提供包括DETR 3D、GKT、PETR在內的多類感知示例。
在純視覺模型外,地平線針對基于激光雷達點云的3D檢測,還提供了備受業界關注的PointPillars參考算法。通過對voxel-based模型中的復雜前處理進行針對性編譯優化,該模型目前能在保證性能的情況下顯著降低延時,讓開發體驗更加絲滑。
同時,地平線在FCOS 2D的基礎上進一步提供FCOS 3D目標檢測算法。通過使用征程5支持的高效模型結構efficientnet-b0替換backbone后,目前該示例模型性能可達雙核502FPS,精度表現更具優勢。
目前,以上經地平線充分優化的場景參考算法均已上線地平線開發者社區,未來還將持續拓展與豐富,為開發者提供更為開放與靈活的技術支持。
未來,地平線還將面向關鍵點檢測、地圖定位、多目標跟蹤、軌跡預測、深度估計、視覺3D等更多場景算法,不斷推動參考算法的研發擴展和升級迭代,讓智能駕駛算法的開發部署不再艱難,讓開發者收獲遠超預期的開發體驗。
堅守Tier2定位,打造更開放的智能計算平臺
在參考算法這一開發加速包以外,地平線基于軟硬結合的前瞻技術理念,以“芯片+軟件開發平臺”為核心,已搭建起開放、成熟的智能計算開放平臺。地平線通過持續提供高效能的征程系列芯片和配套完善的開發工具,全力支持客戶與生態伙伴產品創新,為產業差異化需求提供最優解,助力中國智能汽車產業引領全球發展。
-
算法
+關注
關注
23文章
4629瀏覽量
93193 -
人工智能
+關注
關注
1794文章
47642瀏覽量
239650 -
自動駕駛
+關注
關注
784文章
13923瀏覽量
166821 -
地平線
+關注
關注
0文章
354瀏覽量
14994
發布評論請先 登錄
相關推薦
評論