【導讀】現(xiàn)代機器人（包括人形機器人、自主移動平臺和工業(yè)自動化系統(tǒng)）必須在各種操作條件下以高精度、低延遲和一致的可靠性來感知環(huán)境。像視覺傳感器這樣的當前技術(shù)在暴露于霧、眩光、灰塵、雨水或弱光環(huán)境中時，性能往往會下降，而單模態(tài)深度傳感器經(jīng)常難以在雜亂或動態(tài)場景中提供穩(wěn)定的測量結(jié)果。
本文將概述如何使用德州儀器 (TI) IWR6243 毫米波雷達傳感器和部署在 NVIDIA Holocan 平臺上的攝像頭構(gòu)建實時 AI 原始傳感器融合流程，如圖 1 所示。
圖 1 由攝像頭、IWR6243 毫米波雷達傳感器和 NVIDIA Holoscan 平臺組成的系統(tǒng)示意圖
TI 的毫米波雷達技術(shù)提供了一種從根本上不同的感應方式，這種方式本身就能應對各種環(huán)境挑戰(zhàn)。IWR6243 毫米波雷達傳感器可在不受光照條件影響的情況下提供精確的距離、速度和角度測量，并且具有很強的環(huán)境干擾抗擾性。當原始數(shù)據(jù)與基于攝像頭的感知和 AI 驅(qū)動的傳感器融合相結(jié)合時，與僅雷達或僅視覺方法相比，這種功能能夠?qū)崿F(xiàn)穩(wěn)健可靠的周圍環(huán)境感知，并且具有更高的保真度。
IWR6243 是一款在 57GHz 至 64GHz 頻段內(nèi)工作的高度集成的單芯片 4RX 和 3TX 毫米波雷達收發(fā)器。這種集成水平能夠顯著降低系統(tǒng)復雜性、功耗和物料清單成本，從而使其適用于可擴展機器人和邊緣 AI 部署。該器件支持高分辨率點云生成，專為需要低延遲和確定性性能的實時感應應用而設計。
通過部署 IWR6243 以及 NVIDIA 的 Jetson Thor 和 NVIDIA Holoscan Sensor Bridge，開發(fā)人員可以將 TI 久經(jīng)考驗的毫米波雷達感應與 NVIDIA GPU 加速的 AI 和流媒體基礎設施無縫結(jié)合。這種組合使雷達數(shù)據(jù)能夠高效地流入 AI 傳感器融合流程，同時保持 TI 雷達著名的物理測量精度和可靠性。
在機器人應用中，IWR6243 能夠?qū)崿F(xiàn)精確的短距離人體檢測和運動跟蹤，從而在倉庫等擁擠環(huán)境中進行安全導航。借助雷達的直接距離和速度測量功能，可以在機器人周圍創(chuàng)建一個動態(tài)安全緩沖區(qū)，可以根據(jù)物體距離和相對速度定義和連續(xù)調(diào)整保護區(qū)域。在人形機器人中，雷達傳感器進一步支持在行走、運行或操作任務期間實現(xiàn)穩(wěn)定的平衡控制和動態(tài)避障。
系統(tǒng)概述
系統(tǒng)架構(gòu)以低延遲、以 GPU 為核心的數(shù)據(jù)通路為中心，在保留傳感器原始精度的同時，支持高級 AI 處理。該設計集成了 TI 的 IWR6243 毫米波雷達模塊、攝像頭模塊、用于高帶寬和確定性傳感器數(shù)據(jù)收集的 NVIDIA Holoscan Sensor Bridge，以及所有在 Holoscan SDK（軟件開發(fā)套件）上運行的 NVIDIA Jetson Thor 邊緣計算平臺，如圖 2 所示。
圖 2 系統(tǒng)概述
IWR6243 毫米波雷達傳感器通過高速 CSI-2 接口提供原始測量數(shù)據(jù)，可實現(xiàn)對原始雷達信息的直接、低延遲訪問，且傳輸開銷極低。該接口可將雷達數(shù)據(jù)高效流式傳輸至 NVIDIA Holoscan Sensor Bridge，借助零拷貝機制將數(shù)據(jù)直接傳入 GPU 內(nèi)存，全程兼具以太網(wǎng)的可擴展性與靈活性。該方案在保持 TI 高精度雷達測量數(shù)據(jù)完整性的同時，最大限度降低延遲并減少 CPU 參與度。
傳入 GPU 之后，Holoscan 運行時會使用基于圖形的執(zhí)行模型來編排處理流程。雷達信號處理、攝像頭預處理、神經(jīng)網(wǎng)絡推理及多模式融合均采用確定性調(diào)度，確保在傳感器高數(shù)據(jù)率下仍能滿足實時性約束要求。借助這種架構(gòu)，開發(fā)人員可以充分利用 TI 毫米波雷達的測量精度，同時高效擴展 AI 工作負載。
AI 傳感器融合流程
傳感器融合流程首先同步收集雷達和攝像頭數(shù)據(jù)。雷達處理利用 IWR6243 的能力提供距離、速度和角度測量的原始數(shù)據(jù)，生成可捕獲環(huán)境空間結(jié)構(gòu)和運動特性的點云。同時，使用 GPU 加速的 AI 模型對攝像頭幀進行處理，這些模型提取語義信息，如對象身份、姿勢和分類。
圖 3. 雷達處理流程
融合階段將 TI 雷達測量與空間和時間的視覺檢測保持一致。雷達衍生的深度和速度信息補充了基于視覺的推理，可提高穩(wěn)健性并減少模糊性。在涉及高速運動目標、部分遮擋或視覺環(huán)境惡化的場景中，僅依靠攝像頭感知極易失效，融合感知的價值尤為突出。
通過將 TI 不受照明影響的精確雷達傳感與 AI 驅(qū)動的視覺語義相結(jié)合，融合感知輸出可實現(xiàn)更高的置信度、更高的跟蹤穩(wěn)定性和更可靠的對象分類。生成的融合數(shù)據(jù)可用于實時決策、導航、安全監(jiān)控或下游自主堆棧。
TI 毫米波雷達在傳感器融合中的優(yōu)勢
TI 的毫米波雷達為傳感器融合系統(tǒng)帶來了獨特的優(yōu)勢，這種優(yōu)勢難以通過其他傳感技術(shù)實現(xiàn)。直接測量距離和速度的能力可實現(xiàn)精確的運動理解，從而增強跟蹤和預測。毫米波傳感的穩(wěn)健性使感知系統(tǒng)能夠在光學傳感器性能退化的環(huán)境（包括低光照、眩光、霧和灰塵）中可靠運行。
IWR6243 的高集成度可降低系統(tǒng)復雜性和功耗，同時實現(xiàn)可擴展的多傳感器部署。TI 在汽車和工業(yè)雷達領(lǐng)域的長期專業(yè)知識還為功能安全性、可靠性和長期可用性奠定了堅實的基礎，這些都是對機器人和自主系統(tǒng)的關(guān)鍵要求。
IWR6243 集成到基于 Holoscan 的 AI 流程時，可用作傳感器前端，為實際測量的 AI 推理提供可靠的傳感器數(shù)據(jù)。這種組合可提高整體系統(tǒng)性能，并降低邊緣部署中出現(xiàn)感知故障的風險。
開始使用硬件
基于德州儀器毫米波雷達與 NVIDIA Holoscan 構(gòu)建雷達視覺傳感器融合系統(tǒng)，首先需搭建一套硬件平臺，支持從傳感器到集中式 AI 計算平臺的高帶寬、低延遲數(shù)據(jù)傳輸。參考硬件配置將 TI 的雷達評估硬件與 NVIDIA Holoscan Sensor Bridge 和 NVIDIA Jetson Thor 相結(jié)合。
IWR6243 級聯(lián) EVM 用作雷達傳感前端。該評估模塊集成了兩個 IWR6243 毫米波雷達器件，以及快速開發(fā)和驗證所需的電源管理、時鐘和連接。借助 IWR6243 EVM，開發(fā)人員可以配置雷達線性調(diào)頻脈沖和幀時序，同時公開適用于高級信號處理和基于 AI 的融合的原始雷達數(shù)據(jù)。借助該 EVM 可加速系統(tǒng)啟動，并提供經(jīng)過驗證的可靠硬件基準，能夠真實反映量產(chǎn)雷達方案的性能特性。
為了實現(xiàn)從 IWR6243EVM 到 Holoscan 生態(tài)系統(tǒng)的高效數(shù)據(jù)傳輸，在雷達評估模塊和 NVIDIA Holoscan Sensor Bridge 之間使用了一個 CSI-2 適配器板，如圖 4 所示。此適配器板將雷達輸出接口的信號橋接至傳感器橋預期的 CSI-2 輸入。
圖 4. 硬件概述
Lattice CertusPro-NX 傳感器到以太網(wǎng)橋接板在低延遲、低功耗、靈活的 FPGA 上運行，可用作高帶寬傳感器數(shù)據(jù)的中央聚合和傳輸設備。它接收來自雷達的 CSI-2 數(shù)據(jù)流，以及攝像頭等其他傳感器的各類接口信號。傳感器橋接器負責確定性數(shù)據(jù)移動，并將傳感器數(shù)據(jù)直接傳送到計算平臺上可由 GPU 訪問的存儲器中。
NVIDIA Jetson Thor 用作系統(tǒng)的集中計算平臺。Jetson Thor 提供雷達信號處理、攝像頭推理、多模式融合和實時決策所需的 GPU 性能和 AI 加速。在 NVIDIA Jetson Thor 上運行 Holoscan SDK 使開發(fā)人員能夠定義和執(zhí)行流式 AI 流程，以可預測的延遲處理雷達和視覺數(shù)據(jù)。集中計算方法允許系統(tǒng)通過提高計算能力在不同的自主級別之間進行擴展，而無需重新設計傳感器硬件。
IWR6243EVM、CSI-2 適配器板、NVIDIA Holoscan Sensor Bridge、攝像頭模塊和 NVIDIA Jetson Thor 共同構(gòu)成了雷達視覺傳感器融合的完整硬件基礎。這種配置使開發(fā)人員能夠?qū)Ｗ⒂诟兄惴ê?AI 融合，同時依賴于針對高帶寬檢測、低延遲和面向量產(chǎn)人形機器人和機器人系統(tǒng)的可擴展性進行優(yōu)化的硬件架構(gòu)。IWR6243 級聯(lián) EVM 硬件和適配器板可直接從德州儀器 (TI) 獲取，開發(fā)人員應聯(lián)系其德州儀器 (TI) 售代表以了解供貨情況、訂購信息和支持選項。
開始使用軟件
在 NVIDIA Holoscan Bridge 上搭建雷達視覺傳感器融合軟件棧，需完成 Holoscan SDK 配置、啟用 Holoscan Sensor Bridge 軟件組件，并部署實現(xiàn)雷達處理與傳感器融合功能的應用軟件。
NVIDIA Holoscan SDK 為構(gòu)建實時流式 AI 應用程序提供了核心軟件框架。它包括基于圖形的執(zhí)行模型、GPU 加速運算符、確定性調(diào)度，以及對傳感器推理、可視化和數(shù)據(jù)移動的集成支持。該 SDK 在 NVIDIA Jetson Thor 上運行，并管理雷達處理和攝像頭推理的執(zhí)行。
NVIDIA Holoscan Sensor Bridge 軟件棧通過支持高帶寬傳感器將數(shù)據(jù)高效地流式傳輸?shù)?Holoscan 運行時來補充 SDK。它提供了必要的驅(qū)動程序、固件和接口，可將傳感器數(shù)據(jù)從基于 Lattice 的傳感器橋接硬件直接移動到 GPU 可訪問的存儲器中。該軟件層可將傳感器傳輸細節(jié)提取出來，并驗證確定性時序，使應用程序的開發(fā)人員能夠?qū)Ｗ⒂诟兄惴ǘ皇堑图墑e的數(shù)據(jù)移動。Holoscan Sensor Bridge 與 Holoscan SDK 之間的緊密集成對于在實時融合應用中保持雷達與攝像頭流之間的同步至關(guān)重要。
在 NVIDIA Holoscan 平臺之上，應用軟件實現(xiàn)了雷達配置、信號處理、傳感器對齊和融合邏輯。在此系統(tǒng)中，應用軟件由 D3 Embedded 開發(fā)，專門設計用于利用德州儀器 (TI) 毫米波雷達、Lattice Semiconductor 的 Holoscan Sensor Bridge 板和 NVIDIA Holoscan 基礎設施。該軟件將 IWR6243 雷達數(shù)據(jù)集成到基于 Holoscan 的流程中，從而在集中式處理架構(gòu)內(nèi)實現(xiàn)雷達點云生成、攝像頭對齊和 AI 驅(qū)動的融合。
D3 Embedded 開發(fā)的應用軟件可作為 D3 Embedded sales@d3embedded.com 服務項目的一部分獲得。
NVIDIA Holoscan SDK、Holoscan Sensor Bridge 軟件棧和 D3 Embedded 的應用軟件共同構(gòu)成了用于實時雷達視覺傳感器融合的完整軟件設計。這種組合實現(xiàn)了快速啟動和可擴展的性能，并為從評估硬件到可直接用于生產(chǎn)環(huán)境的人形機器人和機器人系統(tǒng)提供了清晰的途徑。
結(jié)語
TI 的 IWR6243 毫米波雷達與 NVIDIA Holoscan 平臺上的攝像頭數(shù)據(jù)之間的實時 AI 傳感器融合提供了穩(wěn)健、可擴展且可立即投入生產(chǎn)的感知設計。TI 的毫米波雷達技術(shù)可對距離和速度進行準確且不受光照影響的測量，而 NVIDIA Holoscan 可實現(xiàn)超低延遲 GPU 處理和 AI 驅(qū)動的融合。這些技術(shù)可以讓開發(fā)人員共同構(gòu)建能夠在復雜、動態(tài)和具有挑戰(zhàn)性的環(huán)境中可靠運行的高級感知系統(tǒng)，加快下一代機器人和自主機器的部署。
