【導讀】飛行時間(ToF)相機憑借更小的外形尺寸、更寬的動態感測范圍，以及在多種環境下工作的能力，成為首選的深度傳感方法。雖然ToF技術已在科學和軍事領域應用多年，但隨著21世紀初圖像傳感技術的進步，才得到更加普遍的應用。性能的變革意味著，包括 ADI ToF 技術在內的探測技術，已被應用到智能手機、消費電子和游戲設備中，未來將不僅限于消費市場。隨著技術的進一步成熟，將有機會利用主流制造工藝從設計、制造和貨物運輸等多方面來提高系統效率。
圖1. 飛行時間(ToF)：一項檢測到物體的距離的技術。
物流、質檢、導航、機器人、人臉識別、安保、監控、安全、醫療健康和駕駛員監控，所有這些應用都有機會使用3D深度傳感ToF技術，從而來解決許多傳統2D技術無能為力的問題。高分辨率深度數據與強大的分類算法以及AI相結合，將會解鎖許多新的應用方向。
本文將探討ToF深度傳感的基本原理和兩種主要的方法，并與其他常用的深度測量技術進行比較。然后，詳細介紹ADI公司的3D 深度傳感ToF技術的核心—— ADDI9036 模擬前端，這是一個完整的ToF信號處理器件，集成了深度處理器，將來自VGA CCD 傳感器的原始圖像數據處理成深度/像素數據。我們還將討論ADI如何通過硬件合作伙伴生態系統，將這項技術擴展到我們廣闊的市場客戶群。
基本的工作原理
圖2. 簡單的飛行時間測量示意圖。
ToF相機通過使用調制光源（例如激光或LED）主動照亮物體，并用對激光波長敏感的圖像傳感器捕捉反射光，以此測量出目標距離（圖2）。傳感器可以測量出發射出的激光信號經目標反射，回到相機的時間延遲?T。該延遲與相機到目標物體間的兩倍距離（往返）成正比；因此，深度可以估算為：
其中 c表示光速。ToF相機的主要工作是估算發射光信號和反射光信號之間的延遲。
目前存在多種不同的測量?T的方法，其中兩種最為常用：連續波(CW)方法和脈沖方法。
連續波方法
圖3. 連續波ToF系統圖解
連續波方法采用周期調制信號進行主動發光（圖3），然后對接收到的信號進行零差解調，以測量反射光的相移。
例如，當發射信號使用正弦調制是，可以表示為如下公式：
其中
● As表示信號的幅度
● Bs 表示信號的偏置量
● fmod 表示調制頻率, fmod – 1/Tmod 其中 Tmod 表示調制周期。
接收信號 r(t)是反射信號經過延遲和衰減得到的：
0 ≤ α < 1，α是衰減系數，其值取決于目標距離以及表面反射率，?T表示返回信號的延遲時間。
連續波飛行時間傳感器通過按照相同的頻率s(t) 對接收信號 r(t))和解調信號 g(t) 之間的相關函數進行采樣，以此測量每個像素的距離。在理想情況下，解調信號也是一個正弦波：
像素執行的操作為相關運算：
當發射信號和解調信號都是正弦波時，相關值作為延遲τ 的函數應用到解調信號中：
之后，如公式3所示，在每個四分之一周期內，對相關函數 c(τ)采樣（通過90°步進改變發射光信號相位）。對于發射信號和解調信號之間的相位偏置Φ=2πfmodΔT,可以使用公式7估算：
深度則與相移成正比：
圖4. 相關函數采樣過程圖解。
脈沖方法
在脈沖方法中，光源發出一系列N 個激光短脈沖，這些脈沖被反射回帶有電子快門的傳感器，該傳感器能夠在一系列短時間窗口中進行曝光。圖5中的三個快門窗口或脈沖被用于捕獲反射 光脈沖。其中BG窗口捕獲環境光，計算深度時環境光強度會被減掉。
圖5. 快門窗口捕捉反射光的示意圖。
根據不同快門曝光測得的光強值，可以按照以下公式估算得出ToF ?T：
在公式1中，使用公式9中的表達式替代?T，得出公式10，由此計算距離：
需要注意的是，這些公式是建立在假設脈沖是完美的矩形脈沖的基礎上的，考慮到硬件的局限性，這是不可能實現的。此外，在實際情況下，需要對幾百甚至幾千個激光脈沖進行積分，才能獲得測量所需的足夠的信噪比(SNR)。
連續波和脈沖ToF技術系統的優缺點
相對于應用用例，兩種ToF方法都有各自的優缺點。需要考慮的問題包括：測量距離、使用系統的環境、精度要求、熱/功耗限制、外形大小以及電源問題。值得注意的是，目前已在市場上得到廣泛應用的絕大多數連續波ToF系統都使用CMOS傳感器，脈沖ToF系統則使用非CMOS傳感器（主要是CCD）。因此，以下列出的優點/缺點都是基于這些假設：
連續波系統的優點
● 對于對精度要求不高的應用，連續波系統可能比脈沖系統更容易實現，因為它不要求激光脈沖非常短，也不需要具有超快的上升/下降沿，當然在實際中很難復制完美的正弦波。但是，如果精度要求變得更嚴格，那么將需要更高頻率的調制信號，這實際上很難實現。
● 由于激光信號具有周期性，所以連續波系統測量中的任何相位測量每隔2π會重復一次，意味著會產生一個混疊距離。對于只有一個調制頻率的系統，混疊距離也是最大可測距離。為了應對這個限制，可以使用多個調制頻率來執行相位展開，其中，如果兩個（或多個）具有不同調制頻率的相位測量值與估算的距離一致，就可以確定與物體之間的真實距離。這種多重調制頻率方案也可以用于減少多路徑誤差，多路徑誤差是由于一個物體的反射光擊中另一個物體（或在鏡頭內部反射），然后返回到傳感器時會導致的測量誤差。
● 在所有CMOS成像器系統中，可以使用標準電源軌（+5 V、+3.3 V、+1.2 V），而CCD可能需要使用更高的負極(–9 V)和正極(+14 V)電源軌道。
● 根據它們的配置，CMOS ToF成像器往往具有更大的靈活性和更快的讀出速度，因此可以實現感興趣區域(RoI)輸出等功能。
● 連續波ToF系統的溫度校準可能比脈沖ToF系統更容易。隨著系統溫度升高，解調信號和激光信號會因為溫度變化彼此偏移，但這種偏移只會影響測量距離，在整個距離范圍內始終存在偏置誤差，而深度線性度則基本保持穩定。
連續波系統的缺點：
● 雖然與其他傳感器相比，CMOS傳感器具有更高的輸出數據速率，但連續波傳感器需要在多個調制頻率下獲得4個相關函數樣本，并使用多幀處理來計算深度。較長的曝光時間可能會限制系統的整體幀率，或導致運動模糊，因此只能在有限類型的應用中使用。這種更高的處理復雜性可能需要用到外部應用處理器，而這可能超出了應用的需求。
● 對于更遠的測量距離或者更強環境光的場景，更高的連續光功率（與脈沖ToF系統相比）則十分必要；而這種高強度的連續光信號則可能導致散熱和可靠性的新問題。
脈沖ToF技術系統的優點：
● 脈沖ToF技術系統通常依賴于在很短的時間窗口內發出高能光脈沖。它具有下列優點：
（1）更加便于設計魯棒性強的系統，因此更適用于戶外。
（2）曝光時間越短，運動模糊的效應越小。
● 脈沖ToF系統中的信號占空比通常比同等水平的連續波系統要低得多，因此具有以下優點：
（1）對于長期工作的應用，可以降低系統的總功耗。
（2）通過將脈沖群放置在與其他系統不同的幀位置，從而避免來自其他脈沖ToF系統的干擾。這可以通過協調各種系統在一幀中為激光脈沖選擇不同的位置，或者使用外部光電探測器來確定其他系統脈沖的位置來實現。另一種方法是動態隨機排列脈沖群的位置，這樣就無需協調各個系統之間的時序，但這種方法無法完全消除干擾。
● 由于脈沖時序和寬度不需要一樣，所以可以采用不同的時序方案，支持實現更寬的動態范圍和自動曝光等功能。
脈沖ToF技術系統的缺點：
● 由于發射光脈沖的脈寬和快門的脈寬需要保持相同，所以系統的時序控制需要非常精確，根據應用需要，可能需要達到皮秒級精度。
● 為了達到最大效率，激光脈沖寬度必須非常短，但同時必須具有極高的功率。因此，激光驅動器需要實現非常快的上升/下降沿(< 1ns)。
● 與連續波系統相比，其溫度校準過程可能更為復雜，因為溫度的變化會影響單個脈沖寬度，不僅影響偏置和增益，還會影響其線性度。
● 如前所述，大多數脈沖系統都不使用CMOS傳感器。例如：
（1）脈沖ToF系統幾乎總是需要使用外部模擬前端來數字化和輸出深度數據（盡管連續波系統也可能需要使用外部處理器，但這取決于后端處理的復雜度）。
（2）該系統的配置（特別是ToF傳感器的電源要求）需要使用更多的組件和電源軌。
其他深度傳感技術
熟悉其他深度傳感技術對理解不同方案的優缺點非常有幫助；如前所述，根據用例和應用要求，所有深度傳感系統各有優缺點。
立體視覺
要使用立體視覺進行深度測量，需要用到多個相機，彼此之間相隔一定距離（圖6）。就像人眼一樣，會在空間中給每個相機一個參考點，這些點相互獨立，因此如果在兩個相機之間能夠對應還原這些點的坐標，系統就能夠計算這些點的位置。確定這種對應關系需要用到高強度且復雜的算法。
圖6. 使用立體視覺的3D深度測量
優點
● 無需主動發光
● 它只需要使用兩個相機來獲取數據，因此價格更便宜（雖然可能需要使用一個復雜的應用處理器來找到對應的點，并生成3D圖像）。
缺點
● 如果兩個相機之間的對應點沒有差別對比，則無法計算距離。對于白墻環境（因為兩個相機顯示的內容之間沒有差異）和環境光不足的環境，這個問題就會凸顯出來。
● 距離更遠時，兩個相機彼此之間應該相距更遠，以便對應的點位于兩個相機的不同位置。對于需要測量更遠距離的應用，尺寸成為明顯的問題。
結構光
結構光的工作原理是將已知的參考點圖投射到三維物體上，參考點圖經過物體高度調制產生變形，被調制的光信息被2D相機采集捕捉，然后將調制后的光信息與投射的參考點圖做對比，基于調制水平計算出深度圖。
圖7. 使用結構光方法的深度傳感圖解。
優點
● 能夠在近距離內（< 2米）實現非常高的空間分辨率和非常高的精度。
缺點
● 提取一幀信息需要多次投影，這可能會降低幀速率，導致從移動對象中提取距離信息變得非常困難。
● 對于遠距離探測，光源需要遠離相機鏡頭，因為如果光源距離鏡頭太近，可能導致無法識別圖像變形。對于需要小尺寸外形的應用，這可能不太合適。因此，當深度測量應用的距離大于2米時，一般不使用結構光方法。
● 室外環境光也可能干擾圖像調制，所以結構光更加適合在室內使用。
ADI深度傳感(ToF)技術
ADI的ToF技術屬于脈沖ToF CCD系統（圖8），使用高性能ToF CCD和集成了12位ADC、深度處理器（將來自CCD的原始模擬圖像信號處理成深度/像素數據），以及高精度時鐘發生器（為CCD和激光器生成驅動時序）的TOF模擬處理前端ADDI9036。時序發生器的精確時序內核支持在45 MHz時鐘頻率下按照大約174 ps分辨率調整時鐘和LD輸出。
圖8. ADI ToF系統功能框圖。
與其他解決方案相比，ADI的ToF系統具備以下優點
● 使用了分辨率為640×480的ToF圖像傳感器，其分辨率比市面上大部分其他ToF解決方案的分辨率高4倍。
● 使用了對940nm波長高度靈敏的傳感器。如之前所述，環境光將顯著降低反射信號的信噪比，特別是在強烈的環境光下。940nm激光器已經變得很普遍，因為這種波長在太陽光光譜中占據了一席之地，在該光譜中，光子通量的幅度相對較低（圖9）。ADI ToF系統使用對940nm光敏感的ToF CCD，因此能夠在室外環境或具有強環境光的區域采集到更多的有效信號。
圖9. 光子通量與太陽光的波長。
深度處理器采用偽隨機化算法和特殊的圖像處理功能，可以消除多機干擾（如前所述）。因此，可以在同個環境中使用多個ADI的ToF系統。
圖10. 戶外圖像的深度圖比較。
在圖10顯示的示例中，在戶外使用三個不同的深度測量系統來測量距離。值得注意的是，使用850 nm光源的CMOS ToF系統很難分辨出人與三腳架，而ADI的CCD ToF系統卻能夠清晰地分辨出兩者。
W哪些應用正在使用ToF技術？
如引言所述，在2D圖像中加入深度信息可以提取出更多的有效信息，從而顯著提高場景信息的質量。例如，2D圖像檢測無法區分真人和照片。提取深度信息可以更好地區分人體，跟蹤面部和身體特征。ToF深度傳感可以提供高質量且可靠的人臉識別方案，用于身份安全驗證。分辨率和深度精度越高，分類算法 的性能越好。它可以用于實現簡單功能，例如允許訪問移動設備/私人家庭空間，也可以實現高端應用，例如在商業敏感區域提供門禁控制。
圖11. 數字人臉識別。
隨著深度傳感技術的分辨率和深度精度不斷提高，人員的區分和跟蹤將變得更加容易。人工智能的使用可以大大提高分類的置信度，從而推動新的新興應用領域涌現。一個很好的例子是商業自動門開啟功能，尤其是在太陽光強烈的區域。確保門只對人開放，不對其他物體開放，這有助于實現高效樓宇管理，并提高安全性。
圖12. 自動門開啟的人員分類。
隨著3D算法進一步成熟，數據分析將被用來收集大量關于人們行為的有效信息。這種技術可能最先應用于樓宇控制應用，例如門禁系統。垂直安裝的傳感器增加了深度信息，這意味著可以非常準確地計算人數。另一個用例是智能自動門開啟（圖13），它可以對人進行區分，只有在檢測到真人時才開啟。ADI正在開發人員計數和區分的軟件算法。
通過使用深度信息，可以在許多具有挑戰性的條件下對人進行高精度的分類，例如在光線暗淡或沒有環境光的環境中，在人口密度較大的地區，以及在人員著裝復雜的情況下（例如，戴著帽子、圍巾等）。最重要的是，幾乎可以消除人員計數錯誤。如今，立體攝像機可以用于進出檢測，但由于機械尺寸（兩個傳感器）和高處理器需求的限制，立體視覺往往價格昂貴，且尺寸很大。ADI ToF 技術直接輸出深度圖，且只采用一個傳感器，因此大大降低了外形尺寸和處理需求。
圖13. 使用深度傳感技術的人員跟蹤算法。
深度傳感是工業、制造和建筑過程中的重要應用。在整個生產過程中實時準確地確定尺寸并進行分類，這是一項了不起的功能。準確的深度傳感可以確定倉庫的使用率。需要能夠快速確定下線產品的尺寸，以進行傳輸。高分辨率深度傳感能夠實時確定目標對象的邊緣和線條，并快速計算出其體積。這種確定體積的應用目前已使用神經網絡方法。
圖14. 3D尺寸。
在工廠內部，自動傳輸產品的范圍不斷擴大。AGV（自動導航車輛）等自動駕駛車輛將需要在工廠和倉庫中更快地自主導航。高精度深度傳感技術使得傳感器能夠實時繪制所處的環境、確定自身在地圖中的位置，然后找出最高效的導航路線。在工廠自動化環境中部署這種技術的最大挑戰之一在于：來自在同一 區域運行的其他傳感器的干擾。ADI的干擾消除IP使得這些傳感器能夠在彼此的視線范圍內工作，且不互相影響性能。
圖15.制造過程中的深度傳感用例。
如何使用ToF技術實施評估、原型制作和設計？
ADI開發了一個光學傳感器電路板 (AD-96TOF1-EBZ)，與Arrow 96應 用處理器平臺兼容。關于這款96TOF1電路板的光學規格，請參 見表1。
圖16. ADI的96TOF光學深度測量電路板。
表1. ADI的96TOF光學電路板規格
該電路板可以直接連接到Arrow的96Boards系列產品。96Boards系列是一系列硬件處理器平臺，以合理的價格為開發人員提供基于 ARM®的最新處理器。按照96Boards規格生產的電路板適用于快速原型制作， Qualcomm® SnapdragonTM, 恩智浦和 NVIDIA® 處理器都支持96Boards平臺。
ToF深度傳感是一項復雜的技術。實現VGA傳感器的最高性能需要用到大量的光學專業知識。光學校準、高速脈沖時序模式、溫度漂移和補償都會影響深度精度。要實現所需的性能，可能需要花很長時間進行設計。雖然ADI可以提供含芯片的設計，為合格客戶提供機會，但許多客戶都在尋找能夠更輕松、更快速且更高效進入市場的方法。
許多客戶都對簡單的演示模塊感興趣，他們會先評估該項技術的性能，然后決定是否在實際項目中使用。ADI與多家硬件合作伙伴合作，提供不同等級的硬件產品。DCAM710演示模塊由我們其中一家硬件合作伙伴(Pico)提供，支持通過USB將深度圖像直接傳輸至PC。
圖17. DCAM710 VGA深度測量和RGB攝像機。
DCAM710模塊規格
ToF攝像機DCAM710模塊的規格：
● B基于ADI的ToF信號鏈產品和技術
● 可輸出深度圖和（710版）ToF + RGB圖像（可禁用）
● FOV 70 × 54
● 深度攝像機支持的圖像大小：30 FPS下，最大640 × 480
● RGB攝像機支持的圖像大小：30 FPS下，最大1920 × 1080
● USB 2.0接口
● 支持的操作系統：可以在 Android®, Linux® 和 Windows® 7/8/10 上 運行
● Pico深度傳感器SDK、示例代碼和工具（兼容OpenNI SDK）
● Python®中ADI提供的示例應用算法
Pico SDK軟件平臺支持Windows和Linux操作系統，支持多種軟件功能。點云可以在對象周圍的空間中生成一組數據點，通常用于生成3D模型（可以通過SDK輕松生成）。
圖18. 深度傳感點云。
由于演示平臺通過USB將原始數據傳輸到計算機上，因此很容易開發簡單的軟件應用算法來幫助客戶快速開發代碼。
圖19. VGA深度傳感通過USB傳輸至PC。
ADI在Python中提供簡單的示例代碼，以支持客戶進行評估。下面的示例是實時截圖的Python源代碼，該代碼被用于檢測和分類人員，然后使用深度測量來確定人員與傳感器之間的關系。其他可用的算法包括終端檢測、對象跟蹤和3D安全幕。
圖20. 人員分類和范圍檢測。
如何利用ToF實現量產？
雖然ADI 96TOF參考設計對進行芯片化設計的客戶非常有用，DCAM710演示平臺仍是評估該技術的一種經濟高效的方法，但在許多情況下，客戶進入量產時，會需要使用不同或自定義程度更高的解決方案。例如，在AGV系統中，通常需要終端節點感測模塊提供GigE或以太網輸出。這提供了一種將來自終端節點感測模塊的高速原始深度數據發送至集中化CPU/GPU控制器的可靠方法。
圖21. 工業AGV中的深度測量（導航/防撞）。
在其他應用中，客戶可能希望實現一些終端節點處理，但只將元數據發送回控制器。在這種情況下，就需要使用外形小巧的深度節點模塊，配備支持ARM或FPGA的集成式終端節點處理器。ADI已經開發了大量第三方生態系統合作伙伴，可以滿足不同客戶的要求。
這些第三方提供一系列功能，從完整的攝像機產品到沒有外殼的小型光學模塊（可以集成到更大的系統中）。下圖所示為沒有外殼的微型MIPI模塊，可以輕松集成到更大的系統中。ADI的合作伙伴網絡還可以根據需要提供硬件、光學器件和應用處理器定制服務。我們的合作伙伴如今提供的模塊包括USB、以太網、Wi-Fi和MIPI，以及一系列集成式終端節點處理器。
ADI和我們的硬件合作伙伴還與外部軟件合作伙伴合作，后者提供系統級的深度處理算法專業知識。
結論
高分辨率深度成像系統可以幫助解決新興應用領域中的困難任務和復雜任務，這一優點促使我們的客戶開始迅速采用該系統。想要以最快的速度、最低的風險、最便宜的方式進入市場，就需要采用經濟高效、尺寸小巧、高度精準、可以集成到更大系統的模塊。ADI的96TOF參考設計平臺提供一個完整的嵌入式評估平臺，使得客戶能夠立即評估技術，并開始開發應用代碼。如需獲取有關ADI的ToF技術、硬件或我們的硬件合作伙伴的更多信息，請聯系ADI。
推薦閱讀：
