用單顆芯片實現出色的處理性能、能效和安全性

研究發現，我們人類擅長與外界進行可視化互動，因為我們處理視覺圖像的速度遠遠快于其它形式的媒介，如書面文字。增強現實（AR）跟虛擬現實（VR）比較類似，能幫助我們更好地體驗周邊環境，二者的主要區別在于AR 能通過文字或其它視覺信息實現自然界的增強，從而讓我們更加安全高效地在自然環境中實現互動，而VR則能讓我們浸入在綜合創建的環境中。增強現實和虛擬現實相結合通常被稱為混合現實（MR）。許多人已經在日常生活中接觸過AR 了，但卻沒有意識到，比方說我們用移動設備實現街道導航或者玩 Pokémon Go 這樣的 AR 游戲。

圖1 - 虛擬現實、增強現實和混合現實。

抬頭顯示器（HUD）就是 AR 及其應用的一個很好的例證。就比較簡單的 AR 應用而言，諸如HUD用于航空和汽車應用領域，可讓駕駛人員無需低頭看儀表盤就能直接了解車輛信息。有的AR 應用可提供更高級的功能，比方說可穿戴技術（通常稱為智能AR），Tractica預計這樣的高端應用到 2020 年將實現 23 億美元的市值。

增強現實有助于改善我們的生活  

AR 正全面進軍工業、軍事、制造、醫療和商業等各個不同應用領域，顯著改善我們的生活。在社會商業領域，AR 用于社交媒體應用，可添加生物信息，甚至能識別每個人。

許多 AR 應用需要操作人員佩戴智能眼鏡。智能眼鏡通過取代手動作業或者提供零部件組裝信息等，可大幅提高制造業的工作效率。在醫療領域，智能眼鏡能分享病例以及創傷和損傷細節等，從而讓抵達現場的急救人員獲得必要信息，隨后再提供給急診室。

圖2 - 智能眼鏡用于工業領域的實例。

一家大型快遞公司目前正采用AR智能眼鏡讀取包裹條碼。掃描條碼后，智能眼鏡能通過 Wi-Fi 連接與公司服務器通信，明確包裹的最終目的地。知道目的地后，智能眼鏡能告知包裹應該堆放在什么位置，以便發運。

除了考慮最終應用之外，AR 解決方案還要考慮性能、安全性、功耗、面向未來等一系列要求。不同要求之間可能會存在沖突，因此設計人員必須同時考慮到所有這些要求，力爭推出最佳AR 系統解決方案。

利用AR系統贏得成功

復雜的 AR 系統要求能夠連接多個攝像頭傳感器并處理其提供的數據，以便了解周圍環境。這些攝像頭傳感器可能要處理電磁（EM）頻譜的不同頻段信息，包括紅外線或近紅外線等。此外，就像 MEMS 加速計和陀螺儀一樣，傳感器可能提供 EM 頻譜之外的信息，結合全球衛星導航系統 (GNSS) 提供的位置數據，可檢測移動和旋轉情況。對不同類型傳感器進行傳感器融合的嵌入式視覺系統統稱為異構傳感器融合系統。

AR 系統還需要實現高幀率，能逐幀進行實時分析，從而提取和處理每幀所含的信息。能否為系統提供處理功能，滿足上述要求，這就成了組件選擇的一個決定性因素。

圖3 - 增強現實系統剖析

設計人員還可將 All Programmable Zynq^?-7000 SoC或Zynq^? UltraScale+^? MPSoC用作 AR處理系統的核心。這些 SoC將 ARM^? 處理器和高性能可編程邏輯完美結合在一起，本身就是異構化處理系統。作為新一代Zynq-7000 SoC 的 Zynq UltraScale+ MPSoC還采用了 ARM^?Mali-400 GPU，該系列產品中有些產品還采用了硬化的視頻編碼器，能支持 H.265 和 HEVC 高效視頻編碼標準。

上述復雜器件有助于設計人員對其系統架構進行細分，優化利用處理器進行實時分析，并把傳統處理器任務轉交給生態系統來完成。設計人員可運用可編程邏輯來支持傳感器接口和處理功能。這樣做的好處包括：

·可根據應用要求，并行實現 N 個圖像處理流水線。

·支持任意連接，能定義和連接任何傳感器、通信協議或顯示標準，確保靈活性和未來升級路徑。

支持嵌入式視覺和機器學習

為實現圖像處理流水線和傳感器融合算法，開發人員可采用支持嵌入式視覺和機器學習應用的reVISION^? 加速堆棧。reVISION主要是在軟件定義的 SoC 或 SDSoC^? 工具集環境中開發的，能讓設計人員采用OpenVX 等業界標準框架實現視覺處理、OpenCV 計算機視覺庫和Caffe Flow 的跨平臺加速，以滿足處理器系統和可編程邏輯的要求。reVISION可加速大量 OpenCV函數（包括核心 OpenVX 函數）。

reVISION 還支持在可編程邏輯中直接用Caffe prototxt 文件實現機器學習推斷引擎，這就能采用業界標準框架，不僅可縮短開發時間，盡可能減少高級系統模型和設計成品之間的差距，同時還可打造出響應速度更快、能效更高（單位功耗像素更高）的靈活解決方案，而這一切要歸功于處理系統和可編程邏輯的完美結合。

圖4 – reVISION堆棧。

設計人員還必須考慮AR 系統的獨特因素，其不僅要連接攝像頭和傳感器以觀察周邊環境并根據應用要求和使用情況執行算法，而且還要跟蹤用戶的眼部，明確他們看什么東西，往什么方向看。這通常要采用額外的攝像頭來實現，既要觀察用戶面部，又要實現眼部跟蹤算法，讓AR 系統能跟蹤用戶的視線，從而確定向 AR 顯示屏提供什么內容，并高效利用帶寬，確保處理要求得到滿足。執行這種檢測和跟蹤工作可能是一項高計算強度的任務，可用reVISION實現加速。

高度關注便攜式設備的功耗問題

大多數 AR 系統具有可移植性、不受限制性，而且許多情況下可搭配可穿戴產品，如智能眼鏡。這就帶來了獨特的挑戰，需要在功耗要求嚴格的環境中完成處理工作。Zynq-7000 SoC 和 Zynq UltraScale+ MPSoC 系列產品都能提供最佳單位功耗性能，進一步降低工作期間的功耗，為此可采用不同選擇，如讓處理器進入睡眠狀態，工作時候再喚醒，這可讓器件上一半的可編程邏輯斷電。檢測發現未被使用就進入睡眠狀態，這樣AR 系統的電池使用壽命會延長。

在 AR 系統工作期間，當前未使用的處理器元件可采用門控時鐘來降低功耗。設計人員可根據簡單的設計原則實現可編程邏輯元件的極高效電源解決方案，包括高效利用硬宏、認真規劃控制信號、考慮就當前不需要的器件區采用智能門控時鐘等。這樣，相對于采用CPU 或 GPU 的方法而言，能提供用電效率更高、響應速度更快的單芯片解決方案。單芯片Zynq-7000 SoC 或 Zynq UltraScale+ MPSoC解決方案采用 reVISION 來加速機器學習和圖像處理元件，這相對于類似的 GPU 解決方案而言能將單位功耗每秒幀率提高 6 倍（機器學習）到 42 倍（圖像處理）之間，而時延則縮短到原來的五分之一。

滿足敏感的安全性要求

分享病例和生產數據這樣的AR 應用需要信息安全（IA）和威脅防護（TP）領域的安全性，而AR系統具有高度移動性、可能錯放，這就讓安全問題變得尤其重要。信息安全（IA）要求我們能夠信任系統中存儲的信息以及該系統接收和發送的信息。

就綜合而全面的信息安全而言，設計人員需要采用Zynq 器件的安全啟動功能，該功能支持加密。設計人員還應通過高級加密標準（AES）、HMAC 和 RSA 公共密鑰加密等算法來進行確認。器件正確配置并運行后，開發人員可用ARM^? Trustzone 和系統管理程序實現正交世界，也就是說能確保自身安全性，別人無法訪問。

就威脅防護而言，設計人員可用系統中內置的賽靈思ADC（XADC）宏來監控供電電壓、電流和溫度，并檢測有沒有修改AR 系統的企圖。如果出現威脅性事件，Zynq 器件提供保護選項，包括記錄威脅企圖、擦除安全數據、避免AR 系統再次連接支持基礎設施等。

結論

AR 系統會在商業、工業和軍事領域變得無所不在。這種系統的高性能、系統級安全性和能效要求之間往往是相互沖突的。設計人員可將Zynq-7000 SoC 或 Zynq UltraScale+ MPSoC用作處理系統的核心，并結合 reVISION 加速堆棧來支持嵌入式視覺和機器學習應用，從而應對有關挑戰。

如需了解更多信息，敬請訪問以下網址：http://china.xilinx.com/products/design-tools/embedded-vision-zone.html。