主流邊緣計(jì)算平臺(tái)綜合對(duì)比

隨著華為海思芯片供貨的日益緊張，越來(lái)越多的開(kāi)發(fā)者開(kāi)始咨詢(xún)NVIDIA Jetson系列產(chǎn)品，尤其關(guān)心NVIDIA與華為產(chǎn)品的差異，本文將從產(chǎn)品定位、平臺(tái)生態(tài)、應(yīng)用遷移幾個(gè)方面對(duì)華為海思、華為Atlas、NVIDIA Jetson三個(gè)平臺(tái)進(jìn)行一個(gè)綜合的對(duì)比，希望能對(duì)有需要的朋友有所幫助。

產(chǎn)品性能對(duì)比

海思Hi3559A以及Atlas 200/500作為華為在邊緣計(jì)算方向的主流產(chǎn)品，一直有著不錯(cuò)的表現(xiàn)。作為本次評(píng)估的對(duì)標(biāo)產(chǎn)品，聯(lián)寶科技（聯(lián)想集團(tuán)子公司）的EA-B200和EA-B310在AI算力，視頻編解碼性能上與華為產(chǎn)品綜合對(duì)比究竟誰(shuí)更勝一籌？通過(guò)下圖可以有一個(gè)更加直觀的了解。

海思Hi3559A自發(fā)布以來(lái)，作為國(guó)產(chǎn)安防方案的代表不斷走強(qiáng)，與其突出的視頻處理能力不無(wú)關(guān)系。視頻編解碼支持8K高分辨率，內(nèi)置ISP可以支持圖像全景拼接、數(shù)字防抖等功能，4TOPS的AI算力在該級(jí)別也算是佼佼者。

對(duì)標(biāo)產(chǎn)品聯(lián)寶EA-B200采用了Jetson TX2 NX核心模組，作為T(mén)X2的cost down版本，其成本大幅下降性能卻基本持平。AI算力方面，雖然FP16浮點(diǎn)運(yùn)算能力不能直接與INT8整形運(yùn)算能力對(duì)比，但基于實(shí)際用戶(hù)體驗(yàn)，TX2 NX的整體算力還是弱于Hi3559A。CPU性能方面得益于高性能的Denver2架構(gòu)，比ARMv7和ARMv8更寬的指令解碼寬度，性能更為強(qiáng)勁。視覺(jué)編程方面與海思獨(dú)立ISP相比，TX2 NX使用了NVIDIA的VPI框架，在運(yùn)動(dòng)相機(jī)的場(chǎng)景中應(yīng)用還不夠廣泛。不過(guò)在視頻編解碼并行能力上TX2 NX占據(jù)優(yōu)勢(shì)，可以同時(shí)支持14路的1080p@30fps的編解碼，Hi3559A沒(méi)有明確的官方數(shù)據(jù)。

Atlas 200/500系列，以加速模塊和終端產(chǎn)品的形態(tài)存在，均采用了華為自研的達(dá)芬奇架構(gòu)昇騰310 SOC。對(duì)于CPU及NPU細(xì)節(jié)，官方?jīng)]有公布，其AI算力，高達(dá)22TOPS。視頻編解碼能力也達(dá)到1·1080p@30fps和16·1080p@30fps，可以廣泛應(yīng)用于智慧城市、零售、制造、機(jī)器人、無(wú)人機(jī)等領(lǐng)域。

對(duì)標(biāo)產(chǎn)品聯(lián)寶EA-B310采用了Jetson Xavier NX核心模組，INT8算力以微弱劣勢(shì)稍遜于Atlas 200/500，不過(guò)在FP16的算力加持下，綜合算力強(qiáng)于Atlas。CPU性能方面采用了Denver2的改進(jìn)版Carmel最新框架，其指令解碼達(dá)到了驚人的10寬度,性能極為強(qiáng)勁，Atlas的CPU由于未透露更多細(xì)節(jié)，對(duì)于其整體表現(xiàn)還不了解，期待后續(xù)的實(shí)際測(cè)試對(duì)比中來(lái)給出更多細(xì)節(jié)。在視頻解碼能力上也與Atlas持平，不過(guò)視頻編碼方面，并行能力大幅領(lǐng)先，在多路攝像頭錄像這樣需要用到編碼的場(chǎng)景下占據(jù)優(yōu)勢(shì)。在應(yīng)用領(lǐng)域方面，Xavier NX與Atlas基本重合。可以說(shuō)，對(duì)標(biāo)的兩個(gè)產(chǎn)品應(yīng)用場(chǎng)景都基本一致，但綜合性能聯(lián)寶EA-B310更勝一籌。

框架/生態(tài)全面解析

在方案的硬件框架和基本性能之外，軟件框架和生態(tài)的完善程度影響著產(chǎn)品開(kāi)發(fā)和維護(hù)的效率、成本和體驗(yàn)，甚至決定著產(chǎn)品的成敗。

Hi3559A采用了海思的統(tǒng)一軟件框架，媒體軟件處理平臺(tái)(Media Process Platform，簡(jiǎn)稱(chēng)MPP)，可支持應(yīng)用軟件快速開(kāi)發(fā)。該平臺(tái)對(duì)應(yīng)用軟件屏蔽了芯片相關(guān)的復(fù)雜的底層處理，并對(duì)應(yīng)用軟件直接提供 MPI（MPP Program Interface）接口完成相應(yīng)功能。該平臺(tái)支持應(yīng)用軟件快速開(kāi)發(fā)以下功能：輸入視頻捕獲、H.265/H.264/JPEG 編碼、H.265/H.264/JPEG 解碼、視頻輸出顯示、視頻圖像前處理（包括去噪、增強(qiáng)、銳化）、圖像拼接、圖像幾何矯正、智能、音頻捕獲及輸出、音頻編解碼等功能。SVP(Smart Vision Platform)是海思媒體處理芯片智能視覺(jué)異構(gòu)加速平臺(tái)。該平臺(tái)包含CPU、DSP、NNIE(Neural Network Inference Engine)等多個(gè)硬件處理單元和運(yùn)行在這些硬件上的SDK開(kāi)發(fā)環(huán)境，以及配套的工具鏈開(kāi)發(fā)環(huán)境。

Atlas系列產(chǎn)品，采用了CANN（Compute Architecture for Neural Networks）異構(gòu)計(jì)算架構(gòu)，支持用戶(hù)快速構(gòu)建基于昇騰平臺(tái)的AI應(yīng)用和業(yè)務(wù)，主要包含AscendCL、DVPP、HCCL等組件：昇騰統(tǒng)一編程接口AscendCL實(shí)現(xiàn)軟硬件解耦；華為通信集合庫(kù)HCCL在分布式訓(xùn)練中為不同昇騰AI處理器之間提供高效的數(shù)據(jù)傳輸能力；DVPP實(shí)現(xiàn)硬件加速，提升圖像預(yù)處理并行能力。AI框架兼容主流的TensorFlow、Caffe、Pytorch，同時(shí)支持華為的開(kāi)源AI框架MindSpore，更好地匹配昇騰處理器的算力和全場(chǎng)景深度學(xué)習(xí)框架。

同時(shí)，昇騰還在以下幾個(gè)方面提升開(kāi)發(fā)的效率和體驗(yàn)：預(yù)訓(xùn)練模型：提供大量預(yù)訓(xùn)練模型和腳本工具，讓開(kāi)發(fā)者能夠最高效完成AI模型開(kāi)發(fā)；

算子調(diào)優(yōu)：提高開(kāi)發(fā)效率；

性能調(diào)優(yōu)：發(fā)揮芯片極致性能；

行業(yè)應(yīng)用開(kāi)發(fā)套件：使能開(kāi)發(fā)者以極少代碼快速開(kāi)發(fā)行業(yè)AI應(yīng)用；

昇騰社區(qū)：使開(kāi)發(fā)者獲得更多更快的支持。

在生態(tài)建設(shè)方面，昇騰有以下幾個(gè)措施：硬件開(kāi)放、軟件開(kāi)源，使能合作伙伴， ISV合作伙伴發(fā)展計(jì)劃、初創(chuàng)伙伴加速計(jì)劃，高校教學(xué)合作、論文+模型開(kāi)發(fā)激勵(lì)、開(kāi)發(fā)人員成長(zhǎng)計(jì)劃。

而NVIDIA作為早期入場(chǎng)AI并且其平臺(tái)和生態(tài)也日趨成熟的廠商，體系更顯完善。在軟件框架方面，CUDA作為最早推出的CPU+GPU并行運(yùn)算平臺(tái)，性能強(qiáng)大系統(tǒng)成熟，并且支持跨平臺(tái)（X86、ARM），有著豐富的開(kāi)發(fā)和系統(tǒng)資源。AI框架支持TensorFlow、PyTorch、Caffe2、Keras、MXNet等主流框架，并且可以通過(guò)TensorRT對(duì)模型優(yōu)化，極致利用GPU性能。DeepStream框架將深度神經(jīng)網(wǎng)絡(luò)和其它復(fù)雜任務(wù)引入到流處理管道，對(duì)視頻流和傳感器數(shù)據(jù)流進(jìn)行實(shí)時(shí)分析。

NVIDIA Jetson還在以下幾個(gè)方面全面加速或簡(jiǎn)化系統(tǒng)的開(kāi)發(fā)和部署：

TAO & FLEET工具集：基于Transfer Learning Toolkit，內(nèi)置大量預(yù)訓(xùn)練模型，對(duì)模型進(jìn)行遷移學(xué)習(xí)，可視化微調(diào)，將一個(gè)通用模型以極低成本調(diào)整為適合當(dāng)前業(yè)務(wù)的高準(zhǔn)確度的定制模型，并且通過(guò)Fleet command快速部署。

Could Native：提供容器和多種鏡像，快速部署各種應(yīng)用和服務(wù)；

ISAAC：為機(jī)器人量身定制的數(shù)字孿生系統(tǒng)，讓訓(xùn)練在虛擬世界中快速低成本地進(jìn)行；

VPI：NVIDIA視覺(jué)編程接口，統(tǒng)一NVIDIA所有的硬件平臺(tái)接口，忽略底層差異，內(nèi)置多種算法，加速應(yīng)用開(kāi)發(fā)；

Jetson官方及第三方社區(qū)：高活躍度，大量的業(yè)務(wù)和技術(shù)信息持續(xù)流通；

生態(tài)建設(shè)方面，NVIDIA開(kāi)展了全球規(guī)模的GTC大會(huì)，各行業(yè)頂尖玩家的精彩案例和演講不斷分享。NVIDIA Partner Network核心伙伴案例交流，營(yíng)銷(xiāo)和產(chǎn)品的定期培訓(xùn)，持續(xù)進(jìn)行能力提升。

總體來(lái)說(shuō)，海思Hi3559A的AI框架支持較弱，僅支持Caffe框架，但提供整套的SDK包，內(nèi)置較多的應(yīng)用Demo，做少量修改即可完成一個(gè)產(chǎn)品原型。Atlas技術(shù)框架和生態(tài)建設(shè)均很完善，也提供了各種快速開(kāi)發(fā)和部署的組件和工具，但兼容性和成熟度還沒(méi)有經(jīng)過(guò)市場(chǎng)檢驗(yàn)。Jetson依賴(lài)最成熟的CUDA平臺(tái)，程序可從X86平臺(tái)移植且無(wú)縫銜接，提供了快速開(kāi)發(fā)和部署的工具集，并且建設(shè)了ISAAC數(shù)字孿生平臺(tái)為機(jī)器人開(kāi)發(fā)加速，擁有最完善和成熟的生態(tài)。

應(yīng)用遷移探討

那么從Hi3559A和Atlas將系統(tǒng)應(yīng)用遷移到Jetson的可行性和難度如何呢？筆者也沒(méi)有過(guò)這樣的經(jīng)驗(yàn)，所以無(wú)法評(píng)估難度，只能從所需要關(guān)注的內(nèi)容和可行性方面來(lái)探討。

模型遷移：需要將優(yōu)化之前的原始模型，部署到Jetson，使用TLT工具來(lái)進(jìn)行遷移和適配；

業(yè)務(wù)程序遷移：業(yè)務(wù)邏輯的代碼遷移和編譯，其中對(duì)外設(shè)的控制部分需要重新適配；

運(yùn)維部署環(huán)境遷移：需要遷移到Jetson的Cloud Native。

總結(jié)

聯(lián)寶科技的EA-B200在性能上弱于Hi3559A，在運(yùn)動(dòng)相機(jī)的場(chǎng)景中應(yīng)用較少。而聯(lián)寶EA-B310不管是在AI綜合算力，還是在視頻編碼性能上，都要強(qiáng)于Atlas 200/500。雖然Jetson的生態(tài)更為成熟，但Atlas與Jetson均有著完善的生態(tài)，能帶來(lái)良好的開(kāi)發(fā)和維護(hù)體驗(yàn)。