嵌入式Linux入門(mén)級(jí)板卡的神經(jīng)網(wǎng)絡(luò)框架ncnn移植與測(cè)試

電子發(fā)燒友網(wǎng)發(fā)布了一款試用產(chǎn)品：米爾 MYD-Y6ULX-V2 開(kāi)發(fā)板，基于 NXP i.MX6UL/i.MX6UL L處理器，該開(kāi)發(fā)板被米爾稱(chēng)之為經(jīng)典王牌產(chǎn)品。本次測(cè)試目標(biāo)是在此開(kāi)發(fā)板上進(jìn)行神經(jīng)網(wǎng)絡(luò)框架ncnn的移植與測(cè)試開(kāi)發(fā)，測(cè)試ncnn在此開(kāi)發(fā)板上的性能與應(yīng)用測(cè)試。

01.

什么是ncnn

ncnn 是騰訊優(yōu)圖推出的在手機(jī)端極致優(yōu)化的高性能神經(jīng)網(wǎng)絡(luò)前向計(jì)算框架。也能夠在移動(dòng)設(shè)備上的高性能神經(jīng)網(wǎng)絡(luò)前向計(jì)算框架。ncnn 從設(shè)計(jì)之初深刻考慮移動(dòng)端的部署和使用。無(wú)第三方依賴(lài)，跨平臺(tái)，其中手機(jī)端 cpu的速度快于目前所有已知的開(kāi)源框架。

基于ncnn，能夠?qū)⑸疃葘W(xué)習(xí)算法輕松移植到手機(jī)端和移動(dòng)設(shè)備上高效執(zhí)行，開(kāi)發(fā)人工智能應(yīng)用。以騰訊內(nèi)部應(yīng)用為例，ncnn目前已在QQ，Qzone，微信，天天P圖等上得到應(yīng)用。

ncnn支持大部分常用的CNN 網(wǎng)絡(luò)：

Classical CNN: VGG AlexNetGoogleNet Inception …

Practical CNN: ResNetDenseNet SENet FPN …

Light-weight CNN:SqueezeNet MobileNetV1/V2/V3 ShuffleNetV1/V2 MNasNet …

Detection: MTCNNfacedetection …

Detection: VGG-SSDMobileNet-SSD SqueezeNet-SSD MobileNetV2-SSDLite …

Detection: Faster-RCNNR-FCN …

Detection: YOLOV2 YOLOV3MobileNet-YOLOV3 …

Segmentation: FCN PSPNetUNet …

騰訊優(yōu)圖實(shí)驗(yàn)室是主要研究計(jì)算機(jī)視覺(jué)技術(shù)，ncnn的許多應(yīng)用方向也都在圖像方面，如人像自動(dòng)美顏，照片風(fēng)格化，超分辨率，物體識(shí)別。

騰訊優(yōu)圖ncnn提供的資料顯示：對(duì)比目前已知的同類(lèi)框架，ncnn是cpu框架中最快的，安裝包體積最小，跨平臺(tái)兼容性中也是最好的。以蘋(píng)果主推的CoreML為例，CoreML是蘋(píng)果主推的 iOS gpu計(jì)算框架，速度非常快，但僅支持 iOS11以上的 iphone手機(jī)受眾太狹窄。非開(kāi)源也導(dǎo)致開(kāi)發(fā)者無(wú)法自主擴(kuò)展功能。

02.

ncnn功能簡(jiǎn)介

ncnn支持卷積神經(jīng)網(wǎng)絡(luò)，支持多輸入和多分支結(jié)構(gòu)，可計(jì)算部分分支無(wú)任何第三方庫(kù)依賴(lài)，不依賴(lài) BLAS/NNPACK 等計(jì)算框架純 C++ 實(shí)現(xiàn)，跨平臺(tái)，支持 android ios 等ARM NEON 匯編級(jí)良心優(yōu)化，計(jì)算速度極快精細(xì)的內(nèi)存管理和數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)，內(nèi)存占用極低支持多核并行計(jì)算加速，ARM big.LITTLE cpu 調(diào)度優(yōu)化。

支持基于全新低消耗的 vulkan api GPU 加速整體庫(kù)體積小于 700K，并可輕松精簡(jiǎn)到小于 300K可擴(kuò)展的模型設(shè)計(jì)，支持 8bit 量化和半精度浮點(diǎn)存儲(chǔ)，可導(dǎo)入 caffe/pytorch/mxnet/onnx 模型支持直接內(nèi)存零拷貝引用加載網(wǎng)絡(luò)模型可注冊(cè)自定義層實(shí)現(xiàn)并擴(kuò)展。