阿里开源首个移动AI项目 淘宝同款推理引擎

2024-03-04 阅读512 评论0 喜欢0

【叶紫网2019年5月6日】刚刚,阿里巴巴宣布,开源自家轻量级的深度神经网络推理引擎MNN(Mobile Neural Network),用于在智能手机、IoT设备等端侧加载深度神经网络模型,进行推理预测。

这是阿里开源的首个移动AI项目,已经用于阿里手机淘宝、手机天猫、优酷等20多个应用之中。覆盖直播、短视频、搜索推荐、商品图像搜索、互动营销、权益发放、安全风控等场景。在IoT等移动设备场景下,也有若干应用。

阿里表示,在iOS、Android的CPU、GPU性能上,MNN已经普遍领先业界。

他们选择深度神经网络模型MobileNet V2和SqueezeNet V1.1进行了测试。

Android方面以小米6为例,MobileNet V2上耗费时间约为27毫秒,SqueezeNet V1.1上耗费约为25毫秒,领先业界至少30%;

iOS方面以iPhone 7为例,MobileNet V2上耗费时间约为15毫秒,SqueezeNet V1.1上耗费约为14.8毫秒,领先业界至少15%。

淘宝端智能无线科技技术专家离青说,MNN开源之后,每隔两个月都会进行一次更新,发布经过淘宝应用验证的版本。

MNN的两大功能与四大特点

基于淘宝和达摩院的研究成果,阿里巴巴在2017年10月正式组建了MNN团队。

经过淘宝技术部、搜索工程团队、达摩院团队、优酷等各方力量的打磨,以及双11和集五福等重大业务项目的考验,在离青看来,MNN已经是一个成熟的推理引擎了。

现在,MNN可以提供模型转换和计算推理两部分功能。

模型转换部分帮助开发者兼容不同的训练框架。

当前,MNN已经支持Tensorflow(Lite)、Caffe和ONNX,PyTorch/MXNet的模型可先转为ONNX模型再转到MNN。而且,也能通过算子融合、算子替代、布局调整等方式优化图。

计算推理部分致力于高效完成推理计算。

为了更好地完成对模型的加载、计算图的调度,以及各计算设备下的内存分配、Op实现等任务。

他们在MNN中应用了多种优化方案,包括在卷积和反卷积中应用Winograd算法、在矩阵乘法中应用Strassen算法、低精度计算、多线程优化、内存复用、异构计算等。

MNN架构设计

离青介绍称,在这样的架构设计下,MNN具备了以下的四大特点:

轻量性:针对端侧设备特点深度定制和裁剪,无任何依赖,可以方便地部署到移动设备和各种嵌入式设备中。

通用性:支持Tensorflow、Caffe、ONNX等主流模型文件格式,支持CNN、RNN、GAN等常用网络。

高性能:不依赖任何第三方计算库,依靠大量手写汇编实现核心运算,充分发挥ARM CPU的算力。比如,在iOS设备上,可以开启GPU加速(Metal),常用模型上快于苹果原生的CoreML。

易用性:有高效的图像处理模块,覆盖常见的形变、转换等需求,一般情况下,无需额外引入libyuv或opencv库处理图像。

MNN不仅支持回调机制,可以在网络运行中插入回调,提取数据或者控制运行走向;还支持只运行网络中的一部分,或者指定CPU和GPU间并行运行。

接下来,阿里巴巴将会在维持MNN轻量、通用、易用、高性能等方面特点的情况下,进一步加强在端侧核心算法的投入,降低开发者使用门槛,探索如何在云+端结合的情况下,发挥出更强的AI能力。

不只是科技数码,还有一些有趣的生活分享给大家

  • 文章

    0

  • 浏览

    0

  • 获赞

    0

赞一个、收藏了!

分享给朋友看看这篇文章

热门推荐