百度推出端侧推理引擎PaddleLite,支持华为NPU在线编译|亚博APP手机版

时间:2021-07-31 08:49

本文摘要:上面也更完美。目前,Paddle、Lite已经反对ARMTCPU、MaliGPU、AdrenoGPU、华为NPU、FPGA等多个硬件平台,是目前首个反对华为NPU在线编译的深度自学推理小说框架。随着技术的变化,手机等移动设备已经成为最重要的当地深度自学载体,但越来越异构化的硬件平台和简单的终端外侧用途,挑战终端外侧推理小说引擎的结构能力,终端外侧模型推理小说经常面临计算能力和内存的允许。

亚博App

上面也更完美。目前,Paddle、Lite已经反对ARMTCPU、MaliGPU、AdrenoGPU、华为NPU、FPGA等多个硬件平台,是目前首个反对华为NPU在线编译的深度自学推理小说框架。随着技术的变化,手机等移动设备已经成为最重要的当地深度自学载体,但越来越异构化的硬件平台和简单的终端外侧用途,挑战终端外侧推理小说引擎的结构能力,终端外侧模型推理小说经常面临计算能力和内存的允许。为了需要原创的反对很多硬件结构,在这些硬件上构建了人工智能应用于性能优化,百度飞桨发表了末端外侧推理小说引擎的Lite。

通过建模基础计算模式,加强了各种硬件、分析方法、Datalayout混合计划继续执行的能力,确保了宏观硬件的反对能力,符合人工智能应用于落地移动终端的严格拒绝。PaddleLite在结构上新升级,重点减少了多种计算模式(硬件、分析方法、Datalayout)的完善设计,原始分担深度自学模式在不同硬件平台上的推理小说配置市场需求与其他独立国家的推理小说引擎不同,Paddlellelitel与飞桨训练框架及其对应非常丰富的原始算子库相结合,基础算子逻辑与训练完全一致,模型几乎没有风险,可以慢慢反对更多模型。其结构主要有Model层,必须拒绝接受Paddle训练的模型,通过模型优化工具转变为NaiveBufer类似格式,以更好地适应环境移动终端的配置场景的Program层是Operator序列中包含的执行程序的原始分析模块,主要包括TypeSystem、SSAGraph和Passes等模块值得一提的是,末端外推理小说发动机在人工智能应用于落地环节具有最重要的影响,需要关系到用户的体验。

亚博App

由此可见,Paddle、Lite的上市大大优化了终端外推理小说引擎的性能,同时推进了AI应用于终端的落地。原始文章允许禁止发布。

下一篇文章发表了注意事项。


本文关键词:亚博APP手机版,百度,推,出端,侧,推理,引擎,PaddleLite,支持

本文来源:亚博App-www.cashewstyle.com