专注边缘智能计算及应用,加速AI产业化部署,提高开发效率

日期:2021-01-15 12:54:12 来源:互联网 编辑:小狐 阅读人数:330

随着越来越多的物联网终端设备在各个行业加速部署,边缘计算的重要性日益凸显,AI算法也正在逐步从云端下沉到边缘节点中去运行。据IDC预计,到2025年,全球将有1500亿个终端设备接入网络,其中超过70%的数据将在网络边缘侧被结构化处理。

36氪近期接触到的OPEN AI LAB(开放智能)成立于2016年,专注边缘智能计算及应用,边缘AI推理框架Tengine和AI应用及部署平台OmniMaster等软件产品,并以此为基础,为行业客户完整软硬件解决方案,加速AI产业化部署。

聚焦边缘端部署痛点,推出边缘AI推理框架Tengine

由于边缘计算相较于过去单纯的云计算来说成本低、实时性好,大量边缘计算节点开始部署,边缘节点也在逐步实现智能化。但在推进过程中,AI算法模型从云端到边缘端的迁移部署环节过程繁杂,痛点具体表现为:

芯片及硬件多样性使得前端适配兼容问题凸显:由于对性能、接口、功耗、价格、可靠性、环境适应性等因素的要求千差万别,大量AI芯片及硬件开始涌现,特别是NPU及RISC-V架构的推进,生态日益碎片化,但目前缺乏合适的中间层和计算库及统一的平台和稳定接口,使得跨硬件向上兼容成为难点。

软件层面的训练框架多样性使得模型迁移效率问题显现:在把云端上训练好的AI算法模型迁移到算力有限的前端硬件过程中,算法人员需要做大量模型量化、优化甚至算子层面的调整工作,过程繁杂,更非其擅长的领域。

这些问题一方面使得芯片公司不仅需要在硬件层面提升算力,还需要向上延伸各种配套AI应用的SDK工具,帮助AI算法者有效利用芯片的算力,另一方面导致算法公司为了避免云端模型迁移到前端出现性能差、精度低的问题,需要花费大量成本投入到边缘侧底层的适配优化中去。

于是大量AI科技初创公司在寻找到算法应用场景后做全栈工程化,包含了底层芯片及硬件的选型甚至自研,数据采集、算法训练、优化、部署,甚至业务SaaS,从芯片到云,形成烟囱式的垂直化,这种模式兼容性差、成本高。

因此从行业整体上来看,问题就体现为产业链分工并不清晰。解决好这一行业痛点是实现AI在各行业规模应用的关键突破口。由此可见,边缘AI计算产业链亟需可将算法和芯片连接、开放兼容的中间件,以细化行业分工程度。

基于此,OPEN AI LAB自2017年开始设计边缘AI计算框架Tengine,并对Tengine进行了项目开源,其GitHub Star 已超过4300枚,目前也面向企业客户商业化的Tengine产品及服务。

目前Tengine向下兼容几乎所有主流国产智能芯片,向上支撑主流训练框架及网络模型。Tengine在产品架构上主要具有以下特点:

算力兼容:跨芯片统一API接口,解决应用程序在不同平台上切换底层硬件接口的问题,用户使用Tengine可同时调用CPU、NPU、GPU等不同计算单元来完成AI异构计算。

框架兼容:Tengine兼容支持TensorFlow、Caffe、MXNet 、PyTorch、ONNX等业内主流框架。实际过程中,Tengine会将其训练框架转换为适配底层的Tengine模型,降低不同训练框架在面对不同硬件及场景的迁移成本。

迁移加速:针对AIoT应用流程中的算法量化重训练及前处理、后处理等繁琐环节,Tengine配置了相应的图编译、图优化、模型量化、精度调优及算法库等一系列工具包,简化和加速AI算法从云端到嵌入式边缘设备的迁移过程。

OPEN AI LAB创始人兼CEO金勇斌向36氪表示,Tengine之于AIoT,犹如Android之于移动互联网。Tengine使得上层应用程序与底层硬件基于中间的平台实现适配兼容,从此,算法应用不需要再关心底层芯片,如同App可以不必关心APP将在哪款手机上运行。

OmniMaster:降低门槛,帮助企业实现AI算法的云端训练及边缘部署

AI算法边缘端部署痛点通过Tengine得以解决,但在算法模型在部署到前端之前,一方面先要在端完成数据标注清洗、模型训练、针对边缘节点上的芯片做精度量化优化、性能评测等一系列流程后,再将算法向前端边缘设备部署。

另一方面,算法的训练数据通常分布在私有化业务场景中,终端企业客户希望保证数据的私密性和安全性,而终端企业客户又往往不具备相应的技术能力,所以AI算法应用推进较为缓慢,成本较高。

基于此,公司进一步推出了AI应用及部署平台OmniMaster,OmniMaster可作为自动化工具帮助客户实现场景确认、数据清洗标注、模型训练、量化优化、边缘部署等环节,帮助AI技术基础薄弱的企业快速实现AI场景应用,为企业节省成本,提高效率,方便企业将算法模型从云端部署至边缘端。

如此一来,企业的基于Tengine的边缘节点可像手机上安装、升级App一样不断后装第三方算法,算法运行后与OmniMaster联动基于现场数据迭代学习、持续提升精度。

举例来说,过去设备制造与方案商陆续将人脸、车牌等目标类别相对固定的算法固化到IPC(网络摄像机)或边缘盒子中,实现硬件与软件一体化。这种事先预置固化算法的方式很难实现算法的快速升级,而部署Tengine的边缘节点则可以更加灵活地配置、升级算法。

与芯片厂商、集成商等深度合作,加速业务在多行业落地

公司基于开放的边缘AI计算框架Tengine建立广泛的合作伙伴及者生态,以AI应用及部署平台OmniMaster帮助行业客户加速AI应用。

目前,已有近30家智能芯片厂商与OPEN AI LAB在Tengine上深度合作,包括紫光展锐、晶晨半导体、瑞芯微、全志科技、地平线、寒武纪、飞腾、龙芯、恒玄、赛昉科技、芯来科技、芯驰等等,实现在Arm, MIPS, RISC-V等各类CPU及NPU上对上层算法的兼容。计算机视觉上,Tengine支持Yolo等多种网络模型的各种版本,也与OpenCV社区形成战略合作关系。

公司已经在交通、能源、农牧、制造、家居等多个行业领域形成完整解决方案。例如交通出行领域,车辆配备的DMS需要通过摄像头获取车内和车外的视觉数据,实时监控驾驶员和乘客的状态,并识别是否有闯红灯、压线等违章行为。为了实现智能化识别,让各类AI算法实时运行在低功耗AI算力有限的车载DMS(Driver Monitor System,驾驶员监控)盒子上,并实现跑得上(兼容性高)跑得动(实时性好)跑得准(精度损失小)某出行服务企业选用Tengine作为DMS的底层框架,兼容多种芯片,性能方面平均提升50%以上,部分硬件的能效比提升100%以上。

智能穿戴和家居领域,基于Tengine加速的本地命令字识别算法可在极小的微控制器(MCU)上运行,客户可以通过OmniMaster基于自身需求采集针对性的语音数据、自动化训练,一键下发,快速赋予MCU以差异化语音命令功能,部分智能家电品牌企业正基于此技术将本地语音命令应用在智能穿戴、智能家居、陪伴玩具等产品上。

业务落地方面,针对能源、农牧、制造等领域的头部客户,OPEN AI LAB通常与其集成商合作,为企业客户包括前端边缘智能化升级改造、Tengine和OmniMaster边、云联动的私有化部署解决方案,帮助企业在生产安全、质量监控等方面快速实现智能化,提高生产效率。例如在钢铁冶金行业,基于Tengine的边缘AI实现对钢包的红外热成像检测、洁净度判断,和对天车挂钩进行监测以及对铸坯缺陷识别等。

此外,为了让未来的AI者通过使用Tengine/OmniMaster,学习、理解、掌握计算机视觉与语音识别技术的和应用创新,OPEN AI LAB还向教育行业推出了EAIP(Edge AI Innovation Platform)EAIP将行业真实案例引入教学,学生通过EAIP理解与掌握行业+AI应用实践。

谈及AI在各行业的应用,金勇斌表示,从2018年开始,他和团队跑过油田、下过钢厂、蹲过猪圈、飘过海洋,去过的现场越多,越觉得AI需要“接地气”产业链必须要有更加清晰的分工,通过上下游分工协作来满足客户的多样性需求,而不是家家都要成为华为或Nvidia。

OPEN AI LAB聚焦边缘AI计算框架与AI应用与部署平台,将与上下游的芯片、算法、方案、集成与部署的伙伴一起构建良好的产业生态。

发展规划

OPEN AI LAB目前有100余人,70%以上为产品研发人员,公司创始人兼CEO金勇斌曾任Arm中国市场营销与生态发展副,拥有近20年边缘计算软、硬件技术与产品研发、产品、市场营销、大客户、新业务拓展经验。团队核心成员来自Arm、Broadcom、华为、中兴等芯片与公司。

本文相关词条概念解析:

算法

算法是指解题方案的准确而完整的描述,是一系列解决问题的清晰指令,算法代表着用系统的方法描述解决问题的策略机制;它是求解问题类的、机械的、统一的方法,常用于计算、数据处理(英语:Dataprocessing)和自动推理。可以理解为有基本运算及规定的运算顺序所构成的完整的解题步骤。或者看成按照要求设计好的有限的确切的计算序列,并且这样的步骤和序列可以解决一类问题。算法中的指令描述的是一个计算,当其运行时能从一个初始状态和(可能为空的)初始输入开始,经过一系列有限而清晰定义的状态,最终产生输出并停止于一个终态。一个状态到另一个状态的转移不一定是确定的。随机化算法在内的一些算法,包含了一些随机输入。

延伸 · 推荐

AI端计算应用,并在设备端加速计算,AI开发感兴趣的小伙伴报名围观

位来 发自 凹非寺近年来,端侧AI在技术和应用方面都取得了快速发展,端计算模型已应用到各行业的AI实践中。如部署在野外气象观测点用于环境监测,响应垃圾分类政策用来打造智能垃圾桶等等。但端计算也面临一些...

网友评论
相关文章
ModelArts,是面向AI行业落地的AI开发平台

ModelArts,是面向AI行业落地的AI开发平台

ModelArts,是面向AI行业落地的AI开发平台[详情]

在骊歌行这部剧中,能够有一些讨论度的,有趣又好笑

在骊歌行这部剧中,能够有一些讨论度的,有趣又好笑

在骊歌行这部剧中,能够有一些讨论度的,有趣又好笑[详情]

完成整个云端的AI训练和推断产品部署,中国芯,邃思,背后主要的原因是什么,我们采访了燧原科技创始人兼COO张亚林

完成整个云端的AI训练和推断产品部署,中国芯,邃思,背后主要的原因是什么,我们采访了燧原科技创始人兼COO张亚林

完成整个云端的AI训练和推断产品部署,中国芯,邃思,背后主要的原因是什么,我们采访了燧原科技创始人兼COO张亚林[详情]

网站地图    Copyright     2016-2018  资讯网   All rights reserved.