菜单 学习猿地 - LMONKEY

VIP

开通学习猿地VIP

尊享10项VIP特权 持续新增

知识通关挑战

打卡带练!告别无效练习

接私单赚外块

VIP优先接,累计金额超百万

学习猿地私房课免费学

大厂实战课仅对VIP开放

你的一对一导师

每月可免费咨询大牛30次

领取更多软件工程师实用特权

入驻
45
0

实现人工智能落地 你还差一个“数据分析流水线”的距离

原创
05/13 14:22
阅读数 474

在智慧生产场景,生产制造商可以在生产线上利用深度学习,尤其是图像识别,将产品的质量检测自动化。比如自动检测产品表面有没有划伤、有没有零部件的缺失、有没有标签的错位。研究表明,相比人工检测,智慧检测可以大幅提高生产效率,并且大大降低生产成本。但是智慧检测只有深度学习是远远不够的,它需要一条完整的“数据分析流水线”才能落地。

“数据分析流水线”四步走

第一步,从生产线上收集大量的原始数据。这些数据可能来自于生产线上的摄像头或者来自于生产设备、连接器、探测器、传感器等等,这些数据有些是实时收集、有些是批量收集,有些数据是结构化、半结构化,也有些数据是非结构化,比如图像图形等等。

第二步,对原始数据进行大量的清理和预处理。因为这些数据杂乱无章,我们需要对它们进行识别和验证,我们要滤出数据噪音,查补缺失的数据,校正有错误的数据,我们可能还要转换数据的类型以及结构,还要对数据进行整合。只有清理过的数据才能够有效的进行数据分析。

第三步,进行数据分析。利用机器学习、深度学习对清理过的数据进行归纳总结,来判断这个场景是不是质量有问题,并把有质量问题的场景从生产线上排除出去。

第四步,可视化。

只有实现了这四步,智慧生产、智慧检测才能落地。

英特尔BigDL和Analytics Zoo应运而生

在今天的生态系统中,我们可以非常轻松地找到很多相关开源技术来实现这四个步骤。这些开源技术的大部分都和Spark、Hadoop这样的大数据平台密切相关。

比如数据收集可以用Kafka、Spark Streaming;数据存储可以用HBASE、HDFS、KUOU;数据分析可以用Spark SQL、Spark ML Lib;深度学习可以用TensorFlow、BigDL等等。

因此,人工智能要走出实验室、实现落地,需要一个完整的数据分析流水线。这个流水线的20%可能是在做深度学习,但是80%都是在做数据收集、数据存储、数据管理、数据清理、数据预处理等等,这也是为什么早前英特尔就开源了BigDL的重要原因。

英特尔BigDL是基于Spark平台之上的一个深度学习框架。首先它的功能与流行的深度学习框架,比如说TensorFlow、Caffe、Torch功能相同。

最重要的,它是构建在非常成熟的、完整的Spark数据分析平台之上,它可以为客户提供端到端的从数据收集、数据存储、数据清理、数据预处理、数据管理、机器学习、深度学习,以及最终的可视化服务。

当然有些客户说做深度学习想用TensorFlow,可以不可以把TensorFlow和Spark这样的数据平台进行整合,来帮助实现落地?

为此英特尔开源了Analytics Zoo。Analytics Zoo最大的优势就是能够在完整的、成熟的Spark数据平台之上支持不同的深度学习框架,比如说TensorFlow、Keras、BigDL等等。除此之外它还提供深度学习预训练过的模型,比如图像分析模型,文本处理文本匹配模型,异常检测模型等等,它也提供非常简单易用的API。因为Analytics Zoo是构建在Spark这样的集群之上,所以它可以进行分布式的模型训练和推理。

据了解,在过去几个月英特尔把Analytics Zoo在英特尔最新的傲腾内存技术上和OpenVINO技术上进行优化,可以将深度学习、模型训练以及推理性能进一步提升。

英特尔公司架构图形与软件集团副总裁和数据分析技术总监马子雅

英特尔公司架构图形与软件集团副总裁和数据分析技术总监马子雅表示,人工智能业务的需求牢牢地根植于数据,利用大规模数据来获取更多的洞察需要一个完整而全面的数据战略,要充分利用以数据为中心的基础架构,充分利用将数据分析与人工智能无缝衔接起来的软件创新技术。

英特尔通过BigDL和Analytics Zoo构建统一的大数据分析与人工智能平台,帮助用户开发部署行业应用,与众多合作伙伴共同推进人工智能落地。

大数据分析和人工智能创新院成立

为进一步加快集成数据分析和AI的大规模创新与部署,英特尔正式宣布在中国成立大数据分析和人工智能创新院。该创新院整合了英特尔多个部门的技术资源,集中了多位分析专家、人工智能专家和技术工程师,共同帮助合作伙伴在各垂直行业开发、优化和扩展新的AI应用,并让用户及时了解到英特尔的创新产品组合以及相关优化的库、软件与工具组合。

马子雅表示,我们一直致力于与中国市场的紧密合作,包括与学术界的合作,在开源社区的合作,与工业界许多同行以及客户的合作。创新院的主要负责人是英特尔高级首席工程师、大数据技术全球CTO戴金权先生。

 英特尔高级首席工程师、大数据技术全球CTO戴金权

戴金权表示,我们在开源社区和很多研究院,国内外的学校都有很多合作,我们希望能够提供这样的技术和平台,让我们的用户、客户和合作伙伴在上面做更多的应用,通过英特尔的软硬件技术来支持他们,让人工智能从实验室到最终落地。

据介绍,创新院的主要工作集中在以下三点:

  第一,加速人工智能在中国市场的落地,尤其是通过将它与数据分析进行整合来加速落地。

  第二,解决中国市场的最新需求,引领创新,创新用法、创新算法。

  第三,帮助中国市场更好地使用英特尔最新的软件和硬件技术。

未来,英特尔还将进一步加大与中国市场、中国生态系统以及全球生态系统的紧密合作,使更多的企业和个人得益于我们最新的科技进步,使人工智能真正的做到普惠。

写在最后,英特尔一直致力于提供端到端、全栈式人工智能解决方案。在基于英特尔至强服务器的大规模集群上和现有的数据架构基础设施,完全可以使用英特尔开发并开源的BigDL、Analytics Zoo的技术,在现有的大数据平台上构建新的大数据分析和人工智能的应用,提高资源利用率和端到端的开发效率,部署效率。

发表评论

0/200
45 点赞
0 评论
收藏
为你推荐 换一批