“小应用”背后的“大改变” 爱奇艺赋能流媒体播放服务

热门视频里,“弹幕盖脸”几乎是必然事件,然而有一个地方看视频,你会发现密密麻麻的弹幕都绕开主角飘过,这个地方就是爱奇艺。

对于大家观看视频时喜闻乐见的弹幕,爱奇艺提供了蒙版弹幕服务,可以让用户实现“弹幕穿人过,爱豆心中坐”。那么,如此用心的“小应用”背后究竟是如何实现的呢?让我们一探究竟。

人工智能需要丰富的计算资源

随着人工智能技术在爱奇艺业务线的广泛应用,人工智能算法在云端的部署对包括CPU与GPU在内的各种计算资源的需求也在飞速增长。提高人工智能算法部署效率,让人工智能发挥真正的生产力,帮助业务团队快速落地应用和更好的服务,是爱奇艺技术产品团队共同努力的目标。

大量的人工智能算法训练及推理服务需求,会使云端GPU资源经常处于短缺状态;使用CPU进行的推理服务往往由于性能的原因而无法满足服务指标和业务需求。

在此背景下,爱奇艺尝试进行基于CPU的人工智能推理服务加速和优化,通过提升推理服务在CPU上的性能,完成部分服务从GPU到CPU的迁移,可以充分利用CPU服务器资源,同时节省GPU计算资源,提升用户体验。

爱奇艺基于英特尔OpenVINO工具包(主要用于将计算机图形和人工智能中的神经网络技术整合到前沿的视觉应用中),从计算机视觉的角度与AI结合,领先应用落地流媒体,并且已在爱奇艺完成数十个应用的CPU优化,基于CPU进行人工智能服务的优化和部署,数千核CPU服务的部署,等量节省一百多个GPU资源,可提升CPU上人工智能服务性能最高可达到10倍以上,降低深度学习云平台超过50%成本,提高视频行业竞争力。

优化的重要性

据爱奇艺高级总监吴杰珂介绍,爱奇艺在CPU上进行深度学习推理服务优化的方法,可以分为系统级、应用级、算法级,每一级也有对应的性能分析工具:

爱奇艺高级总监吴杰珂

系统级优化主要从硬件和平台的角度进行计算加速,方法主要包括基于扩展指令集的SIMD加速、基于OMP的数学库并行计算加速、以及硬件厂商提供的深度学习加速SDK等方法;

应用级优化主要从特定应用和服务的角度进行流水和并发的优化。通常的深度学习服务不仅仅包含推理,还有数据的预处理、后处理,网络的请求响应等环节,良好的并发设计可以有效的提升服务端到端的性能;

算法级优化主要针对深度学习模型本身,利用诸如超参数设置、网络结构裁剪、量化等方法来减小模型大小和计算量,从而加速推理过程。

线上的实时业务、以及按需的及时生产,这些大量的需求只有在优化后才能得到满足。以蒙版弹幕为例,目前这个AI服务已经有不少剧目在试运行了,但如果片源发生变化,就需要重新生产。能及时生产,就能及时更新,但这个“及时更新”意味着大量的AI模型推理需求。

蒙版弹幕是通过机器视觉分析出剧集中主要角色的轮廓,并让弹幕绕过人物,可以让观者的体验更好,其核心是图像语义分割,用OpenVINO优化之后,推理处理能力大约能有3~4倍的提升,这样生产能力就得到了大幅提高,更新的频率就可以更快,能更加及时地为用户提供有蒙版弹幕功能的剧目,爱奇艺高级总监刘俊晖说道。

爱奇艺高级总监刘俊晖

不仅如此,爱奇艺的另一个用心“小应用”也是利用CPU资源来实现的,那就是AI雷达。AI雷达这个服务是从TV端开始上线的,用户可随时在剧集中开启,通过智能识别可以识TA、识物、识音乐,用户还能即时扫码解锁产品信息并可实现购买行为等。AI雷达刚开始时调用量就还不错,随着用户使用量的增加,峰值服务调用量陆续增加到了3倍。由于AI雷达是实时请求的服务,需要让TV用户快速得到反馈结果,所以需要按全量部署资源。

如果服务部署在GPU平台上,协调大量的GPU资源用于满足峰值服务调用会产生很大的浪费,因为这些GPU的利用率在非峰值期间会很低,且GPU板卡价格很高。对比的话,CPU则相对容易进行负载平衡调度,价格也比GPU低许多。

唯一的问题就是没有优化的服务在CPU上的延时性能没法满足需求。在使用了英特尔的OpenVINO进行优化之后,AI雷达服务中最核心的人脸检测模型和人脸识别模型,延时性能上可以有大约6~8倍的提升,使得AI雷达部署在CPU上成为可能。

强强联合 爱奇艺赋能流媒体播放服务

在合作方面,爱奇艺与英特尔的合作从一开始就是比较深入的,合作过程中不断更进一步。英特尔在人工智能领域提供了许多硬件加速方案,有CPU、FPGA、Movidius等多种,而爱奇艺与英特尔的合作目前已经覆盖所有这些硬件加速方案。

首先,以推理最常使用的CPU方案为例,为了更好地利用最新CPU的特性,爱奇艺会以最快的速度引入英特尔最新的Cascade Lake CPU,该平台支持的VNNI指令集,可以专门对视频推理实现加速服务,期望会比原来有更大的性能提高,使得更多类型的模型可以跑在CPU上面。另外,爱奇艺也正在评估傲腾的存储功能,希望大幅降低存储类型应用的成本。

其次,异构资源合作扩展到了FPGA。爱奇艺在使用CPU加速人工智能推理服务后不久,便开始评估在英特尔的FPGA上加速人工智能推理服务,现在已经有一些模型在英特尔FPGA上跑起来了。

写在最后,目前,爱奇艺已完成开发的多种性能自动化评估工具、以及延时与吞吐最优部署自动化评估工具,也大幅提升了对不同人工智能算法加速与优化的开发效率。同时爱奇艺技术产品团队在服务的弹性和优化调度、部署参数的自动优化选取等方面,也完成了许多优化工作。后续会继续深入优化,以充分发挥云平台的计算资源和能力,加速人工智能推理服务的在业务上的落地,从而赋能流媒体播放服务提升用户体验。

Image placeholder
xyb851
未设置
  23人点赞

没有讨论,发表一下自己的看法吧

推荐文章
信泰人寿“去IOE”背后的故事

十年前,以IBM小型机、Oracle数据库和EMC存储设备为代表的IT基础体系,被广泛应用在全球各大企业当中,并长时间垄断了国内商业数据库领域,紧攥着中国信息安全的命脉。彼时,“IOE”三大巨头,稳坐

一站式入口服务|爱奇艺微服务平台 API 网关实战

写在前面在互联网业务微服务化改造过程中,按照以往的服务治理体系,各服务需要单独实现限流、鉴权、监控、日志等通用功能,构建入口时资源申请、工单批复、多系统配置等一系列流程对精力消耗极大,学习成本较高

DTCC2019 爱奇艺实时数据传输服务

数据库间实时数据传输服务可简化业务系统的数据架构,使其专注于业务开发。DBIO是爱奇艺研发的数据库间实时数据传输服务,用于同异构数据库间实时复制与数据变更捕获,是业务系统数据共享的核心通道。作者:郭磊

干货丨爱奇艺CDN IPv6系统配置

1.背景  IPv6是“InternetProtocolVersion6”(互联网协议第6版)的缩写,是互联网工程任务组(IETF)设计的用于替代IPv4的下一代IP协议。IPv4地址资源紧缺严重制约

SACC2019:爱奇艺的大数据中台战略(附演讲实录)

  孙斌爱奇艺高级总监主要负责爱奇艺的大数据中台、商业智能、内容智能制作等业务。在互联网产品设计和研发方面有十多年经验,曾就职于微软、hulu、雅虎等公司。摘要:爱奇艺的业务已经从单一的视频业务发展为

爱奇艺RND框架技术探索——架构与实现

前言RND,全称ReactNodeDesktop,起源于RN在爱奇艺PC端的实现,采用ReactJSframework+Node.jsruntime+nativeUIengine架构,目标是成为最轻量

爱奇艺的数据库选型大法,实用不纠结!

来源:rrd.me/fgGsG我们进行数据库选型的时候要考虑哪些问题?有哪些需求?待选用的数据库是否和需求对得上?是不是直接可以拿来用?需不需要一些额外的开发?这些都会在本文的分享中提及。一、数据库技

Android篇 | 爱奇艺App启动优化实践分享

导读性能优化一直都是各个APP推进中的重点、难点,爱奇艺App也不例外。在此之前,爱奇艺AppAndroid版的启动速度虽然一直处于同类App领先的水平,但优势距离其他同类的APP距离一直很小。面

Ubuntu 中使用 Nginx+rtmp 搭建流媒体直播服务.md

一、背景本篇文章是继上一篇文章《Ubuntu中使用Nginx+rtmp模块搭建流媒体视频点播服务》文章而写,在上一篇文章中我们搭建了一个点播服务器,在此基础上我们再搭建一个直播服务器,二、配置rtmp

RTSP、RTMP网络摄像头互联网无插件直播视频流媒体服务器EasyNVR在windows上无法启动问题排查

背景需求随着雪亮工程、明厨亮灶、手机看店、智慧幼儿园监控等行业开始将传统的安防摄像头进行互联网、微信直播,我们知道摄像头直播的春天了。将安防摄像头或NVR上的视频流转成互联网直播常用的RTSP、RTM

安防摄像头网页无插件直播流媒体服务器EasyNVR在IE浏览器下的 pointer-events- none前端兼容性调试

背景说明由于互联网的飞速发展,传统安防摄像头的视频监控直播与互联网直播相结合是大势所趋。传统安防的直播大多在一个局域网内,在播放的客户端上也是有所限制,一般都需要OCXWeb插件进行直播。对于安防监控

视频流媒体服务器对接宇视摄像机OCX插件出现error code 14001错误分析

背景需求随着雪亮工程、明厨亮灶、手机看店、智慧幼儿园监控等行业开始将传统的安防摄像头进行互联网、微信直播,我们知道摄像头直播的春天了。将安防摄像头或NVR上的视频流转成互联网直播常用的RTMP、HTT

RTSP-ONVIF协议安防视频监控流媒体服务解决方案EasyNVR在Windows重启时提示“进程意外终止”问题解析

什么是ONVIFOpenNetworkVideoInterfaceForum,开放型网络视频接口论坛,以公开、开放的原则共同制定开放性行业标准。是一个提供开放网络视频接口的论坛组织。ONVIF规范描述

安防摄像头RTSP/Onvif协议网页无插件直播视频流媒体服务器EasyNVR之按需直播如何有效利用最大上行带宽

介绍一般情况下,直播默认的播放方式是非按需直播,但很多情况下,不少用户会选择按需直播。按需直播能够减少带宽流量和服务器性能占用,最优的提高服务器的使用效率。下面我们来系统介绍下EasyNVR中按需直播

开源社区的技术债:写代码的“码农”VS 删代码的“清道夫”,谁更该被嘉奖?

大数据文摘出品编译:楚阳、橡树、钱天培对于开源项目来讲,写新代码的贡献者不一定是好程序员,但不会删代码的程序员一定不是合格的程序员——因为“删代码”才是使开源软件项目的代码简洁高效的关键所在。Mong

看得见的“岛”与看不见的“智慧”

俗话说:“耳听为虚,眼见为实”。都说华为把福州海峡国际会展中心所在的小岛,打造成了“智慧岛”。您亲眼所见了吗?  我亲眼所见了!并且有图有真相!我来带您全方位的去逛一逛!  您看得见场馆大门的闸机,但

万兆的“强项”和千兆的“软肋”

“5G+Wi-Fi6”珠联璧合,重新定义了无线网络;“VR/AR+4K”持续发展,催生了更多的高带宽应用。技术革命的浪潮已经开启,翻倍的传输速率、海量的数据接入和复杂的网络管理,给园区网络带来了前所未

如何构建“小数据”驱动的泛场景智能应用体系?

张真百信银行首席技术架构师&AILab负责人目前负责基于自然语言的动态银行研究与落地,关注AI技术与金融,办公,生活场景的深度融入;开源软件UAVStack创始人,面向智能运维提供解决方案,AIOps

为什么说IPA智能流程自动化是企业IT的下一波浪潮?

提到IPA,可能很多人会立刻想到RPA。RPA,即机器人流程自动化,是企业IT过去两年最热门的技术之一。仅在2018年,就有三家公司拿到了总额超过十亿美金的风投,包括AnywhereAutomatio

海量数据AtlasDB:把“数据库好用”这件事做到极致

导语:坚守初心、不辱使命,近期海量数据研发的企业级数据库AtlasDB获得了市场的普遍关注。这款以“好用”著称的国产数据库产品,不仅承载着海量数据公司对技术创新的坚持和投入,更凝结着一群拥有“工匠之心

阿里云小蜜对话机器人背后的核心算法

0.对话系统简介 对话系统的一般架构如图: 图1:对话系统一般架构 这是我们所熟知的对话系统框架,这里面主要有:NLU自然语言理解,DM对话管理,NLG自然语言生成3个主要模块,DM里面有dialo

AI 计算竞争升级,参访平安科技背后的硬实力

平安科技的四块科技版图,分别是云、认知、区块链和人工智能。所有的AI公司在AI领域中最核心的壁垒不是技术,因为技术都是人创造的,打磨团队就可以。核心的壁垒应该时间、业务和场景。智能科技的涌现、大数据

腾讯财报背后的小秘密:转型路上的未知

8月14日,腾讯发布第二季度财报,不凑巧的是,当日欧市盘中,美国2年期与10年期国债利率发生2007年来首次倒挂,引起市场对经济衰退的恐慌,美股三大指数均暴跌3%。8月15日,中国香港恒生指数低开1.

从跟随者到开拓者,阿里云数据库角色变化背后的机遇与挑战

数据库经过40多年的发展与变迁已经改写了格局,在开源、云端浪潮之下曾经的数据库霸主Oracle也已经跌下王座,不断向着云与智能化发展,新的厂商也获得了各自机会,在云数据库时代是一个百花齐放、百家争鸣的

云徙助力良品铺子「双11」:成为5.6亿背后的技术力量

每逢双十一时节,品牌的种草之心被推到顶峰。在密集的信息交汇中,消费者希望获取有价值的消费决策,品牌则希望被广泛看见、被坚定选择,此时,格外凸显出中台+精准营销的重要意义。双11购物狂欢节”已走过11个