微软张若非:搜索引擎和广告系统,那些你所不知的AI落地技术

这两年,被誉为“ 皇 冠上的明珠”的自然语言处理领域发展愈发火热,成为了业内新宠,而 搜索和广告这两大老牌技术领域似乎已被大家遗忘。其实,这两大接地气的工程领域仍是各企业竞相抢夺的市场之一。

近日,AI科技大本营采访了美国微软人工智能和研究部高级研究总监张若非。他现在带领团队负责必应广告平台算法、机器学习模型及大规模离线和在线系统的研发和运营,支持包括必应和雅虎 搜索引擎、亚马逊、AOL 等在内的众多应用。加入微软前,张若非任 Yahoo 研究院 主任科学家和研发总监,管理数据挖掘和相关性优化部门,开发运营了雅虎面向全球市场的 搜索及显示广告算法和系统。

微软张若非:搜索引擎和广告系统,那些你所不知的AI落地技术

采访中,张若非从微软的必应广告平台、 搜索引擎技术与应用出发,谈了他多年的研发工程实践经验,以及对未来AI的技术发展趋势、值得 关注的技术领域等问题的看法。

以下为采访内容实录:

AI科技大本营:微软必应的大规模广告系统中是否运用了最新发表的研究成果?未来又有哪些新技术研究会有更多应用机会?

张若非:我带领的团队并不是纯研究型团队,研究的问题大多来源于产品业务中真正面临的一些难题,针对这些难题进行科研攻关并将研究成果嵌入到产品中。比如最近发表在KDD 2019上的最新工作,发表论文不是团队核心和唯一目的,是在解决问题的过程中,团队提出了新颖的想法、有效的解决方案,才将这些成果整理后发表。而目前大部分研究成果已经部署于产品中,只不过部署规模有所不同,有的已经完全部署,有的还在运行调优阶段。

虽然大家已经很熟悉 搜索引擎和广告系统,似乎这两个领域很少能带给大家炫酷的感觉,但是现在深入研究的新模型和方法在拓展新业务或场景中还是有很多可能的,比如强化学习在内容生成领域中应用发挥的价值。

以前,大家对强化学习研究与应用的了解大都围绕游戏领域,现在,我们团队已将深度强化学习应用于自动生成广告任务中。根据广告商的网页,系统化地理解网页中可提供的服务、销售的产品类型,从而帮助自动生成广告标题、描述等。当然,这些任务也可以通过NLP中诸如Seq2Seq、BERT等效果不错的深度学习模型来完成,但是,除了生成内容的质量,还需要有一些“Reward”因素可以给模型生成的结果一定的牵引作用,如点击率,从而知道生成的结果对用户是否有吸引力。

如果我们在广告系统中加入一个点击率模型产生广告生成模型的奖励,通过用户的点击行为评估广告内容,评判广告的吸引力,从而不断提高广告生成模型的性能以直接提升业务指标。深度强化学习是我们所选择的技术方法,强化学习中的「反馈」可以引导我们有方向的优化广告系统,提高广告质量,预测用户点击的期望值。

通过实验的对比评估,我们发现,让用户在深度强化学习生成的广告和人工生成的广告进行选择,52%用户认为深度强化学习系统生成的广告更有吸引力, 30%多的用户认为人工生成的广告更好,10%的用户认为两类广告无差别;而广告投放后,再对比 CTR指标,发现深度强化学习方法有 12 %提升。所以,通过强化学习中的「反馈」与「激励」引导内容生成,未来在广告系统或推荐系统中的应用是值得 关注的方向。

AI科技大本营:如何看待从技术研究到落地的鸿沟问题?

张若非:首先,从不断的调参、系统优化、增加的规则到处理诸多边缘问题,现有的产品系统、技术架构是经过多年的打磨而成的,新技术、新系统即使有某些效果的提升,也无法做到完全替换现有系统,保证已有的效能,所以,新技术是不断迭代,与现有系统 结合,加持于整个系统中的,这是新技术落地的常见方式之一。

其次,在新技术不断实验和快速迭代中,团队也会不断发现新问题和解决问题,比如不断调参调优来优化深度学习模型,使之逐渐达到现有系统的性能;而除了模型本身的优化工作,系统调优也是一个大问题,一些新模型的计算量都非常大,高延迟、高消耗限制了部署的可能性,团队需要和负责系统的团队一起合作做很多优化工作,提高系统性能,把系统处理速度、规模、存储及稳定性等性能指标逐渐提高至现有产品系统的标准,这些都是把研究落地到产品中需要重点 关注和解决的实际问题。

AI科技大本营:目前的搜索引擎技术有哪些提升空间?

张若非: 搜索引擎虽然已经存在很长时间,但是,一直以来我们都没能真正的理解和回答用户的很多问题。传统的 搜索引擎中,当用户输入一个问题后,会返回一些链接,用户自己选择哪个链接是自己需要的,往往真正得到解决一个问题的答案,需要多次浏览多个网页。比如,你想问“小孩的安全座椅怎么安装”、“怎么更换淋浴花洒”等此类任务场景下, 搜索引擎可能会告诉你安全座椅的介绍、种类或商家等信息,它完成的是一个检索工具的使命,但未必能简洁扼要地回答你的问题。

现在的 搜索引擎会直接给你需要的答案吗?告诉你答案后,它能真正理解你的提问意图,进而提供你完成这件事后续需要的信息吗?比如,通过你的提问,分析你的问题和意图,当你想要一个驱动程序时,告诉你具体操作的步骤与方法?这是大家现在在研究和解决的问题之一。

除了真正理解用户的问题,直接提供答案,当一些问题或知识存在于不同体系、不同组织,有一定距离时,需要我们可以再组织、挖掘其中的关系,这说明知识图谱技术仍需不断拓展,以支撑 搜索引擎提供更好的服务。

深入用户在 搜索引擎中输入的问题本身,抽取相关信息,真正理解用户意图,进行个性化分析,预测用户需求,也是现在的主要工作之一。比如,用户输入亚马逊,一般情况下会给出亚马逊公司相关的信息,但如果近期 搜索这个词,大家可能更 关注的是亚马逊雨林大火,所以,在具有一定模糊性、特殊性情况下, 搜索引擎如何能更好的理解用户意图,把知识以更加结构化、系统化形式组织并呈现,无论是技术方法还是产品逻辑,都还有很大的提升、改善的空间。

AI科技大本营:如果企业决定在业务系统中使用新技术,有什么建议?

张若非:第一,如果企业想利用这些最新的技术,可以在企业内部专门设立相关团队或部门,负责训练、评估新模型,这也意味着投入相应的人力和算力成本是必然的;数据可以用公开数据集,也可以 结合企业特有的一些数据,再放到企业的部分业务中进行调优、评测。

第二,深度学习模型的训练推理涉及大量的计算,系统的延迟成本是非常昂贵的,所以我们通常会采用teacher-student model,teacher model 有很高的capacity,比 student model包含更多的信息和规则,student model 则比较简单,训练和推理速度都比较快, 结合teacher 和student 两个模型的特点,不失为一个值得尝试的方法。目前很多深度学习模型在线推理还无法满足实际产品的延迟要求,所以,训练一个轻量级的model在真实部署应用中是更现实可行的方法。

以上这两点 建议的前提都是如果企业决定在业务系统中使用不断出现的新技术。但是,企业一定是根据自己的具体需求,要解决的任务来决定。目前模型效果如何?是否可以切实提升产品效果?提升的空间有多大?最后,还有新技术的投资与回报比的问题?无论是否使用新技术,对于一个企业来说,研究了解新技术还是必要的,新技术的强项与弱点,适合哪些问题等等,如果没有了解与不断学习,掉队是必然的。

AI科技大本营:未来,还有哪些热门研究问题?

张若非:Pre-training 仍是目前的的热门研究领域之一,它为我们打开了无监督学习这扇窗,我们可以用海量、无标注数据学习特征表示,我们也在一些NLP任务中看到了效果。未来,Pre-training和Fine-tuning都是领域内的热门研究方向,诸如通过优化training来提高速度、如何做 online Inference、提高系统层面的效率等问题 ,也都是值得大家 关注的研究问题。

第二个值得 关注的方向是图神经网络。目前,深度学习系统处理的数据大多是声音(一维数据)、图像(二维数据)、文字(序列数据)。在实际产品中我们会遇到更多复杂的、非标准和规则的半结构化数据,如何用结构化方法学习是目前图神经网络重要研究的问题,在工程实践中也会面临一些挑战。

第三个值得大家 关注的是联邦学习,研究如何保护数据安全和所有权,以及用户数据隐私的问题。随着大家对数据越来越重视,很多公司声明,不会将用户数据上传至服务器,也不会追踪用户的使用数据,这在很大程度上给公司的业务带来了很大的挑战。如何在保护用户数据隐私的情况下又不影响模型训练性能和业务指标,是目前国内外很多公司迫切想要解决的问题,比如在广告系统中,推荐和个性化业务都需要基于用户的历史记录,保护了用户数据,必然对业务平台造成影响。因为对这个问题解决方案的迫切需求,联邦学习成为我们研究的热点。

用户提问

采访前,我们向CSDN读者提前收集了一些用户提问,张若非回答了部分提问,解答大家在学习、从业及未来职业规划的疑问。

1、深度学习和数学建模的联系是怎样的?

张若非:数学建模比深度学习的内涵更大,但深度学习模型离不开建模。数学建模,是把一种事件或者一种现象,用某一数学公式来表达,比如泊松分布是对一天中在公共汽车站等车的乘客个数的一种描述。有了数据建模,把数据放到这些数学模型或分布中,就可以进行预测。而深度学习是从数据中自动产生多层不同结构的神经网络模型,在参数未知的的情况下,用数据不断进行 fine-tune,从而学到针对某些数据的模型,所以,数学建模是包含深度学习的。

2、对于入门深度学习,代码里的函数都看不懂,是不是需要一个一个的查?

张若非:首先,要看你用的是什么深度学习模型,如果是一些经典的模型,比如AlexNet、ResNet等,我想你需要深入看一些,理解函数的用途,知道每一层或每个函数是如何调用的。而对于一些最近的技术模型,如 BERT、XLNet,如果你只想把它视为一个“黑盒”,保证模型可以work,代码细节也许不是最重要的;当然,如果你本身对它感兴趣,想知道每步在做什么,深入研究还是有必要的,不仅知其然,还知其所以然。

3、机器学习和深度学习模型中哪些模型比较适合性能较低的边缘网关?

张若非:很多深度神经网络很深,比如BERT-Large有24层的Transformer。如果想要适合性能较低的边缘网关,首先在模型结构方面,可以考虑用层数不多的模型,可以尝试上面提到的teacher-student方法,用深模型训练浅模型,使模型不那么深;第二,模型要做降维,高维降低维;第三,考虑模型压缩,除此之外,最好你的网关是有并行计算能力的,即使没有 GPU,一些并行计算的矩阵计算库如MKL也可以帮助进行并行计算。

4、如果强调数据安全性,能否有相应的手段保证多个节点间通过模型共享,而不是数据共享?

张若非:其实,这个答案就是联邦学习。不管你是什么样的模型,不共享数据,也不共享完全相同的一个模型,通过专门设计的分布式模型训练和分发机制可以做成这件事。

5、虽然现在技术层面上各种模型层出不穷,但个人感觉对企业来说还是价值有限,部分企业所使用的人工智能,好像只是把统计方法或数据挖掘方法换了个说法而已。到底是企业的路数不对,还是人工智能的发展遇到了瓶颈?

张若非:现在人工智能很热,但是它主要在几个领域上有比较大的用途。一是互联网领域,有大量的数据,互联网公司有大量的计算资源,有直接应用人工智能技术的场景,但是,大量的传统企业,比如教育、农业,其实并没有真正应用前沿的深度学习模型,应用的仍是机器学习模型,如果要说使用了深度学习技术,也是在积累数据,分析这些数据,得到了相关性的结果,但还没有做到预测,这些确实是企业面临的一个实际问题。此外,企业中的痛点并没有通过这些技术得到彻底解决,看到一个翻天覆地的变化。同时,在企业中人才也是非常重要的资源。这些因素都是造成目前现状的原因。

但是,未来 AI 的技术发展还是会继续推动着企业应用AI技术的脚步前进。一方面,非AI企业在现在的大趋势下,也会犹疑如果不使用这些是否会被落后淘汰;其次,现在很多机器学习模块、工具都会部署到云端,越来越多的企业可以在自己的业务中直接使用云端中的工具和模块,自己上传数据后创建一个模型,应用AI技术的门槛会被逐渐降低,进而再根据自己企业的情况做评估,更有目标和方向地制定下一步技术战略。在微软,我们也在云计算Azure平台上提供很多机器学习的框架和工具,比如认知服务,来民主化人工智能的开发和部署。这些都可以继续推动技术在互联网行业,甚至在其他行业领域中的应用。

6、您在国外长期学习、生活和工作,结合个人经历,您认为对于国内外的学生和开发者来说,面临着怎样的机会和挑战?

张若非:首先,我觉得对国内的初学者来说,一个很明显的现象就是学习AI的门槛降低了。越来越多的开源,公开资料,让原本枯燥的研读Paper,复现模型这些过程不再成为学习过程中的拦路虎,现在大家可以比较容易地直接run一个模型,让一个模型work。至于想要知道这个模型是“如何work”、“如果不work怎么办”,就对大家提出更高的要求。同时,国内对人工智能发展的重视及国家提供的各种鼓励政策和条件,国内移动互联网地蓬勃发展,以及对数据和用户隐私相对宽松地态度对国内的学生和开发者从事AI研发和应用来说是很好的机会。

9月21日,在聚焦机器学习与深度学习的技术沙龙上现场还发布了张若非及团队撰写的新书《深度学习模型及应用详解》,同时,张若非等技术专家在现场带来了精彩的演讲,技术沙龙直播回顾:

视频回看:

https://edu.csdn.net/huiyiCourse/detail/1070

人工智能火热发展的这几年,吸引了越来越多的学生、开发者投身于AI的学习与工作。然而,前几年,国内本土的优质学习资源非常匮乏,让大家无从选择,如今各类学习资源、技术图书不断出现在大家视野中,大家已经身处其中而“无法选择”了。如何能快速遴选出适合自己、让自己获益的一本好书?《深度学习模型及应用详解》是你的一个选择。

采访嘉宾: 张若非,美国纽约州立大学计算机科学博士。微软(美国)人工智能和研究部高级研究总监,全球合伙人,《深度学习模型及应用详解》作者。负责微软在线广告平台机器学习模型、算法及系统的研究和建设。研究领域包括机器学习、数据挖掘、自然语言处理、计算机视觉和多媒体信息检索。在这些领域的一流学术期刊和顶级学术 会议发表论文50余篇,获得美国发明专利14项。美国国家自然科学基金会(NSF)智能系统评审委员会委员,IEEE和ACM高级会员。

https://www.toutiao.com/i6766850458800620045/

作者 | Jane

出品 | AI科技大本营( ID:rgznai100)

Image placeholder
zodial
未设置
  71人点赞

没有讨论,发表一下自己的看法吧

推荐文章
Go语言高级编程_6.4 分布式搜索引擎

6.4分布式搜索引擎 在Web一章中,我们提到MySQL很脆弱。数据库系统本身要保证实时和强一致性,所以其功能设计上都是为了满足这种一致性需求。比如writeaheadlog的设计,基于B+树实现的索

搜索引擎百度已死,但其他业务在重生

年初有一篇《搜索引擎百度已死》的文章在全网刷屏,文章尖锐指出百度搜索有一半以上结果导向了自己的百家号,而百家号上大量低劣和营销的内容严重误导了用户,事后百度回应说其百家号的内容占比小于10%。与此同时

任正非:华为鸿蒙比安卓快60%

转自量子位|公众号QbitAI鸿蒙系统什么样?华为董事长任正非给出了一些新的消息。据《联合早报》报道,法国著名新闻周刊《观点》杂志,最新一期以任正非为封面,刊发了十五页的专题报道,标题:这个人将改变历

前端工程师不可不知的时间和地理坐标🔥

关于时间GMT和UTCGMT,即格林尼治标准时间,也就是世界时。GMT的正午是指当太阳横穿格林尼治子午线(本初子午线)时的时间。但由于地球自转不均匀不规则,导致GMT不精确,现在已经不再作为世界标准时

从技术到生态构建,云计算棋局越来越大,如何成功落地

经过十多年的发展,云计算已经从概念阶段逐步走向了实践。一批互联网巨头企业迅速抢滩布局产业基础研究与核心技术领域,以BAT为代表,在云计算领域布局迅猛,外资云如AWS、甲骨文、微软、IBM,也都通过合作

打好网络安全攻坚战 思科年度安全报告系列关注未知安全挑战

当网络攻击愈演愈烈,当勒索软件愈加嚣张,企业对于网络安全的重视程度稳步提升。网络安全在企业中的地位从没像今天这般高涨。但不可否认的是,即便企业提升了对网络安全的防护,但网络安全威胁依旧长期存在且愈加复

别小瞧了 Linux,安卓、华为的自研系统,均源自 Linux!

众所周知,目前国内已有众多的国产系统,基本上均源自linux,以linux为基础进行二次开发。比如红旗linux、深度等等。但不知道为什么,一说起某系统是基于linux而来,很多网友就瞧不起,并且会觉

前端微服务在字节跳动的落地之路

不少前端团队都面临着独石应用的工程巨大、理解困难和合作混乱的种种问题,微前端或许是一种比较好的解决方案,它允许我们为应用加入新功能而不影响整体结构。但同时,我们可能会付出一些代价,例如重复依赖、团

四要素落地持续交付

一、什么是持续交付持续交付(Continuousdelivery,缩写为CD),是一种软件工程方法,让软件产品的产出过程在一个短周期内完成,以保证软件可以稳定、持续的保持在随时可以发布的状况。它的目标

Kubernetes监控在小米的落地

本文介绍了高可用、持久存储、可动态调整的Kubernetes监控方案的实现过程。小米的弹性调度平台(Ocean)以及容器平台主要基于开源容器自动化管理平台kubernetes(简称k8s)来提供服务,

打通“边-云”连接 英特尔携手腾讯加速5G&MEC落地

随着5G的到来,边缘计算在5G的应用场景中起到了很好的连接作用。首先实现了移动网络和应用的连接,可以使得业务在5G网络上得到更高质量的交互;其次,5G的边缘计算可以实现2B和2C业务的连接,2B业务能

复杂异常检测如何快速落地?看看百度怎么做

作者简介:周伟  百度云高级研发工程师负责百度云智能运维(Noah)告警通告系统的设计和研发,在大规模分布式系统、运维监控、精准报警等方面具有广泛的实践经验。干货概览本文提到的异常检测(Anomaly

一半AI项目失败 AI落地道阻且长

2019年各AI厂商都在强调落地情况,认为市场逐渐回归理性。而AI的实际落地也不能盲目乐观,7月8日IDC发布了《人工智能全球应用趋势与战略报告》(ArtificialIntelligenceGlob

实现人工智能落地 你还差一个“数据分析流水线”的距离

在智慧生产场景,生产制造商可以在生产线上利用深度学习,尤其是图像识别,将产品的质量检测自动化。比如自动检测产品表面有没有划伤、有没有零部件的缺失、有没有标签的错位。研究表明,相比人工检测,智慧检测可以

沈向洋离职微软!纳德拉亲笔信告别,美科技巨头最高级别华人告别硅谷

大数据文摘出品微软今日宣布,公司全球执行副总裁、人工智能与研究事业部负责人沈向洋博士将在明年1月1日正式离职。沈向洋并未透露其下一步计划。作为目前华人在美科技巨头公司中最高级别高管,沈向洋的离职,也代

微软停止与华为合作:Windows 暂停供应新订单

据《南华早报》消息,知情人士透露,在华为被列入美国黑名单、因而无法购买美国技术后,微软效仿谷歌的做法,停止接受华为的新订单。该知情人士表示,华为和微软之间的两大业务领域:笔记本电脑Windows操作系

价值100亿美元!微软刚刚击败亚马逊,拿下美国国防部十年云计算基建订单

大数据文摘授权编译自《纽约时报》编译:李雷、曹培信、刘俊寰为期10年,价值100亿美元。经过长达一年的竞标,微软接连击败了谷歌、IBM、Oracle和亚马逊,拿下了美国国防部云计算这宝贵的一单。上周五

我们走访了900名微软员工,为你揭秘全球最大软件公司的代码评审机制

大数据文摘出品来源:michaelagreiler编译:倪倪、钱天培、毅航全球最大的软件公司之一微软拥有约140,000名员工,其中大约44%,即超过60,000名员工,是工程师。Office、Vis

微软发布2019第三季度财报 企业级云季度收入96亿美元

微软公司今天发布2019财年第三季度财报。财报显示,截止到2019年3月31日:营收达到306亿美元,增长14%运营收入为103亿美元,增长25%净收益达88亿美元,增长19%摊薄后的每股收益1.14

阿里云联合微软开源全球首个开放云原生应用模型OAM

10月17日下午消息,阿里云联合微软正式开源全球首个开放云原生应用模型(OpenApplicationModel,简称OAM)。阿里云智能基础产品事业部总经理蒋江伟表示,该模型旨在为云端应用开发者、运

能直接下载了!微软最爽命令行工具登陆Windows 10,GitHub标星已破4万6

乾明发自凹非寺 转自量子位 |公众号QbitAI微软正式放出命令行工具WindowsTerminal。这个在发布之际就引得开发者大呼“WoW!Awesome!MyGod!”,甚至引得不少人当场表态买P

爽到飞起!微软命令行工具发布!引诱开发者叛逃Mac,开源六小时冲上GitHub第二

晓查栗子乾明发自凹非寺转自量子位 |公众号QbitAIWoW!Awesome!MyGod!这是不少抱着Mac参加微软Build大会的开发者,看到命令行工具WindowsTerminal后的第一反应。随

NeurIPS 2019公布获奖论文!新增杰出新方向奖项,微软华裔研究员斩获经典论文

大数据文摘出品备受瞩目的NeurlPS2019周日一早在温哥华拉开序幕,今天,组委会通过一篇博客公布了包括杰出论文奖、杰出新方向论文奖等五大类奖项。NeurIPS,全称神经信息处理系统大会(Confe

微博广告策略工程架构体系演进

概述 1.广告样式与场景 上图是微博广告目前商业场景流,“一屏四大流”。“一屏”指打开微博的Fashion,“四大流”指占据微博商业化的主体,包括关系信息流、热门流、评论流和热搜流。右图为广告投放的

腾讯视频去广告实践

闲话不表,去除腾讯视频广告步骤: 通过请求某个视频在浏览器中的地址,分析页面返回,获取视频的vid 拼接接口地址,请求tx的某接口,获取视频的真实地址 通过selinum的webdriver,向chr