专访领英工程副总裁张仁辉:如何驯服算法,打造世界级的职位推荐系统?

大数据文摘出品

作者:魏子敏、宋欣仪

作为全球最大的职业社交网络,创建于2003年的LinkedIn在过去 6 年间,从一个 7000万左右年营收的企业,增长至30亿美元营业额的企业。五年间LinkedIn业务增长超过40倍,这种增长速度在企业服务领域是惊人的。

领英改变了传统的先由企业发布职位信息然后求职者响应投简历接着企业通过简历筛选,面试甄别,求职者单向信息不对称、主动性不对称的流程,让企业可以主动对中高端人才进行邀约,人才可以享受到被动的求职服务。

通过信息工具主动挖掘到更多符合自身特点的人才,结合社交关系、档案资料、人脉评价等比简历更立体的信息,对候选人进行考核甄别,再进行邀约面试的考核。

但是人力资源管理中的场景非常复杂,并且常常面对数据不对称、有偏见的各种问题。6月20日,在北京召开的O’Reilly AI Conference上,LinkedIn的工程副总裁张仁辉作了题为《人工智能对未来招聘和人才市场的影响》的演讲,并在会后向大数据文摘介绍了领英在训练自己的算法模型中遇到的各种难题及应对之道。

LinkedIn的工程副总裁张仁辉作了题为《人工智能对未来招聘和人才市场的影响》的演讲

人力资源管理中使用数据科学技术的挑战

曾担任雅虎工程副总裁、Tinder 首席技术官,张仁辉对于传统的搜索和推荐系统非常了解。她告诉大数据文摘,与传统的搜索和推荐系统只关注如何评估一条内容和给定查询的相关度不同,人才搜索领域需要招聘人员和候选人就本岗位互相彼此感兴趣。

换句话说,不仅需要所显示的候选人必须与招聘人员的查询相契合,而且需要招聘人员联系的候选人必须对岗位机会表现出兴趣。因此,使用适当的指标来优化模型以及在线的 A/B 测试至关重要。

此外,人才搜索系统的底层查询可能非常复杂,它结合了一些结构化字段(如规范化头衔、规范化技能和公司名称)和非结构化字段(例如自由文本式关键字)。

最后,个性化对于人才搜索系统而言非常重要,网站需要根据招聘人员所寻找应聘者的类型来模拟他们的意图和偏好,这也是人力资源中人工智能应用需要跨过的一道门槛。

人力资源数据的偏见与担忧

除了这些未知的挑战,在人力资源领域,人工智能还出现了许多已经有的偏见。

最为人熟知的可能是亚马逊被关闭的自动化招聘算法。据路透社报道,自2014年以来,亚马逊就专门成立了团队开发电脑程序以审查求职者的简历,以将寻找顶尖人才的任务自动化。

这一试验性招聘工具使用AI给应聘者打分,分数从一星到五星不等,直到2015年,亚马逊意识到其新系统对于软件开发人员和其他技术职位求职者存在性别偏见判断。这是因为,亚马逊的电脑模型经过了培训,通过观察过去10年被提交给该公司的简历找出固有模式,并以此来审查应聘者。

亚马逊立刻关闭了这一系统,但依然暴露了人工智能的一大缺陷:基于历史数据,算法会把人类世界无意识的偏见进一步扩大。

驯服算法,打造无偏见个性化的职位推荐系统

“在消除偏见方面,领英一直在试图在算法中提升透明度、可建性和个人意识。”

张仁辉向大数据文摘介绍了领英通过相关产品LinkedIn Talent Insights,把统计数据跟决策者、人力资源部和招聘部门进行分享,让他们了解团队的薪酬水平和整体的市场情况,使情况更加透明,这样大家可以了解到当前的AI系统和实际的差距所在,并尽量缩小这样的差距。

此外,张仁辉表示,为了实现个性化服务,领英采用了能够从多角度理解内容的机器学习算法。通过将机器学习与会员意图信号、档案数据和会员人脉网络信息结合起来,实现会员推荐和搜索结果的高度个性化。

领英的职位推荐系统是世界级领先的,其基础是通过大量用户数据建立的知识图谱和研发针对自然语言的标准化技术。领英针对每位用户的简历,都使用基于深度学习模型的标准化技术来实现信息抓取,比如LSTM, CNN等等。对于工作职位也做了同样的事情。

六七年前,领英的职位推荐是一个线性模型,比如说求职者是一个软件工程师,系统就会推荐一个软件工程师的职位。但后来使用中发现,根据用户简历和工作职位的描述来做推荐,不一定能够完全实现个性化,领英还希望根据用户之前的职位申请,为他推荐更多类似的职位,即深度的个性化。之后又研发了Generalized Linear Mixed Model(GLMix),针对每个用户和每个职位建立一个单独为他们服务的模型,这样使得模型的参数量达到了上百亿的规模。同时也成功地把职位申请的数量提高了30%。领英中国团队把这个模型用在中国的数据上,又将职位申请的数量额外提高了11%。

进一步地,领英还建立了一个Deep & Wide的模型,其中整合了深度学习,树状结构模型,以及GLMix,极大地提升了领英的用户体验。为了实时更新上百亿的模型参数以及在毫秒级别内满足用户的职位推荐需求,领英搭建了大规模运算平台来实现人工智能模型的技术。这个平台包括线下和线上两个模块——线下模块自动收集用户的反馈、基于Spark自动训练,之后把模型结果和参数上传到线上。线上使用实时数据传输和搜索引擎技术来实现低延迟的模型运算。

并且,领英专门研发了一个叫做Pro-ML的“人工智能自动化”系统,为所有工程团队集中管理特征和机器学习模型。这一系统为机器学习模型的整个开发、培训、部署、测试提供单一化平台,已经极大加快了领英开发及上线新产品的速度。

就这样一步步,领英打造了如今的复杂高效的世界级推荐系统。

正如张仁辉在6月20日的演讲《人工智能对未来招聘和人才市场的影响》中提到的,“我们拥有同理心、创造力、道德标准和伦理感,而人工智能会从重复性的工作和危险的工作中解放我们,让我们得以更好、更自由地表达并发展自己,让我们更好地相互连接,从而让世界更加美好。”

虽然现在人工智能的算法虽然非常的先进,可以下棋、打败电竞选手、玩视频游戏,但是人工智能没有同理心的能力,它没有办法了解另外一个人的情感。招聘工具可以取代重复的工作,比如每天要重复看简历来找候选人或者安排面试,但是这个工具永远不会取代人。

我们可以通过握手,直视面试者并微笑,听他们的故事,进而了解他们,但人工智能不可以。所以人工智能是不会取代我们,而是会让招募人员可以有更多的时间来和候选人进行人与人之间的交流,进行彼此的了解。

各行各业向AI招聘的转变创造了一个就业搜索环境,而这种环境将会持续下去。对于应聘者来说也有启示,企业将越来越多地使用基于AI的软件来对求职者进行分类。这意味着求职者需要用直白的语言来描述他们的背景,使用通用的语言来展示相关的工作经历。申请者还应准备进入招聘程序,让AI试图将他们理解为“人”,而不是作为一份成就清单。未来我们都应该学会如何与AI合作,如何与AI沟通。

Image placeholder
Nuomipanda
未设置
  63人点赞

没有讨论,发表一下自己的看法吧

推荐文章
解码GaussDB:如何成为世界级数据库?

1、开源GaussDB单机版OLTP;2、成立鲲鹏智能数据产业联盟数据库产业推进组;3、1.5亿元启动基金,发起GaussDB高校金种子发展计划;4、成立十大GaussDB高校联合创新实验室;5、现场

浅谈微视推荐系统中的特征工程

本文作者:hannahguo,腾讯PCG推荐算法工程师在推荐系统中,特征工程扮演着重要的角色。俗话说数据和特征决定了机器学习算法的上限,而模型、算法的选择和优化只是在不断逼近这个上限。特征工程的前提是

专访腾讯云数据库负责人丁奇:打造超越用户想象的产品

“就市场份额来说,腾讯云在国内还不是第一名,但从国内上云企业比例看,剩余的还有很多,因此,大家都还有机会,就看谁能真正解决用户的痛点。”                                

知了 | 基于NLP的智能问答推荐系统

作者简介:苗贝贝  百度高级研发工程师负责百度智能运维客服平台ChatOps,在时序数据异常检测、文本模式识别、相似度网络等方向也有广泛的实践经验。干货概览通常,客服系统主要有两种应答模式:机器人自动

一文告诉你全世界最顶级的开发者都在使用什么数据库

作为一名IT行业从业者,其实从去年已经隐隐约约感觉到数据库的有变化,只是没有想到变得这么快。今年的一些事情实实在在地给了某些数据库重击,如果以前去某数据库还是喊喊,然后该用还用,今年从传统领域刮起的去

探秘K1 Power:如何打造一台坚若磐石的高性能小型机?

熟悉服务器领域的朋友,必然对浪潮K1小型机或多或少有所了解。在当年关键业务主机市场寡头垄断的格局下,浪潮400多位工程师耗费4年时间,于2010年成功研制出了K1小型机,为市场注入一股新的血液。使得中

陶建辉:通过技术“Leave a dent in the world”

“让我们一起奔跑,去追求卓越而不是平庸的一生!”今年8月份北京涛思数据创始人CEO陶建辉以此为题在自己的公众号“爱倒腾的程序员”上重发旧文自勉,提醒自己,提醒团队,不忘初心。涛思数据创始人CEO陶建辉

三代阿里云总裁同台共话,续写十年“飞天”传奇

阿里云三任总裁王坚、胡晓明、张建锋同台对话,这本身就是一个“爆点”。作为9月25日云栖大会主论坛的“压轴戏”,三位技术大咖凑在一起,会碰撞出怎样的火花?从左到右:蚂蚁金服集团总裁胡晓明;阿里巴巴集团技

专访被Facebook开除的中国工程师尹伊:我不后悔那天的决定

作者:纪振宇9月19日,在美国加州刺眼的午后阳光下,38岁的Facebook陈姓中国工程师,从该公司位于加州门罗帕克总部园区的某处办公楼的四层纵身一跃,结束了自己的生命。随后,关于他更多的消息逐渐在网

李飞飞专访:AI不属于某些小众群体,AI属于每个人

大数据文摘出品来源:techer编译:李雷、胡笳AI会取代我们的工作吗?它还能取代什么?谁将监督其在技术和道德层面上的发展?对此问题,圣克拉拉杂志主编(SantaClaraMagazine)采访了斯坦

互联网行业巨头的职级薪资揭秘

以BAT为代表的互联网行业巨头,其职级薪资一直都为业内所津津乐道。相信大家对BAT的职级薪资都十分好奇,今天小编就来为大家揭秘互联网行业巨头的职级薪资。其实像阿里巴巴、腾讯和百度这样的互联网巨头,其职

IT行业35岁后的职业规划建议

关于每一个IT人来说,35岁后是一个需求认真思索职业开展出路的新阶段。到了这个阶段,大家也不用过于焦虑,固然随着年岁的增长,30多岁的程序员在膂力和工作效率上,可能会比不上年轻的新人,但是经历的积聚关

打造高逼格、可视化的Docker容器监控系统平台

关于Docker技术的文章之前也断断续续写了几篇:Docker容器系列文章|Docker技术入门(一)Docker容器系列文章|Docker技术入门(二)Docker容器系列文章|这20个Docker

[招聘]「新加坡」领航电商平台招聘技术职位

地点新加坡,泛东南亚最大电商平台,新加坡知名团队,国际化平台,富有竞争的薪资,享受新加坡优质生活环境及教育资源,公司申请EP,属于技术引进性人才签证。可携带家人一起前往新加坡工作生活,子女可正常入托入

【新加坡】[30k-60k] 领航电商平台 Shopee 招聘技术职位

【Base新加坡】泛东南亚最大电商平台,新加坡知名团队,国际化平台,富有竞争的薪资,享受新加坡优质生活环境及教育资源,公司申请EP,属于技术引进性人才签证。可携带家人一起前往新加坡工作生活,配偶可在新

【新加坡】Top 电商平台技术职位招聘

地点新加坡,泛东南亚最大电商平台,新加坡知名团队,国际化平台,富有竞争的薪资,享受新加坡优质生活环境及教育资源,公司申请EP,属于技术引进性人才签证。可携带家人一起前往新加坡工作生活,配偶可在新加坡工

【新加坡 Top 电商平台技术职位招聘

地点新加坡,泛东南亚最大电商平台,新加坡知名团队,国际化平台,富有竞争的薪资,享受新加坡优质生活环境及教育资源,公司申请EP,属于技术引进性人才签证。可携带家人一起前往新加坡工作生活,配偶可在新加坡工

【Base 新加坡】 [30k-60k] 领航电商平台招聘技术职位

地点新加坡,泛东南亚最大电商平台,新加坡知名团队,国际化平台,富有竞争的薪资,享受新加坡优质生活环境及教育资源,公司申请EP,属于技术引进性人才签证。可携带家人一起前往新加坡工作生活,子女可正常入托入

Stack Overflow 上 370万浏览量的一个问题:如何比较 Java 的字符串?

在逛StackOverflow的时候,发现了一些访问量像喜马拉雅山一样高的问题,比如说这个:如何比较Java的字符串?访问量足足有370万+,这不得了啊!说明有很多很多的程序员被这个问题困扰过。PS:

谈PaaS平台建设:如何应对企业架构多元异构资源的挑战

据forbes预测,在2020年到来之前,83%的IT资源都会迁移上云。整个云的生态中,PaaS是最具有抽象属性的云形态,落地较晚也迟迟没有形成统一的标准。近几年,随着SaaS层业务的成熟,以及Iaa

清华大学教授马智亮:如何走向高度智慧建造?

什么是智慧建造?普遍意义上的智慧建造是指生物基于神经器官所具有的一种高级的综合能力,包括感知、知识、记忆、理解、联想、情感、逻辑、辨别、计算、分析、判断、文化等多种能力。显然,具备这种能力的生物,首当

职业规划指南:如何开启你的ML/AI 职业生涯?

无论什么行业,只有不断自我进步的人才有可能保持行业领先地位。技术行业面临着时代变迁的时候更应该如此。随着技术和相关业务的发展,在该领域工作的人必须在必要时更新技能甚至转变职业。在人工智能(AI)机器学

面试高频:如何访问 Redis 中的海量数据?

目录前言事故产生分析原因解决方案总结前言有时候我们需要知道线上的redis的使用情况,尤其需要知道一些前缀的key值,那我们怎么去查看呢事故产生因为我们的用户token缓存是采用了【user_toke

深度复盘GitHub发展史:如何在短短10年内改变了人们的编程方式?

前不久,微软以75亿美元的价格收购GitHub,引发了科技行业的关注。在短短的10年内,GitHub改变了人们的编程方式。不仅让编程变得更简单,还改变了软件开发者对编程的看法。GitHub是如何做到的

阿里面试题:如何保证缓存与数据库的双写一致性?

作者:你是我的海啸出处:https://blog.csdn.net/chang384915878/article/details/86756463只要用缓存,就可能会涉及到缓存与数据库双存储双写,你只