NeurIPS 2019公布获奖论文!新增杰出新方向奖项,微软华裔研究员斩获经典论文

大数据文摘出品

备受瞩目的NeurlPS 2019周日一早在温哥华拉开序幕,今天,组委会通过一篇博客公布了包括杰出论文奖、杰出新方向论文奖等五大类奖项。

NeurIPS,全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems),自1987年诞生至今已有32年的历史,一直以来备受学术界和产业界的高度关注。NeurIPS为人工智能领域的A类会议,同时也是人工智能领域最富盛名的年度会议之一。

据官方消息,今年NeurIPS会议的论文投稿量再创造新高,共收到6743篇投稿,最终录取1428篇论文,36篇oral,录取率为21.2%。

今年的参会人数也再创新高,参会总人数已经突破了13000人,相比去年参会的9000人增加了近一半。由于报名人数过多。今年大会组织者甚至更改了抢票规则,将“先到先得”原则更改为“抽奖”原则。正如NeurIPS在公告中所说,用新规则抢票的NeurIPS 2019可以在一定程度上避免时区问题。

今年开幕式的注册长队,图:HooraRM @ NeurIPS2019

而如此高的投稿率和参会率,也能从侧面反应了人工智能研究的火爆程度只增不减。

今年的参会纪念马克杯

如此庞大的投稿量,组委会再审核和评选过程中也面临不小的压力。在揭晓奖项的官方博文中,NeurlPS 2019也声明了奖项评审过程中的相关标准和评选过程,从这些标准中我们可以也看出,哪些研究更NeurIPS 2019所认可或者不被鼓励。

评审委员会一致通过的评审标准包括,鼓励以下9种研究特质:

  • 持久的潜力ーー专注于主要工作,而不是边边角角。 在未来的几十年里,人们可能仍然会关心这个问题;
  • 洞察力——提供新的(最好是深入的)理解;不仅仅是为了模型表现出几个百分点的改进;
  • 创造力——以创造性的新方式看待问题,给出一个真正让读者感到惊讶的结果;
  • 革命性ーー将从根本上改变人们未来的思维方式;
  • 严谨性ーー无懈可击的严谨和考虑;
  • 优雅感ーー美丽、干净、光滑、优雅;
  • 现实性ーー不过分强调其重要性;
  • 科学性——在实际上是可证伪的;
  • 可重复性ーー结果是可重现的;代码是可用的,并且可以在各种机器上使用;数据集是可用的;证明细节是完整的。

组委会还公布了一些他们不鼓励的3种论文特质:

  • 低效ーー远离那些仅仅因为资源浪费而脱颖而出的工作(主要是因为浪费了大量资源而获得了较高的排名)
  • 趋附大势——因为一个想法很时尚所以采用某种方法,但可以通过其他方法以不同的更有效的方式获得。
  • 过于复杂ーー论文有非必要的复杂性。

此外,组委会今年还新增加了一个杰出新方向论文奖,以突出在为未来的研究设置一个新的途径方面出色的工作。

一起来看看5大奖项的获奖论文。

杰出论文奖(Outstanding Paper Award)

获奖论文:

Distribution-Independent PAC Learning of Halfspaces with Massart Noise

论文链接:

https://papers.nips.cc/paper/8722-distribution-independent-pac-learning-of-halfspaces-with-massart-noise.pdf

论文作者Ilias Diakonikolas、Themis Gouleakis、Christos Tzamos

机构威斯康辛大学麦迪逊分校、马普所

具体而言,研究人员给定了一组带标签样本(x, y),采样R^d+1维的分布D,如此,未带标签点x上的边缘分布是任意的,并且标签y通过一个未知半空间生成,这个未知半空间被Massart噪声破坏,其中噪声率η<1/2。这样一来,问题就变成了寻找到假设h,使得误分类误差(misclassification error)得以最小化。

在本篇论文之前,即使是对于析取类(the class of disjunctions),也没有一个有效的弱(分布独立)学习器模型。这种半空间(甚至析取类)的算法在各项研究中始终未能得到解决,从Sulon(1988)、Cohen(1997),一直到Avrim Blum的FoCS 2003教程,都在强调这个问题。

该论文研究了在训练数据中存在未知有界标签噪声情况下,二值分类线性阈值函数的学习问题。论文提出,通过导出一个有效的学习算法,能解决基本的、长期存在的开放问题。

本文在机器学习领域长期存在的开放性问题上取得了重大进展,即“在Massart噪声下有效地学习半空间问题进行了研究”。举一个简单的例子,在1%的Massart噪声下,即使是弱学习析取(weak learning disjunctions)(误差率49%)也是开放的。

本文展示了如何有效地实现与Massart噪声水平加epsilon(和运行时间poly(1/epsilon))相等的超额风险。算法方法的复杂,使得在技术上难以确定。最终目标是能够有效地获得等于epsilon(in-time poly(1/epsilon))的超额风险。

杰出新方向论文奖(Outstanding New Directions Paper Award)

获奖论文

Uniform convergence may be unable to explain generalization in deep learning

论文链接

https://papers.nips.cc/paper/9336-uniform-convergence-may-be-unable-to-explain-generalization-in-deep-learning.pdf

论文作者:Vaishnavh Nagarajan、J. Zico Kolter

机构:卡耐基梅隆大学、博世人工智能中心

为了解释过参数化深度网络的泛化行为,最近许多论文为发展了深度学习设定了泛化边界,所有边界的制定都基于一致收敛的基本学习理论技术。

现有边界的数值是巨大的,通过大量的实验,研究人员揭示了除了边界外更值得关注的一个方面:实践中,这些界限可以随着训练数据集的增大而增大。观察结果指出,研究人员给出超参数线性分类器和梯度下降(GD)训练的神经网络的例子,但其中一致收敛证明不能解释泛化——即使我们尽可能充分考虑GD{\em的隐式偏差。更准确地说,即使我们只考虑GD输出的一组分类器,它们的测试误差在我们的设置中小于一些小的值,我们也表明,对这组分类器应用(双边)一致收敛只会产生大于的空泛化保证。通过这些发现,我们对基于一致收敛的泛化界的能力提出了质疑,以提供一个完整的图片说明为什么过度参数化的深层网络泛化良好。

针对许多现有的(基于范数的)边界深度学习算法的性能否做到他们所声称的那样,本文给出了否定的回答。他们认为,当他们继续依赖于双边一致收敛机制(the machinery of two-sided uniform convergence)时,他们就不能做自己宣称的事情。虽然这篇论文没有解决(也没有假装解决)深层神经网络的泛化问题,但如果用培根的话说,就是“指路路标”(instance of the fingerpost),能够指引研究团队去探索不同的可能性。

杰出论文荣誉提名奖(Honorable Mention Outstanding Paper Award)

获奖论文:

Nonparametric Density Estimation & Convergence Rates for GANs under Besov IPM Losses

论文链接:

https://papers.nips.cc/paper/9109-nonparametric-density-estimation-convergence-rates-for-gans-under-besov-ipm-losses

论文作者:AnanyaUppal、 ShashankSingh、BarnabásPóczos

机构:卡内基梅隆大学

该论文以严格的理论方法证明,在密度估计方面(就收敛速度而言),GAN的性能优于线性方法。利用先前关于小波收缩的结果,本文为GAN的表示能力提供了新的思路。具体来说,作者在大型函数类别(Besov空间)内的大型损失类别(所谓的积分概率度量)下,得出了用于非参数密度估计的最小极大收敛速度。审稿人认为,这篇论文将对从事非参数估计和GAN的研究人员产生重大影响。

获奖论文:

Fast and Accurate Least-Mean-Squares Solvers

论文链接:

https://papers.nips.cc/paper/9040-fast-and-accurate-least-mean-squares-solvers

论文作者:AlaaMaalouf、IbrahimJubran、DanFeldman

机构:海法大学计算机科学系机器人与大数据实验室

最小均方求解是许多机器学习算法的核心,从线性和Lasso回归到奇异值分解和弹性网络。本文展示了如何将它们的计算复杂度降低一到两个数量级,而又没有精度损失和改善的数值稳定性。 该方法依赖于Caratheodory定理,建立了一个核心集(d维的d2 + 1个点的集合)足以表征凸包中的所有n个点。该文的新颖之处在于提出的分治法,该算法可提取具有可承受的复杂性的核集(O(nd + d5 log n),前提是d << n)。审稿人强调了该方法的重要性,因为该方法的递归划分原理而使其易于推广,从业人员可以轻松实现该方法以改进现有算法,并且可以将其扩展到其他算法。

杰出新方向论文荣誉提名奖(Honorable Mention Outstanding New Directions Paper Award)

获奖论文:

Putting An End to End-to-End: Gradient-Isolated Learning of Representations

论文地址:https://papers.nips.cc/paper/8568-putting-an-end-to-end-to-end-gradient-isolated-learning-of-representations

论文作者:Sindy Löwe、Peter O’Connor、Bastiaan Veeling

自我监督表示学习的新型深度学习方法,该方法不需要标签或端到端反向传播,而是利用数据中的自然顺序。受生物神经网络似乎在学习时不会反向传播全局误差信号的观察启发,我们将深度神经网络拆分为若干梯度独立模块。训练过程中,每个模块都利用 Oord 等人 [2018] 提出的 InfoNCE 边界最大限度地保留该模块的输入信息。尽管这是一种贪婪的训练方式,但我们证明了每个模块都可以在前一模块输出上得以提高,并且顶级模块创建的表示形式在音频和视频领域的下游分类任务上可产生极具竞争力的结果。 该提议使异步优化模块成为可能,从而允许非常深的神经网络在未标记数据集上进行大规模分布式训练。

评论:本文依据van Oord等人提出的自我监督的标准,重新讨论了深度网络的分层构建,特别是当前输入表征与时空输入表征之间的交互信息。感知网络中的这种自组织可能会在算法视角(回避端到端优化、其巨大的内存占用和计算问题)和认知视角(利用所谓的慢特性的概念,向更“生物学上合理的”学习过程发展)的结合方面提供了新的启发。

获奖论文:

Scene Representation Networks: Continuous 3D-Structure-Aware Neural Scene Representations

论文链接:https://papers.nips.cc/paper/8396-scene-representation-networks-continuous-3d-structure-aware-neural-scene-representations

论文作者:Vincent Sitzmann 、Michael Zollhöfer、Gordon Wetzstein

机构:斯坦福大学

生成模型的无监督学习有着发现3D场景的丰富表征的潜力。虽然几何深度学习探索了场景几何的3D结构感知表示,但是这些模型通常需要明确的3D监督。新兴的神经场景表示只能通过摆姿势的2D图像进行训练,但是现有方法忽略了场景的三维结构。我们提出了场景表示网络(SRN),这是一种连续的3D结构感知场景表示,可对几何形状和外观进行编码。 SRN将场景表示为将世界坐标映射到局部场景属性的特征表示的连续函数。通过将图像形式表述为可区分的光线行进算法,可以仅从2D图像及其相机姿态端对端地训练SRN,而无需深度或形状。这种表达方式自然可以跨场景进行泛化,在此过程中学习强大的几何形状和外观先验。我们通过评估SRN的新颖视图合成,几次快照重建,关节形状和外观插值以及非监督性非刚性人脸模型来证明SRN的潜力。

本文介绍了CV中两种广泛方法的完美结合:多视图几何和深层表示。 具体来说,本文做出了三点贡献:1)每个像素的神经渲染器,它可以以3D感知的方式实现无分辨率的场景渲染; 2)可微分的光线行进算法,解决了沿着相机投射的光线寻找表面相交的难题。 3)潜在场景表示,它使用自动编码器和超网络来回归场景表示网络的参数。

经典论文奖(Test of Time Award)

论文名称:

Dual Averaging Method for Regularized Stochastic Learning and Online Optimization

论文链接:

https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/xiao10JMLR.pdf

论文作者:Lin Xiao,微软研究院的高级首席研究员,曾就读于北京航空航天大学和斯坦福大学。他目前的研究方向包括:大规模优化的理论和算法、机器学习和在线算法、并行和分布式计算。

本文认为正规化随机学习和在线优化问题,目标函数是两个凸的和术语:一个是损失函数的学习任务;另一个是一个简单的正则化项。研究中开发了Nesterov的双重平均方法的扩展,可以利用在线设置的正则化结构。在这些方法的每次迭代中,通过解决一个简单的最小化问题来调整学习变量,该问题涉及到损失函数过去所有次梯度的运行平均值和整个正则化项,而不仅仅是其次梯度。对于ℓ1的正则化,该方法能够有效的获得稀疏效果。研究还证明这些方法达到了随机学习标准的最优收敛速度。对于损失函数具有Lipschitz连续梯度的随机学习问题,研究者提出了对偶平均法的加速版。

该论文提出了一种全新在线算法——正则化双重平均算法(RDA),研究实验证明,RDA 对于ℓ1 正则化的稀疏在线学习非常有效。

经典论文奖的授予原则为:具有重要贡献、持久影响和广泛吸引力。官方设置了专门的委员会负责筛选对社会产生重大且持久影响的论文。Amir Globerson, Antoine Bordes, Francis Bach和Iain Murray承担参与到评选工作中。

委员会从18篇被接受的论文开始进行评选工作——到2009年NeurIPS,这些论文自发表以来被引用次数最多。然后,他们把搜索的重点放在那些已经产生了持续影响的论文上,即那些在最近的论文仍然被引用的论文。委员会还希望能够确定对该领域的准确贡献,使选定的论文脱颖而出;并确保该论文写得足够好,使当今社会的大多数人都能阅读。

Image placeholder
IT头条
未设置
  75人点赞

没有讨论,发表一下自己的看法吧

推荐文章
中国AI人才图鉴:59%的中国籍研究员隶属美国研究机构

大数据文摘出品编译:Walker、蒋宝尚研究人员很容易被人们忽略,但不可否认,他们才是所有AI生态系统的核心组成部分。长期以来,中国和美国在人工智能方面的实力对比一直存在争议,但相关的数据支撑较弱。因

DTCC2019数据库技术评选结果全面揭晓,四大类别奖项新鲜出炉!

数据风云,十年变迁,而DTCC是一切变革的见证者。作为数据库领域顶尖级的盛会,DTCC已经成功举办了九届,今年是第十届。继承往届会议规模大、涉及话题更前沿、演讲内容更深入等特点之外,DTCC2019数

蚂蚁金服研究员玉伯回顾阿里十一年成长之路

注:这是在阿里内部前端大学的一个分享,整理了一份对外的版本,希望分享内容能对你有所帮助。 编者按:本文通过玉伯授权后发布今天跟大家分享下个人成长和带团队的一些感悟。我可能更偏向于写作型或阅读型,很少

微软发布2019第三季度财报 企业级云季度收入96亿美元

微软公司今天发布2019财年第三季度财报。财报显示,截止到2019年3月31日:营收达到306亿美元,增长14%运营收入为103亿美元,增长25%净收益达88亿美元,增长19%摊薄后的每股收益1.14

嗨!你的 2019 晒好封存了吗?快来看程序老兵的 2019 吧!

时间过得真是太快快快了,2019还剩下最后几个小时了。回望即将过去的这一年,老兵哥做了不少事情,有计划内的,也有计划外的,当然还有不少事情没做。赶在最后时刻晒一晒我的2019年,希望从成绩荣誉中获得一

指引趋势与方向!2019开发者调查报告出炉

近日国外开发者平台HankerRank发布了2019年开发者技能调查报告,该报告根据对71,281位开发者的调查得出。作者从中选取了一部分,给大家解读一下。12018年最受欢迎的开发语言经过调查,2

公布!达摩院2020年十大科技趋势

刚刚,“达摩院2020十大科技趋势”正式发布!去年,我们预测的科技趋势正一一变为现实:AI芯片崛起、智能城市诞生、5G催生全新应用场景……科技新十年开启,AI、芯片、云计算、区块链、工业互联网、量子计

2019数据库趋势研究:谁是最受青睐的数据库?

哪些数据库在2019年最受青睐?本文向DeveloperWeek的数百名业内人士咨询了当前NoSQL与SQL的使用情况,得到了有关MySQL、MongoDB、PostgreSQL、Redis和其他方面

2019数据库趋势研究:谁是最受青睐的数据库?

哪些数据库在2019年最受青睐?本文向DeveloperWeek的数百名业内人士咨询了当前NoSQL与SQL的使用情况,得到了有关MySQL、MongoDB、PostgreSQL、Redis和其他方面

甜过初恋!浙大博士用200个西瓜130页论文,教你用机器学习科学挑瓜

大数据文摘出品作者:易琬玉刚刚送走了最热七月,转眼就迎来了最热八月。2019年是人类有气象纪录以来最热的几个年份之一,虽然这个夏天还没结束,但气象学家们已经有十足把握做出这个判断。为了应付热,人们想出

解读 KubeCon EU 2019 应用管理领域的新看点

作者 |阿里云智能事业群技术专家邓宏超划重点阿里云容器平台技术专家、原CoreOS公司工程师、K8sOperator项目的核心作者之一邓洪超,精彩解读KubeConEU2019“应用管理“领域精华内容

再见,2019!你好,2020!

今天,是2019年的最后一天。虽有不舍,但终归还是得说再见!明天又会翻开新一年的篇章,希望各位在新的一年都能升职加薪迎娶白富美,走上人生巅峰。19年某月某日突发奇想,想用公众号分享一下这些年学到的技术

送别2019,期待2020!

概述2019年时间过得很快。有欢笑、有离别、有压力、有收获。关于工作项目发生了变动,团队也发生了变动,不过总体是成长的,在这感谢领导的关照、信任!下半年开始学习Go语言,并用Go进行搭建项目,也算是刚

亚马逊将公布超过最大会话和知识数据集,超400万字

4月1日,亚马逊宣布:他们计划向公众公开“TopicalChat”数据集,超410万单词21万句子的语料库将于2019年9月17日发布。该数据集是为参加AlexaPrizeSocialbotGrand

中国进入5G普及时代!三大运营商5G套餐正式公布,每月128起,联通最壕套餐599

大数据文摘出品作者:曹培信、刘俊寰5G手机已经卖了一批了,三大运营商的5G套餐却姗姗来迟。原本定于10月1日发布5G套餐,之后又推迟了一个月,并且中国三大运营商在公布服务价格之前,已预先向1000万用

解读2019华为第001号文件:AI时代软件开发的第一要义是可信

晓查发自凹非寺量子位出品|公众号QbitAIAI加持,万物互联、万物智能。我们在享受科技进步的同时,软件开发行业却面临着更大的挑战。过去,软件出现安全问题或许仅仅意味着经济损失,但当走向产业互联网时代

调查:2020年企业IT预算研究报告

随着云计算、人工智能等技术应用的落地,企业越来越多地用新技术支出来应对新的业务需求,大多数企业都在主动或被动地加入数字化转型浪潮,这一点在IT预算中表现得最为明显。TechRepublic最近进行了一

Eclipse发布:2019年物联网开发者调查

如果你想了解一项重要技术的未来,那么先看开发人员在做什么。考虑到这一点,在EclipseFoundation对 1700 多名物 联 网开 发 人 员 (pdf) 进行的一项新调查中,可以获得对整个物

2019年流行的6大顶级DevOps工具

DevOps作为对开发和运维人员都极为重要的系统,有望在2019年甚至更长时间内保持稳定增长。事实上,据IDC预测,到2022年,全球DevOps软件市场将达到80亿美元,比2017年的39亿美元有所

1000 行 Python 代码脚本 bug,或影响上百篇学术论文

《Nature》杂志2014年的一篇论文包含了一个Python脚本,其中有一个模块是根据文件的排序返回值,但Python并没有定义查询的文件顺序。这意味着在不同的操作系统上,该脚本返回的值是不同的。

十年软件通胀率:从 2009 到 2019 年,软件越来越昂贵

过去十年,软件定价逐渐上升。在我们调查的一百个商业应用程序中,价格平均上涨了62%,其中包括一些比较便宜的应用程序。如果用户现在花钱购买一款应用程序,那么它很可能比十多年前的价格贵98%以上。

Gartner:2019年PaaS四大趋势

云计算发展正热火朝天,作为云计算产业的重要领域,PaaS已经成为各大企业角逐未来的重要阵营。由于IaaS和SaaS已经实现了商品化,云环境中众多应用软件都实现了标准化,用户都需要充分利用PaaS带来的

《Gartner 2019年数据中心网络魔力象限》报告解读

日前,Gartner发布了2019年数据中心网络魔力象限。此次报告从7个维度(产品或服务、总体生存能力、销售执行/定价、市场反应/记录、营销执行、客户体验和操作),来衡量12个入选企业,并基于前瞻性和

Gartner发布:2019年UCaaS魔力象限

随着企业在其UC解决方案中寻求更高的可扩展性,UCaaS已成为许多品牌获取技术的实际途径。每年,Gartner都会通过UCaaS魔力象限来帮助各种规模的公司探索UCaaS领域的主要供应商。该报告讨论了

SQL Server 2014的数据库引擎新增功能(参考sqlserver官方文档)

SQLServer2014数据库引擎引入了一些新功能和增强功能,这些功能可以提高设计、开发和维护数据存储系统的架构师、开发人员和管理员的能力和工作效率。  以下是 数据库引擎已增强的方面。数据库引擎功