ACL2020揭晓所有奖项!华人姑娘斩获最佳论文

2020-07-09   大数据文摘

原标题:ACL2020揭晓所有奖项!华人姑娘斩获最佳论文

大数据文摘出品

作者:笪洁琼

由于疫情的原因,全球计算机领域的顶会之一,第58届国际计算语言学年会ACL2020今年改成了线上会议,会议时间从7月5日持续到7月10日。

本次会议收稿为779篇,投稿论文为3429篇,接受率为25.2%,数量是迄今为止最多的一次。

今天凌晨,本次会议刚刚颁布了最佳论文,加上昨天公布的时间检验奖、杰出服务奖以及终身成就奖,大奖就已经全部揭晓啦。

错过了大会直播的朋友,跟着文摘菌看看这次的几篇获奖研究吧。

最佳论文

论文:Beyond Accuracy:Behavioral Testing of NLP Models with Checklist

作者:Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin 等人,分别来自微软、华盛顿大学等。

摘要:虽然测量测试集精度是评估泛化性的主要方法,但它其实常高估NLP模型的性能,而评估模型的一些替代方法要么关注单项任务,要么关注特定行为。受软件工程中行为测试原则的启发,我们引入了清单(CHECKLIST)法,这是一种通用的测试NLP模型的方法。该方法包括一个通用语言能力和测试类型矩阵,对模型进行全面测试,还有一个软件工具,以生成大量的多样的快速测试用例。我们用三个任务的测试来说明清单法的效用,即在商业模型和最新模型中识别关键故障。在一项用户研究中,一个负责商业情绪分析模型的团队在一个经过广泛测试的模型中发现了新的解决的bug。在另一项用户研究中,使用清单的NLP从业者创建了两倍多的测试用例,发现的bug几乎是不用清单用户的三倍。

论文链接:

https://www.aclweb.org/anthology/2020.acl-main.442/

值得一提的是,最佳论文的作者中中包括一位来自华盛顿大学计算机科学博士生吴彤霜,本科毕业于香港科技大学计算机科学与工程专业。

吴同学表示对交互式机器学习,人机交互和可视化特别感兴趣。目前工作集中在以人为本的精神上增强机器学习模型的训练和评估步骤,以使最终用户可以更有效和系统地与他们的模型进行交互。

吴同学个人主页:

https://homes.cs.washington.edu/~wtshuang/

最佳荣誉提名论文

本次的最佳荣誉提名论文总共有两篇。

论文:Don't Stop Pretraining:Adapt Language Models to Domains and Tasks

本文作者为来自艾伦人工智能研究院的Suchin Gururangan,和来自华盛顿大学的Ana Marasović, Swabha Swayamdipta等人

摘要:大型神经语言模型在许多NLP任务上的成功令人兴奋。然而,我们发现这些成功有时会导致夸大,这些模型被描述为“理解”语言或捕获“意义”。在这篇论文中,我们认为,一个只接受形式训练系统的先天无法学习意义。为了与ACL 2020的主题“盘点我们已经做过的和将要做的”保持一致,我们认为,对形式和意义之间的区别的明确理解将有助于引导该领域朝着更好的自然语言理解科学方向发展。

论文链接:

https://www.aclweb.org/anthology/2020.acl-main.463/

ACL官方表示,目前ACL最高被引论文已达到2000多次。

时间检验奖

时间检验奖颁给了4篇论文,其中有2篇是在1995年发表的,2篇是在2010年已经发表的,

1.Centering:A Framework for Modeling the Local Coherence of Discourse(1995,发表在CL)

摘要:本文探讨了语篇中注意焦点、表达方式的选择和话语的连贯性之间的关系。提出了一个中心的框架和基本理论,用以模拟注意力状态的局部成分。本文考察了局部连贯与指称用语选择之间的相互作用;本文认为,在特定的注意状态下,相干性的差异在一定程度上对应着不同类型指示的推理要求。结果表明,定心模型的注意状态特性可以解释这些差异。

论文链接:

https://www.aclweb.org/anthology/J95-2003.pdf

2.UNSUPERVISED WORD SENSE DISAMBIGUATION RIVALING SUPERVISED METHODS(1995,发表在ACL)

摘要:本文提出了一种无监督的语义消歧学习算法,当在无注释的英语文本上进行训练时,该算法的性能可以与需要耗费大量时间的手动注释的有监督技术相媲美。该算法基于两个强大的约束——每一篇话语往往有一种含义,每一种搭配往往有一种含义——在迭代自举过程中加以利用。

测试精度超过96%。

论文链接:

https://www.aclweb.org/anthology/P95-1026.pdf

3.Distributional Memory:A General Framework for Corpus-Based Semantics(2010)(发表在CL)

摘要:通常基于语料库的语义研究集中在专门模型的开发上,这些模型将单个任务或一组密切相关的任务视为不相关的挑战,需要通过从语料库中提取不同种类的分布信息来解决。作为“一项任务,一种模型”方法的替代方案,分布式记忆框架从语料库中提取分布式信息,其形式是一组权重词链接词元组排列成一个三阶张量。然后由张量生成不同的矩阵,它们的行和列构成自然空间来处理不同的语义问题。

这样,相同的分布信息就可以在建模词语相似度判断、发现同义词、概念分类、预测动词的选择偏好、解决类比问题、对词之间的关系进行分类、利用模式或实例对获取定性结构、预测概念的典型属性、将动词分类为交替类等任务之间共享。

在所有这些领域中进行的广泛的经验测试表明,对于相同的任务,分布式内存实现与最近文献中报道的特定任务算法以及我们几种最先进的方法的实现相比具有竞争力。因此,尽管分布式内存方法的多用途特性带来了一些限制,但它是可以实现的。

论文链接:

https://www.mitpressjournals.org/doi/pdf/10.1162/coli_a_00016

4.Word representations:A simple and general method for semi-supervised learning(2010)(发表在ACL)

摘要:如果我们以现有的有监督自然语言处理系统为例,一个简单而普遍的提高准确率的方法是使用无监督的词语表示作为额外的词语特征。我们采用了Brown Clusters,Collobert和Weston(2008)的嵌入,以及HLBL(Mnih&Hinton,2009)在NER和组块上嵌入的单词方法,我们使用最先进的监督基线,发现这三个单词表示中,都提高了这些基线的准确率。

通过组合不同的单词表示法,我们发现了进一步的改进。

论文链接:

https://www.aclweb.org/anthology/P10-1040.pdf

论文代码:

http://metaoptimize.com/projects/wordreprs/

杰出服务奖与终身成就奖

今年 acl2020nlp的杰出服务奖(Distinguished Service Award)颁给了多伦多大学的Graeme Hirst教授,表彰他在2008-2017年ACL财务负责人的工作上做出的巨大贡献。

个人主页:

http://www.cs.toronto.edu/~gh/

今年 acl2020nlp的终生成就奖颁给了爱丁堡大学荣誉教授Bonnie Webber。Webber教授对篇章分析(discourse analysis)相关研究做出了杰出贡献,是Penn Discourse Treebank(PTDB)的主要作者。她也是ACL、AAAI和爱丁堡皇家学会的会士。

个人主页:

http://homepages.inf.ed.ac.uk/bonnie/

相关报道:

https://acl2020.org/blog/ACL-2020-best-papers/