做者 | 陈大鑫机器学习
EMNLP 是由国际语言学会（ACL）下属的 SIGDAT 小组主办的天然语言处理领域的顶级国际会议，在计算语言学类别下影响力排名全球第二。EMNLP 每一年举办一次，去年则与 IJCNLP 联合，在香港举办，今年因为疫情转为线性举办。
post
昨日，EMNLP 2020 录取结果出炉：接受论文754篇，接收为Findings论文520篇，被拒论文1840篇， 整体接收率为24%。性能
论文结果一出，几家欢喜几家愁，有人连中几篇，还有人被拒表示立马转投AAAI......学习
作科研非常辛苦，AI科技评论祝每一位科研er都劳有所获。ui
今天AI科技评论主要关注一下顶会的变化。设计
由于新冠疫情，AI顶会的参与形式不可避免地从线下转为了线上，而在参会形式以外，关于AI顶会自己的一些制度创新也在“不悄然”地发生变化，好比前些天AI科技评论刚刚报道的NeurIPS开启论文预注册模式：3d
而今年，EMNLP 2020带来的创新是： “Findings of ACL: EMNLP 2020”。blog
这是一种新的接收论文类型，EMNLP表示，这将使更多高质量的论文（短篇和长篇）被接收。它用于刊登在主会上未被接收，但通过程序委员会评估为足够solid的工做，其实质、质量和新颖性有足够保证。这些论文将做为ACL选集的一部分被收录。进程
1资源
Findings详细介绍
Findings中的论文将遵循与EMNLP 2020会议录中接受的论文相同的时间表。也就是说，它们有相同的DDL。
这些论文与EMNLP会议接收的论文不一样之处在于，Findings论文不会在会议上进行演讲（包括演讲和poster）。被Findings接收的论文不能提交给其余会议或期刊。
除了新颖性、严谨性、实验鲁棒性等评审标准外，评审者还将对论文的“可发表性”进行评估。
EMNLP表示，他们提出这个想法的目的是，将主会论文的排名过程与评估论文是否具备足够的实质性、质量和新颖性的过程分开。这基于以下假设：存在大量符合可发表标准的被拒论文，因为各类缘由而没法被会议接收。
某些类型的论文更适合出如今Findings中，例如：
一、扩展了有关特定任务的SOTA水平的论文，可是对于EMNLP社区而言，却没有新颖的看法或发现；
二、实验实现良好，想法新颖，并提供详尽的分析和发现，但使用的方法被认为不够“新颖”；
评审委员会对评审Findings论文的广泛要求是，审稿人必须赞成论文写得好、有原创性、有合理的方法论并包括适当的分析和结论。
Findings论文与主会论文的不一样之处在于，无需产生明显的影响力，所以在小众领域开展的工做以及其余更具特点的工做会更符合资格。
被Findings接收的论文能够当即将其在线发表。对于时间特别紧迫的研究而言，这将是一个有吸引力的选择。
例如，若是因为被EMNLP拒绝而推迟发表，论文的新颖性将会下降。这对于在两次会议之间的重叠匿名时段的论文也有好处。固然，Findings接收论文的做者能够经过撤回或不提交论文终稿而选择退出。
EMNLP表示，许多论文在arXiv上都处于低迷状态，而从未在同行评审中发表过，由于它们被NLP研究的不断加快所取代。
这种新的发表方式将使更多的做者有机会在给定的时间点发表具备杰出贡献的论文，即便它们的长期影响可能不大。同时这也将减小AI领域中未经评审的工做，从而提升论文质量。
一些人提出“该计划会加重评审和论文接受方面的偏见”的担心，EMNLP则回应，审核过程并不完美，存在一些固有误差。他们将尽力缓解这些偏见，并确保评审过程尽量公平。会议的主要重点是仍是主会论文，只有在肯定主会论文以后，审稿人才会查看其他的论文，以确认那些值得被Findings接收的论文。
若是这种新的发表方式获得EMNLP社区的热烈欢迎，并获得足够的采纳，官方预计Findings机制将在以后的会议上继续运做。
最后，EMNLP程序主席表示，他们但愿研究人员能以在Findings中发表论文为荣。
以上有关Findings的介绍其实最先在今年4月19日就在EMNLP官网就有所通知，可是你们对于这种“新螃蟹”多少有些疑惑，因而，EMNLP 程序主席Tim Baldwin在今年7月30日对有关Findings的相关问题整理出了5个官方回答。
2
有关Findings的官方回答
一、Findings的存在是否会使评审人员有权利从主会上驳回论文，而这些论文原本是能够被接收的？
咱们不但愿这种状况发生，可是要认可有这种风险。根据此反馈，咱们决定不让评审人员者参与“Findings”决定；相反，该决定将彻底由高级程序委员（senior programme committee）决定。咱们将注意确保主会的接收决定不会受到有关Findings接收决定的影响。
二、咱们能更准确地定义将“Findings ”论文与主会论文区分开的缘由吗？
虽然咱们很乐意，可是它是很难肯定的。咱们在较早的博客文章中提供了一些普遍的指导原则，在未来可能会有更清晰的定义。暂时来说，咱们但愿这些差别将有序地出现，相似于标准会议上的talks和posters之间的差别，该会议目前也缺少具体的定义。
三、咱们将如何衡量Findings实验的成功与否？
首先，咱们将衡量在Findings中提供的论文数量占比。若是接受率很高，那么咱们将评判对该新出版物对社区的价值。深刻研究，咱们能够尝试描述论文提交及其评论的方面，这些方面能够预测做者的决定。
其次，咱们将对论文做者作一些调查，以评估他们对“Findings”的见解，包括那些收到“Findings”通知的论文做者，那些被主会接收的做者以及那些被拒绝的做者。咱们将去积极了解做者对Findings的偏好。咱们也欢迎社区提出更好地建议。
四、Findings对workshops和其余会议有什么影响？
论文被Findings接受的做者可能更喜欢将其投给workshops或转投随后的顶会 （此处@AAAI、 NAACL、ACL ）。
许多workshops 正朝着non-archival 进程迈进，容许做者介绍他们在其余会议发表的论文。所以，咱们将鼓励EMNLP上的workshops邀请接收为Findings论文的做者介绍他们的工做。请注意，并不是每篇论文都能与在EMNLP上举办的workshop匹配，所以没法保证这将适用于全部Findings论文。
整体而言， Findings不该下降workshops上发表论文的质量。咱们认可Findings可能会在会议周期的晚些时候影响会议，可是咱们认为做者和审稿人的利益使它成为一个值得权衡的选择。
五、在主会上，Findings 论文可能会有某种形式的presentation / poster吗？
咱们不打算如此。若是日程安排和技术容许，咱们也许能够为Findings 论文进行某种形式的简短介绍，例如在之前的会议中举行的“海报互吹--poster boaster”和“一分钟疯狂--one minute madness”会议。但如今咱们不承诺任何事情。
ACL刚刚进行了一项有关审核的调查，其中包括有关“Findings/存档”的问题。ACL审核委员会正在处理此反馈意见，并将等待EMNLP试验的结果，而后对Findings / ACL存档采起进一步的措施。
在EMNLP试验完成以后，咱们将对社区对Findings的观点有一个更好的了解。就目前状况而言，咱们不肯定这将是一次性的尝试，仍是像原先计划的那样继续做为将来会议的一部分。
3
有关Findings的知乎问答
昨日，在EMNLP 2020 录取结果出来后，知乎上“ 如何评价EMNLP增长Findings of EMNLP这个类别? ”的 问题受到了不少人 的关注 ，也有 一些大V作了相关回答。
一、清华大学刘知远@zibuyu9对此问题给出了很中肯的建议：
最近收到不少私信问怎么看Findings和建议，如下是个人我的见解。 由于录用Findings的是得分略低于录用正会的论文，这些论文应该质量都还能够，因此Findings应该会变成一份受人尊敬的NLP论文集；但同时，录用机制又给同行暗示，这些论文从统计上要比正会差一些。因此，个人建议是，若是你认为本身的工做还有较大的改进余地，也不着急抢先发表，能够考虑认真修改后转投后面的AAAI、NAACL或ACL; 不然，能够接受在Findings上发表，以腾出更多精力来开展新的研究工做。
二、复旦大学邱锡鹏本次EMNLP中了几篇Findings，这里现身说法：
中了几篇Findings，因此专门研究了下。 ACL的官方说明：https://2020.emnlp.org/blog/2020-07-30-findings-acl-response 定位：ACL官方认证的论文存档(a.k.a. “ACL archives”)，不像http://arxiv.org那样任何人均可以上传。 和主会接受论文的区别：Findings论文不给主会上报告，其它没有清晰定义，就像很难区分口头报告和海报同样。 For the time being, we hope that the differences will emerge organically, similar to the difference between talks and posters at a standard conference, which also lacks a concrete definition. 其实就是review分数低一些。看你们的反馈，此次EMNLP比主会接受论文的下线分数低1~2分。 要想评估含金量，最快的是等list公布后，能够评价下里面的论文质量。真正的评价估计得等3~5年以后了，到时看看这批论文的引用率怎样。 我的认为：1~2分的差距和评审中的随机性相比，几乎能够忽略。所以，含金量仍是有保证的。若是不在意是否必定要在CCF推荐列表中，也是个不错的选择。将精力多用在下一个工做上更值得。
三、还有一网友则从功利、影响力、学生/审稿人三个角度说道：
1 、功利的讲一讲，paper确定是被emnlp认可的，就像其余答主所说，regular和workshop之间。中国标杆CCF估计严格来看是算不了B了，毕竟short paper和Demo paper在正刊里都算不了。 会议论文指“Full paper”或“Regular paper”（正式发表的长文），对于会议上其余形式发表的论文如Short paper、Demo paper、Technical Brief、Summary以及做为伴随会议的Workshop等不计入目录考虑的范围。 2 、从影响力角度讲，在疫情时代，我以为挂arXiv就算发了，自媒体报道你就算oral了。以今年acl的经验来看，在线会议扩大影响力不太可能了。因此finding和主会可能都不如早点arXiv 3 、对学生来说，有总比没有强。确定是对研究的一种确定。对审稿人来说，这个极大的缓解了下一个会的压力，终于不用再审一次了。 总之，如今arXiv和leaderboard这么多，好的工做不会被埋没，也同时鼓励了不少新入行的同窗。多一个EMNLP finding我以为是个好东西。
四、知乎匿名网友1表示官方给出的Findings定位应该是介于主会和workshops之间：
其实EMNLP的官方说明仍是挺清楚的。 关于含金量，官方的说法是 expect to be higher for findings than for most workshops。因此定位应该是介于main conference和workshops之间。EMNLP强调findings有着和EMNLP相同的审稿和camera-ready timeline，以及会被发布在ACL anthology，让人以为和EMNLP有着至关的含金量。但我以为这些并非含金量的决定因素。。。。关键仍是看收录为findings的论文数量和质量。 至于什么样的工做应该更多考虑findings而不是转投别的conference，官方的说法是：This might be more pertinent if the paper has already been rejected from another publication venue, or if the author needs to fill out their CV, e.g., a PhD student wanting to secure a postdoc or faculty position. Other reasons might be that the importance of the work may diminish with time, and the work needs to be published quickly to have an impact. 这样看来就好比申请PHD或者Faculty，来不及等别的会出结果了，被findings收录确定是好过没有发表。。。 还有就是热门的方向和想法，极可能在转投时候被别人占坑的，快速在findings发表也是一个好的选择。
五、知乎匿名网友2则拿全日制非全日制的名分举例，直白地说道：
我的意见：说白了想收你钱，又不想给正式名分。 能够类比刚出来的时候非全日制硕士和全日制硕士，同一张卷子，同一复试线，全日制被刷的能够调剂非全日制。官方强调含金量同样，可是用人单位那边就难说了。所以有的被刷的同窗贪图名校的名分就读了非全，有的人不甘心再来就再来一年冲全日制。非全日制含金量主要看你的目标就业单位怎么看，同理，Findings的含金量主要看你的学校、目标单位的评价体系。 固然，除了实际上的含金量，还有面子的问题。 你读了北大非全，能够说本身是北大的，但老是底气不足，但起码是北大啊，但仍是非全，但起码是北大... 看你怎么权衡了。Findings同理。
六、知乎匿名网友3最是直接，直接拿数听说话：
Accept = 754 Accept-Findings = 520 Reject = 1840 Accept: 24% Accept+Findings: 41%
咱们接上面网友的数据来看，Accept+Findings的接收率达到了41%，若是都算以往的顶会论文应有的质量，那这是什么样的一个接收率呢？一届顶会能录取这么多论文吗？得分多少的论文才能被录取的？
那就得看看EMNLP近两年论文得分和录取状况了。
4
EMNLP近两年录取状况
EMNLP 2018年录取状况
EMNLP 2018共收到论文 2100 多篇（数量比去年多出 46% ），收录 549 篇， 接收率为 24.6% ；另外收到 72 篇 demo 论文（数量比去年多出 40% ），收录 29 篇（接收率为 40%）。
本次收录的论文中，长论文共有 1376 篇投稿，共收录 315 篇，接收率大约占 25.5%，其中，140 篇做为 talk 被收录，收录率为 10.2%，211 篇做为 Poster 被收录，收录率为 15.3%；短论文共有 855 篇投稿，共收录 198 篇，接收率大约占 23.2%，其中，81 篇做为 talk 被收录，收录率为 9.5%，117 篇做为 Poster 被收录，收录率为 13.7%。另外，大会还收录了 10 篇 TACL 论文，3 篇被做为 talk 收录，7 篇被做为 Poster 收录。
从论文得分状况来看，分数在 3.33 分如下的论文基本上都被拒了，得分在 3.67 以上的论文不多被拒。
EMNLP-IJCLPN 2019年录取状况
本次大会共收到1813篇长论文和1063篇短论文，有效投稿2876篇，比去年的2100余篇增加了1/3；其中长论文接收作Oral 报告164篇，Poster301篇， 接收率 25.6% ；短论文被接收Oral 48篇，Poster 170篇，接收率20.5%，总接收率23.7%，相比起去年 24.6%的接收率略有降低。
投 稿 论文 数量的增长也提高了论文选择的难度。 据AI科技评论了解，从论文的评审及程序委员会的组织结构上，EMNLP延续了相似ACL2019的作法，即每一个领域邀请一位资深区域主席（Senior Area Chair），每一个资深领域主席下设多名领域主席（Area Chair），每篇论文由一名AC主席及三名评审者（Reviewer）负责。
本次会议的AC共有152人之多，以保证全部论文都能获得充分的阅读和评分。 从今年的论文得分和录用率看，今年的论文录用难度加大，去年分数在 3.67 及以上的论文不多被拒，而今年分数在3.67的论文仍有30%以上被拒，要获得3.83分才会比较保险。 这一结果也反映出了NLP研究的火热和竞争激烈程度。
能够看出，EMNLP的最近两年的录取率都稳定在24%-25%，所以，中了Findings的某些论文的质量是存在商榷的？也说不许其实每一年都有这么多优秀论文，可是以往都被各类奇葩评审和严控录取率给限制住了？
5
不盲目以SOTA评论文
今年5月份， EMNLP 组委会就专门向审稿人发布了一篇建议公告，指出审稿人应该作什么以及不该该作什么，并特别强调“一篇论文的贡献能够是在效率、泛化能力、可解释性和许多其它的指标上有所进步。任何使人信服的贡献都不该该仅仅由于没有在某些指标上取得最高排名而被拒绝。”
在这里，EMNLP 组委会但愿从新强调一些建议/不建议作的事，但愿它们可以帮助审稿人和做者。
首先，请评价论文的贡献。此时，你应该用到你在 NLP 领域的专业知识。咱们建议你不该该仅仅由于做者在论文中给出的实验结果较好，或者在数学上彷佛很复杂就接收论文。这都不是论文构成贡献的充分或必要条件。
同时，咱们还建议你不该该仅仅由于有些论文的实验结果没有比目前最佳的工做（SOTA）好就拒掉它们。在以前的 ACL 大会上，一些审稿人过于看重 SOTA 的模型性能，他们给任何没有达到 SOTA 性能的系统都打了低分。
然而，咱们的目的是发表真正最好的论文，那么一个具备建设性的问题就是「论文应该在哪些方面最早进？」。正如博文「Peer review in NLP: reject-if-not-SOTA」中所谈到的，一篇论文的贡献能够是在效率、泛化能力、可解释性和许多其它的指标上有所进步。任何使人信服的贡献都不该该仅仅由于没有在某些指标上取得最高的排名而被拒绝。
其次，在阅读论文和撰写审稿意见时，请考虑下面这些重要的因素：
论文提出了什么学术观点，论文的哪些内容对这些观点起了什么支撑做用？若是论文提出了观点 X 并取得了必定的性能提高，那么这种性能提高是否真的是由 X 带来的？
审稿意见要详细具体。例如，若是你认为做者忽略了一些须要引用的关键论文，请在你的审稿意见中将这些参考文献列出来。引用这些文献可能对你来讲是显而易见的，可是做者每每并不这么清楚。详细的审稿意见能够帮助做者制定一份有力的针对审稿意见的应对方案，并在他们的论文中解决这些问题。值得注意的是，做者并不必定要引用或对比同时期的其它工做（即在论文提交三个月内出现的其它文献），特别是在这些论文没有在通过同行评审的平台上发表的状况下。
请提出具备建设性的建议。指出论文在哪些方面作得很差，可能在评审时起到把关性的做用（给出拒稿的理由），可是这样作对做者的帮助就没有那么大了。给出一些关于做者能够如何改进这些存在问题的方面的建议，则可让他们把工做作得更好。
即便在批评的时候，也请注意使用友善的语言。审稿人可能会很容易变得有些激动，写出一些你永远不会当着别人的面说的不礼貌的话。请尽可能在你的审稿意见中保持礼貌。最后须要注意的是，如今愈来愈多的做者会在社交媒体上公开评审意见（尤为是当这些评审意见以不切实际的理由拒掉这些论文时）。
所以，咱们建议审稿人不该该基于下面的缘由拒掉一篇论文：
论文的语言或写做风格。请重点关注论文的实质性内容。咱们理解，有时论文的语言或写做风格不好，以致于审稿人没法弄懂论文的内容和实质。在这种状况下，拒稿是能够的，但你只有在努力弄懂这篇论文后才能这么作。
论文的研究工做针对的语言不是英语。咱们关注的是针对任何语言的天然语言处理。
论文的实验结果并不比 SOTA 的工做好。请根据上文和「Peer review in NLP: reject-if-not-SOTA」（https://hackingsemantics.xyz/2020/reviewing-models/）中给出的建议，查看论文的贡献和发现。
论文没有使用某类特定的方法（例如，深度学习）。好的工做并不要求必定要使用某种特定的方法。请说明为何须要这种方法。想一想这篇论文的贡献是什么，请牢记：使用多种方法并非一件坏事。
论文的方法过于简单。咱们的目的是不要设计出最为复杂的方法。在这里，请再想一想论文的贡献和发现是什么。一般，使用最简单的方法完成的论文的引用量是最多的。若是某种简单的方法比之前的工做中更复杂的方法性能更好，那么这一般是一个重要的发现。
论文的主题范围较窄或者过期。请保持开放的心态。咱们并不但愿整个研究社区都争相研究同一个火热的话题。请关注论文的贡献，想一想它对咱们的研究社区有何影响。
若是论文的主题是全新的，这样一来咱们就没有现有的对比工做，或者全部现有的工做都是在另外的领域完成的。咱们须要对涉足新领域的论文保持兴趣。论
论文介绍的是研究资源。在像 NLP 这样依赖于有监督机器学习的领域中，数据集的开发与建模工做同等重要。博文「Peer review in NLP: resource papers」（https://hackingsemantics.xyz/2020/reviewing-data/）讨论了接收/驳回一篇描述研究资源的论文的原则，你们可参考。
https://2020.emnlp.org/blog/2020-04-19-findings-of-emnlp/
https://2020.emnlp.org/blog/2020-05-17-write-good-reviews/
https://2020.emnlp.org/blog/2020-07-30-findings-acl-response/
EMNLP 9月16日出录用结果了！
[赠书福利]
在AI科技评论9月11日推文“”留言区留言，谈一谈你对本书的相关见解、期待等。
AI 科技评论将会在留言区选出5名读者，每人送出《柏拉图与技术呆子》一本。
活动规则：
1. 在留言区留言，留言点赞最高且留言质量较高的前 5 位读者将得到赠书。得到赠书的读者请联系 AI 科技评论客服（aitechreview）。
2. 留言内容和留言质量会有筛选，例如“选我上去”等内容将不会被筛选，亦不会中奖。
3. 本活动时间为2020年9月11日 - 2020年9月18日（23:00），活动推送内仅容许中奖一次。