赛尔译文 | 做为审稿人你犯过这些错误吗? - 知乎

https://zhuanlan.zhihu.com/p/105455353

做者：Niklas Elmqvist
原文：Mistakes Reviewers Make

连接： https://sites.umiacs.umd.edu/elm/2016/02/01/mistakes-reviewers-make/
译者：哈工大SCIR 王昊淳，徐啸
转载须注明出处：哈工大SCIR

编者按：近年来AI领域会议投稿数呈现爆炸式增加，对审稿人数的需求也明显提升。然而，正如文中所说，新审稿人几乎得不到任何形式的训练就会投身审稿工做中，并被要求对投稿论文做出重要的评判，而这些评判有时甚至会改变其背后科研人员的命运。目前是ACL审稿期，哈工大SCIR为你们翻译了此文但愿能帮助你们更好地完成审稿任务。

审稿人常犯的错误

Niklas Elmqvist, University of Maryland, College Park

科学界是以同行评审为基础的，即由同行们来评价咱们投出论文的质量。随着发表论文的压力不断增长，各个领域的学术期刊和会议的投稿量也随之增加。考虑到每篇论文通常须要至少三位审稿人审阅，审稿人数量也必须扩充。

不幸的是，培训新的审稿人是很是耗时的，由于想要在有限时间内写出公平、公正且专业的文章点评并不是易事。在理想状况下，新人审稿人应该有机会与其导师紧密合做来学习如何进行同行评审，或者在实际评审前向其可信赖的同僚借鉴经验，学会如何造成本身观点，并在各个方面进行自我修正。以此在开始审稿工做前锻炼并提升新审稿人区分论文中主要问题和次要问题的能力。但在实际状况中，上述过程是很难实现的，新审稿人几乎得不到任何形式的训练，就会投身真实的审稿工做中，并被要求对投稿论文做出重要的评判，而这些评判有时会改变其背后科研人员的命运。

让新审稿人不得不边作边学是有问题的，因为他们缺少经验、不够成熟以及对领域内的其余内容掌握度不足，他们会常常犯一些错误。这就让一些本应该被接收的文章却被拒绝或者反之，最终结果是论文评审过程的质量总体降低，会议与期刊水平也会一同降低。

幸运的是，审稿人所犯错误的特征一般比较相近，在近十多年里，我做为外部评审、副主编、程序委员会成员，一直在进行论文评审工做，已经碰见过至关多的这类错误（其中包括一些我本身的）。我写这篇文章的主要目标是描述清楚这些错误，同时但愿能够加快新审稿人的学习进程并帮助他们提升他们的评审质量。所以上升到一种高度来讲，提升新审稿人的审稿质量等同于提升整个同行评审的质量。全部科学家都知道，本身的文章若是由于一些荒谬或者无知的评价而被拒绝是一件多么让人恼火事情。因此个人最终目标就是减少这样低质量的评论出现的频率。

本篇文章并非一篇关于如何评审文章的通用指南，而是关于如何让没有经验的新审稿人避免犯一些常见错误的指导。事实上，有些错误在资深审稿人中也至关常见，因此我建议全部从事论文评审工做的人都至少略读我接下来要说的内容。

了解你本身

专业的分析师知道，绝对的客观是不可能实现的，每一个人都或多或少地有一些偏见。他们能正确地认识并接受他们的偏见，并在此基础上修改他们的分析结果，而不是徒劳地试图消除偏见。相似的是，没有经验的审稿人常常会有以下的一些共同特色，了解这些特色对准备评审工做会有一些帮助：

• 好胜心强：大多数新审稿人都是刚刚开始科研工做的研究生，这意味着他们年轻、对知识十分渴求、急切地想要证实本身，这也可能意味着他们会将其余人的投稿视为本身的潜在对手。
• 注重细节：刚入行的研究者常常沉浸在研究的细枝末节，例如搭建软件、收集数据以及进行实验。这意味着他们倾向于关注细节（不管重要与否）而不是顾全大局。
• 专业技能：不少新审稿人自夸在某个领域造诣很高，然而事实常常是他们的专业知识很是的局限。
• 迷信权威（Star-struck）：年轻的研究者常常会仰慕资深或知名的研究者。在单盲评审中，这可能会致使他们更偏向这样的资深研究者的论文（或者有时相反，便可能存在研究者在单盲评审中故意不倾向资深研究者的文章的状况）。

常见的意见

同行评审从根本上来讲是一种主观的观点，审稿人须要就这项工做是否能够被发表给出本身的想法，然而尽管评审内容仅仅表明了我的见解，你们也但愿审稿人能够提供本身评审的依据，并且不少意见也并不合适。如下是一些常见的审稿人须要谨慎给出的意见：

• 「这项工做并不适合这个主题」 不少审稿人都会给出这个意见，甚至对于资深审稿人来讲也会有这样的状况。当审稿人发现一篇文章的方法并非解决该领域问题的典型方法时，不少人会仅仅由于这个缘由而拒绝这篇论文，若是你在审稿遇到这样的状况，不妨先思考一下咱们是否须要这样的保守，这种新方法有没有可能会推进这个领域继续向前发展呢？
• 「这项工做并不新颖」缺少创新性是拒绝一篇文章的常见理由，然而当你在评审中想用这个理由时，务必肯定你能给出确凿的的证据。咱们的批评不能只基于一种直觉、一种感受，或者一种别人已经作过这样的事情了的认知。因此当咱们想要由于一篇文章不够新颖而拒绝它，但又找不到任何一篇已有的文章、产品或网站来支持这个想法时，咱们的想法就多是错的。
• 「这项工做作得不够充分」哪怕一篇文章的贡献很新颖，咱们仍是会有其余疑问，相比于SOTA它是否足够新颖或者足够重要呢？这种问题通常都难以回答，通常和投稿的会议或期刊的声望和指望有关，因此咱们仍是须要在写评审内容时三思然后行。你肯定在作这个评价时有作到公正且尊重客观事实了吗？你是否有列好佐证你观点的证据？若是对论文重要性的判别模糊不清，咱们最好先不要急于否认这篇论文，由于咱们多是错的。
• 「这项工做过于简单了」这是“工做作得不够充分”的一种特殊说法，当审稿人（甚至资深审稿人）看到一种很简单的想法但却找不到以前已经尝试过这种想法的文章时，他们就会用 “过于简单”来评价这篇论文。这样的简单想法在审稿人看来是很有争议的，由于他们以为这种想法随便什么人甚至审稿人本身都能想到，并且有时一些人会用一种轻蔑的眼光来看待，认为不该该接收这样近乎唾手可得、不须要多少努力的文章。然而在被带入到这种感受以前，首先要记住，简单也是困难的，最好的想法每每是那些回想起来直白简单，可是一开始须要灵光乍现才能发现的想法。
• 「这项工做没什么意义」想象你身处这样的场景，你认同这项工做很是适合这个主题，也认为它足够的新颖，研究得足够充分而值得发表，可是你或许以为这篇文章并不会对这个领域的研究带来什么好处，可能由于你并不认同文中的提出的问题、解决办法或者验证办法。或许你以为做者研究的主题并不重要，或许他们所作的用户研究没有什么有价值的发现，或许你是一个注重实践的人但你以为他们提出的解决办法永远也没法用到实际生活中，或许你是一名研究者但你以为他们的工做过于偏向工程而对科学界没有什么贡献。尽管这些都是有理有据的理由，但仍是要提供足够的证据来支持你的想法，并要花一点时间来反思，你的我的背景是否影响了你的判断。此外，咱们要记住，基础研究和应用研究都应该在科学界有一席之地。

除了以上这些关于文章价值的评价，还有一些特别的意见常常被说起：

• 「没有进行用户研究 (user study)」人机交互领域的研究通常都包括用户研究（受控条件下或非受控条件下）可是信息可视化领域的边缘人机交互研究工做通常并不会包括，因此咱们不能仅仅由于一篇文章没有用户研究而本能地拒绝它（而不考虑文章背景）。首先咱们要问本身，在文章做者的研究领域中，用户研究是不是必要的？通常来讲，能够采用 Munzner 的嵌套评测模型(nested evaluation model)来肯定一个合适的评测方法，还有不少方法均可以用来评价文章的贡献。
  https://www.cs.ubc.ca/labs/imager/tr/2009/NestedModel/
  
• 「他们没有引用（个人）一些重要的工做」是的，若是存在和当前投稿的文章相关的先前工做，做者应当加以引用，并且审阅一篇忽略前人工做贡献的文章也是一件让人恼火的事情，尤为是看成者忽视了你本身以前的相关工做的时候。咱们很容易认定做者出于某种恶意而故意地避免引用一些文献，可是更有可能的是做者们只是不知道这些工做或者是忘记了引用。在论文的小修订过程当中，加上一两条新的参考文献是可行的，一般状况下不该该是拒稿的理由（除非被忽略的参考文献对于文章的贡献是很是关键的），所以咱们应该在评审内容中建议做者修正他们的参考文献内容。
• 「他们的回复让我很生气」一些期刊和会议（如ACM CHI和ACM UIST）容许做者一同提交新修订好的文章和以前收到的评审内容的回复。有时，一些做者的回复可能让人以为有些小气、不礼貌甚至有些傲慢。在这种状况下，审稿人很容易产生以其人之道还治其人之身的想法--一般是草率地拒绝这个做者的文章，可是在这作出这种本能反应以前，首先花点时间换位思考一下，或许他们以为你误解了他们的工做。把一些次要的细节夸大了，或者在以前的评审内容中你的用词很消极甚至粗鲁，又或者他们没有意识到他们的用词有所冒犯，可能由于英语不是他们的母语。试着略过愤怒的回复，对文章内容持客观的态度。他们是否在乎你以前评论的内容并在这一版本中加以修改？仍是选择忽视你和其余审稿人的反馈信息？若是他们确实改进了文章，学作一个胸怀宽广的人，不要在乎他们回复中不友善的语气。

常见的错误

上一节中描述了不适合做为拒绝论文理由的一些简单的审稿意见。在本节中，咱们列出了一些审稿人一般会犯的更复杂的错误：

译者注：加粗文本表示常见的错误的作法或观点

• 审阅你认为的理想化论文版本，而不是审阅做者提交的论文版本。在审稿时，咱们很容易阅读一篇已提交论文的字里行间，特别是当论文涉及到你本身曾经思考过甚至工做过的领域的时候，你可能会发现本身在填补空白，以特定的方式解释结果，或者基于本身的背景去赞同或不赞同特定的设计选择。这会同时产生消极与积极的结果。记住，实际提交的才是做者的版本，虽然它能够根据审稿人的反馈进行改进，但它可能永远不会符合你的理想化论文版本。审阅手边的论文，而不是梦。
• 过分校准。全部审稿人（尤为是新审稿人）都应该经过阅读其余审稿人对同一篇论文的评价和评分来校准他们的意见。这对审稿人群体起到了很好的教育做用。许多会议容许审稿人在作出审稿决定并通知做者以前，互相阅读审稿意见。这样就能够对当前论文的审稿意见进行校准，但也可能对审稿过程当中的思想交流产生不利影响。更具体地说，有时您的评价和评分可能与其余审稿人不一致。一个常见的反应是想要经过将你本身的审稿评分匆忙修改成更接近于广泛共识的审稿评分来顺应其余审稿人。这种现象一般致使评分向中间值趋近：高度负面的评分被提升，而高度正面的评分被下降。然而，在你详细阅读审稿评分相应的审稿意见以前，要避免毫无心识地改变你的审稿评分（尤为是下降评分）。若是其余审稿人发现你彻底缺乏一些优势或缺点，必定要继续修改你的分数（并更新你的审稿意见）。另外一方面，若是他们只是对你已经意识到的问题的严重性有不一样的见解，考虑保持你的审稿评分不变。尤为是对非传统的论文，须要更多的捍卫者愿意在评审过程当中为其自告奋勇。
• 粗鲁或恶毒。在一篇评论论文中，没有理由表现得粗鲁或使人讨厌（即便是公然抄袭，有更好的方法来处理这种状况）。记住，在审稿过程的另外一端，会有另外一我的阅读你的论文。一般论文做者中至少有一位是学生，或许就像你刚开始作研究同样，粗鲁、恶毒的评论会对他们产生恶劣的影响。另外一些人则但愿他们能获得一份新的工做，新的晋升，新的拨款，或者仅仅是一个参加特定会议的理由。这样易受影响的做者很容易把严厉的拒绝看成对本身工做的人身攻击。在一篇审稿中，一个特别使人讨厌的表达会让学生流泪，甚至让学生彻底放弃研究，这并很多见。即便你想建议拒绝一篇论文，也有不少方法能够写出这样的评论，而不诉诸于伤害性或人身攻击。
• 不灵活（“老古板”综合症）。有时一个审稿人会被证实是错的。你可能只是误解了论文的关键部分，以错误的理由建议接受或（更有可能）拒绝它。多是做者本身在对您的审稿意见的回应中向您指出了这一点，也多是其余审稿人或编辑/程序委员会成员告诉您的。若是发生这种状况，请保持开放的心态并准备好改变你的观点。人们以为本身的职业声誉有朝不保夕的趋势，因此不得不坚持本身的立场，但这是双盲评审的部分缘由。你能够很容易改变主意而又不丢脸。没有人会知道，而且你会由于作了这件事而变得更强大。
• 指望完美。没有一份论文是完美的。Tamara Munzner 将科学描述为“经过纸张大小的单元进行的对话”。基于这个比喻，对于每个纸张大小的单元来讲，若是它在某种程度上推进了对话，那么它应该被看做是有价值的（并被接受出版）。在这个前提下，不能要求每一篇论文都是天衣无缝的。由于这个过程是一个对话（有不少参与者），因此只要每句话都能提供一些别人能够利用、纠正或使用的东西，这就足够了。每次当你由于琐碎或次要的细节而拒绝论文时，都要记起这个对话的概念。若是这篇论文颇有意义，尽管它有一些小瑕疵，你或许也该接受它？
  https://tamaramunzner.wordpress.com/2016/01/16/on-Conventions-between-fields-in-Experiment-Design-and-Analysis/
  
• 审稿的对象是做者，而不是这篇论文。避免使用“做者”(“the authors")做为代词，而使用“论文”(“the paper”)。例如，能够说「论文未能纠正成对比较……」而不是「做者未能纠正成对比较……」。后者将责任推给做者本人，而前者则代表批评是针对论文自己的。这使你的评论在语气上少了不少我的色彩，并使做者更容易将本身与论文中的错误区分开。
• 审稿时考虑论文做者的其余工做，而不是只考虑这篇论文。知道做者的姓名会使你很难区分你对做者如今提交的论文的见解和对其他做品的综合见解。即便你对其中一位或几位做者有很高的评价，在审阅他们提交的新论文时也要尽可能忽略这一背景。即便是知名的研究人员，有时也会进行糟糕的研究或撰写糟糕的论文。再次强调，审阅手边的论文，而不是梦（或人）。

对本身的提问

最后，在结束审稿后，必定要让本身回答下面的问题：

• 你相信这篇论文的贡献吗？太多的时候，没有经验的审稿人由于一些小问题而拒绝一篇工做，而这些小问题并不真正影响总体工做。真正的问题是你是否相信这篇论文的贡献。若是相信的话，这项工做极可能会被接受。例如，一篇描述很酷的新系统的论文，其用户研究有瑕疵，但可能仍然值得发表。只要其用户研究不做为阻碍或树立一个危险的先例，也许新系统和新想法应该占上风？
  
• 你在小题大作吗？有时候，对一篇论文的主要批评其实是大范围内的一个小细节。新审稿人特别容易犯这个错误，由于他们每每缺少看得更广的能力。问问你本身，非最佳的色彩比例，缺失用户研究细节，或者糟糕的用户界面设计，对论文的总体信息到底有多重要。在你的审稿意见中有针对性的评论可能就足够了，更好的选择是将改正这些问题做为论文接受的条件！
• 发表这篇论文会不会很尴尬？最重要的是，不要伤害要求你进行审阅的会议或期刊。若是你在你所在领域的会议或期刊上看到这篇论文会令你感到难为情，你绝对应该拒绝它。即便同行评审过程是匿名的，听到别人愤怒地谈论你在会议或期刊上接受的那篇糟糕的论文也是不愉快的。请注意，我这里所说的“尴尬”并非指论文的主题——任何主题只要适合通常的研究领域就能够——而是指论文的质量是否足够高，是否有致命的缺陷。通常来讲，你不该该仅仅由于论文的内容让你感到尴尬而拒绝它，即便它违背了你的原则，或者让你感到不舒服。你应该是一个客观的科学家，记得吗？
• 你会错吗？你绝对确定你的审稿意见真实，你对问题和解决方案的见解是正确的吗？你肯定你在这方面有足够的专业知识来提出强有力的建议吗？再次提醒，若是你不能百分之百肯定本身是对的，那么在使用最强有力的攻击言论时必定要当心。不然，若是你被证实是错的，这将是使人尴尬的（无论是否匿名）。
• 若是你本身收到这篇评论，你会生气吗？这确实是一篇好审稿意见的试金石。若是另外一个审稿人把你所提供的反馈给了你，你会不高兴吗？我并非指评审的结果——每一个人在论文被拒绝时都会感到沮丧——而是指你写审稿意见的方式。在建议拒绝的同时，尽量保持礼貌、友好和鼓励。

总结

在读完上文列出的常见意见，错误和问题后，你可能会以为我几乎拿走了你兵工厂里的全部武器。若是我不能对稿件的合适性、新颖性、长度、范围和相关性发表评论，我怎么能拒绝一篇论文呢？答案是，你固然能够根据这些标准中的任何一条来拒绝一篇论文。例如，对于某个研究领域来讲，一些明显偏离主题的论文应该被当即否决。有些论文绝对须要用户研究来验证他们的贡献。若是以前的工做是论文主题的核心，不引用以前的工做固然是拒绝的理由。傲慢的做者故意侮辱他们的审稿人，并拒绝听取反馈意见，应该被拒绝。这样的例子不胜枚举。

相反，我写这篇指南的目的是迫使您对本身的观点进行更深刻的思考和检讨，并指出审稿人容易犯的常见错误。从本质上讲，同行评议是一种不完善的机制，没法根据高度主观和我的的过程作出客观决定。毕竟，正如本文前面所述，当您被要求撰写审稿意见时，您被委托根据本身的专业知识、经验和观点对一篇科学论文进行判断。我只是但愿你尽全力从而不辜负被信任。记住《蜘蛛侠》里的本叔叔(Ben)的话：能力越大，责任越大。

本期责任编辑：丁 效

本期编辑：顾宇轩