2007年11月7日,星期三

审核过程中的责任制

最近,我对资助计划和论文评审(作为评审人)都非常敏感,我发现自己对评审过程越来越恼火。有时,甚至在大多数时候,评论可能会有所帮助。但是,我们所有人都会得到那些卑鄙或琐的评论,这些评论充其量是乏味的烦恼,或者最坏的情况是赠款杀手。我认为,匿名性以及对某篇评论的撰写缺乏公众责任感,使一些评论者无法自拔,常常造成附带损害。

有一个解决方案:将评论公开。

没有多少人会读它们。我们已经拥有足够的阅读能力。但是,也许只是知道您的陈词滥调可能会受到公众的嘲笑-例如在某些博客上;-)-足以引起一些限制和合理性。

公众评论还有其他好处。有时,审阅者与受审者之间的交流很有启发性,有时甚至比论文中的交流更有趣。在幕后进行辩论时,可能会有所益处,或者至少会引起讨论。发布的评论也会在回应评论时减少工作量:当您一遍又一遍地收到相同的批评时,您可以引用以前的评论而不是每次都写一个新的评论(请参阅Hickok&Poeppel对2000、2004、2007年发表的评论进行了回复,目的是反复彻底地消除您在此处提出的相同的疲劳点”)。它也可能会引起评论方面更具建设性的批评,甚至更愿意评论论文,因为审稿人会因提出建议而获得好评人们甚至可能会对自己的评论感到骄傲,以至于他们可能开始签名并列为酒吧。

也许我们将在这里开始发表对论文的评论。我不知道这是否会引起轰动。

4条评论:

匿名 said...

嗨,格雷格,

感谢这篇有趣的帖子—它激发了很多事后的想法:

我喜欢您对公开辩论的想法,尤其是评论数据库,在这里我们可以推荐我们的审稿人(彼此),而不是犯错,复制和粘贴。

在公开评论中,我唯一要关心的不是我们中的某些人可能在不愿透露姓名的情况下沉迷于脾气暴躁的老人风,但可能会对论文产生严重的担忧:

至少在到目前为止我得到的评论中,提出的很多要点只是在伤口上,这很公平,并且以一种或另一种方式改进了每个出版物。—这就是我们的目的。

我作为偶尔的审稿人发言,我觉得没有经验的年轻科学家在盲目审阅中可能会变得更加平等,他们的担忧可能会被认为是严肃的。
另外,我们是否希望评论像政客们一样握手相约(如果我们的名字立刻出现在这里,可能会变成这样)?在我们每个人实际上都依赖于这些出版物和赠款的领域中,我们不会公开发表评论,而不会导致(已经存在的)战略礼貌和宽大处理的增加吗?难道这不会不可避免地导致较差的科学被出版和追求吗?

总而言之,我想知道在这种盲目审查过程中是否没有值得保留的东西—否则,过去一百年的科学家会摆脱它,你不觉得吗?会说话的人的祝福莱比锡,乔纳斯·奥伯塞(Jonas Obleser)

格雷格希科克 说过...

嗨乔纳斯,

谢谢你的评论。我喜欢TB莱比锡的参考书!我们应该抛弃TB East和TB West的术语,仅指定我们的城市,以便所有人都能玩耍。无论如何,这就是该博客的目的-一个面向所有Talking Brains的开放论坛,而不仅仅是Hickok和Poeppel节目!依靠我们自己提供所有东西变得越来越困难-我们可以使用一些社区帮助!

我认为匿名性有好处,特别是如您所指出的那样,当初级研究人员参与进来时,我不一定认为应该放弃评审过程的一部分。因此,可以公开发表评论,但对于希望保留评论的人,评论者保持匿名。

这会改变审稿人的态度吗?我认为,至少对于大多数人而言。例如,如果您知道自己的评论会被大范围(甚至是匿名)读出给很多同事(例如,在CNS会议的主题演讲之前),那么您可能会更加谨慎。阅读您所审阅的论文的作者。

另一个例子,假设我开始在此博客中发表对我论文的评论以及我的批评性回应,特别是强调了荒谬的评论者评论。然后,假设您收到编辑要求来审查我的论文。您是否会更加小心一点以确保您的评论可靠?当然,审阅者对发表审阅的可能性感到恼火,可能会更努力地批评我的论文,但是,如果批评是有效的,那不是一件坏事。

我仍在尝试思考进行这样的绝技(在这里发表论文的评论)会带来什么后果。有针对它的期刊政策吗?编辑者会很难让人们审阅我的论文吗?编辑是否会拒绝处理我的投稿?还是,审稿人欢迎有机会为同行评审迄今为止秘密的“平行文献”做出公开贡献?

乔纳斯 说过...

亲爱的格雷格,我曾经看到一位同事非常直接的举动,只是用他的名字签署了他的评论。这给我留下了深刻的印象,也许我们应该以这种方式开始:签名,但保留不这样做的权利(参见上面的小知识)。
顺便说一句,Biomedcentral家族的一些期刊实际上按照您的建议去做:他们在最后一篇文章的旁边发表评论和各种版本的手稿(当然,要让评论者保持匿名,但无论如何... 看这里 例如—出现有关吸烟大脑的更多信息)。我同意,也许这实际上是要走的路。
最好,乔纳斯

乔纳斯 说过...

勘误:他们甚至发布审阅者的姓名— your point. J.