2009年2月26日,星期四

伏都教大亨(Great Voodoo Hunt):提醒您可以绘制fMRI数据

我可以看到在涉及fMRI研究的每场学术讨论会,海报会议,工作面试和平台演示中都播放着法庭风格的戏剧(更不用说评论了!)...

原告:[Sterns]您是否曾经对来自同一数据定义的ROI的数据进行统计测试?
功能磁共振成像研究员:[眼睛紧张地抽搐]先生。
原告:您是否曾经使用定义ROI的数据在ROI和行为数据之间进行关联?
功能磁共振成像研究员:[擦掉额头上的汗水,畏缩]先生。决不。
原告:[渐进式升级]您是否曾经通过ROI绘制过数据?
功能磁共振成像研究员:[泪流满面]是的!是的,但是我发誓我不伤害任何人!
听众:[[戏弄,嘲笑和驳斥研究人员的全部作品,因为-暗示了戏剧性的音乐-巫毒!]


毫无疑问,您知道Ed Vul的 伏都教相关 到现在为止。这是一篇很有用的论文,因为它提醒我们保持分析独立。当然,统计上没有什么新鲜事,但是它永远不会被提醒。我决定我真的不想花太多时间在这里谈论大脑的话题,因为在没有我们帮助的情况下,它引起了大量关注。但是后来有人从我身上向我指出了这一点 Ed与Nancy Kanwisher的一章:

当研究人员简单地绘制(而不是测试)一组基于同一信号变化选择的体素中的信号变化时,就会发生最常见,最简单和最无害的非独立性。 ...通常,绘制非独立数据会产生误导,因为选择标准将通过选择具有特定特征的噪声可能产生的那些影响与数据中可能存在的任何影响混为一谈。


也许有人会因此认为我们不应该(不允许)从ROI中绘制数据,否则VOODOO警察会追捕我们。但是,不查找和不发布这些图表将是一个巨大的错误。通过查看图表,您可以区分在各种情况下由于不同水平的正向激活,不同程度的负向激活(相对于基线的信号减少)或一种情况变为正状态而另一种情况变为负值所导致的差异。这些不同的模式可能提出不同的理论解释。它还可能暗示其他差异,例如仅在激活图中无法检测到的响应延迟。如果我们只看对比图,而没有检查幅度图或时程图,那么我们可能会错过重要信息。请注意,当您查看幅度差异的大小时,它可能会略有偏差。

需要明确的是,Vul和Kanwisher将 为想要从ROI中发布图表的任何研究人员挑出他们的巫毒娃娃。实际上,只要将它们用于探索与选择标准正交的激活模式,他们就会很快注意到检查和发布此类图的价值:

另一方面,非独立数据的图有时包含与选择标准正交的有用信息。当为交互选择数据时,数据的非独立图显示了交互采取多种可能形式中的哪一种。在选定主要效果的情况下,读者可能能够将激活与基线进行比较并评估选择性。无论哪种情况,都可能会从时程中收集到有价值,独立且正交的信息。简而言之,在非独立数据的图表中经常会隐藏信息。但是,这些图的作者通常不会吸引读者的信息’注意。因此,我们不反对显示包含冗余(且可能有偏差)信息的图,我们不反对隐式使用这些图以通过使用非独立数据来说服读者。


鉴于对所有这些伏都教徒的嗡嗡声,我衷心希望事情不会退化为狩猎女巫。 Ed和同事正确地提醒我们在对fMRI数据进行统计学处理时要小心。但是,我们同样要小心,不要变成无意识的迫害者。

附言:万一您对伏都教解说的胃口还没有满足 布拉德·布斯鲍姆(Brad Buchsbaum)最近的批评.

7条评论:

乔纳斯说过...

(Greg,这个Brad Buchsbaum的链接最后似乎断开了。Best,J。)

格雷格希科克说过...

谢谢。解决它。

伊斯雷尔说过...

外面有人想重写Jimi Hendrix的“ Voodoo Chile”的歌词吗?

尼科·克里格斯科特(Niko Kriegeskorte)说过...

我同意在评估结果时应保持冷静。

但是“猎巫”暗示问题出在迫害者的想象中。

ed等。对于他们研究的特定研究,可能夸大了偏差的大小。但是偏差的确来自非独立的选择性分析。扭曲的分析通常被解释为证据。此外,非选择性映射中的多次测试校正经常不足。

该问题还不仅限于社交神经科学或大脑成像。循环性也发生在电生理和行为研究中。

我们确实需要关注给定分析是否可以自我实现-尤其是因为循环分析的结果看起来更强大。

避免循环性是我们领域的持续挑战。讨论它只会有所帮助。

我们的模拟和测试表明:
(a)在许多情况下偏见将是适度的。 (但是,当然,他们可以将测试推到显着性阈值之上。因此,非独立的ROI分析永远不能作为所选效果的证据。)
(b)在某些情况下(尤其是对于通道的不连续选择或排序),偏差可能会很大。

-尼科

格雷格希科克说过...

感谢您的评论Niko,我同意100%。我完全不担心“原告”会导致女巫的追捕。像爱德(Ed)这样的人和您本人都是花了很多时间仔细思考这些问题的人,因此对问题采取了非常理性的方法。我更担心伏都教戒律的临时消费者。这些人可能对这些问题没有认真考虑,可能会在批判和论文审查中过度使用他们的批评。

等不及要阅读有关您的模拟的更多信息。我们可以期待不久的公开报告吗?

马修·利伯曼说过...

对于感兴趣的任何人,去年秋天在Piotr Winkielman(Voodoo论文的作者之一)和我(Matt Lieberman)之间,实验社会心理学家协会就Voodoo相关性进行了公开辩论。辩论已在线发布。

http://www.scn.ucla.edu/Voodoo&TypeII.html

马修·利伯曼说过...

对于感兴趣的任何人,去年秋天在Piotr Winkielman(Voodoo论文的作者之一)和我(Matt Lieberman)之间,实验社会心理学家协会就Voodoo相关性进行了公开辩论。辩论已在线发布。

http://www.scn.ucla.edu/Voodoo&TypeII.html