2015年10月13日,星期二

体现的认知挑战

典型的具体认知实验会询问低级的感觉或运动信息是否会影响该任务的执行或执行该任务。 这些期刊充斥着这些实验。 其中一些影响甚至可能是真实的。 假设其中某些影响确实是真实的,那么让我们继续下一个问题:体现认知能解释多少表现差异?体现模型能否在标准模型上进行改进?

我之前已经指出 体现出来的效果充其量是很小的。这是一个例子-统计上有意义的交叉互动-来自相当引人注目的 TMS研究 该研究调查了运动皮层在刺激嘴唇与手部运动区域期间识别与嘴唇和手相关的运动中的作用:


效果大小=〜1-2% 这是这类研究的典型代表,并为剩余98%至99%的方差求一个理论。

一个挑战

因此,让我在精心设计的非具体语音生成模型的背景下,对具体化的认知人群提出挑战。 让我们以一组通用数据为基础,构建我们的体现和非体现的计算模型,并查看标准与体现模型(或更可能是体现)占了多少数据 零件 较标准的型号)。

这是一个数据库 其中包含来自大量失语症患者的命名数据。 目的是建立一个解释命名错误分布的模型。

这是一个标准的非体现模型 我们称其为语义-词法-听觉-运动的SLAM。 (不,“听觉运动”部分不是体现在理论学家所隐含的意义上,即,网络的这一部分的表示水平是语音的和抽象的。) 这是模型结构的图片:


该模型约占患者命名错误类型分布差异的98%。 这是适合单个患者的示例(来自Walker的图&Hickok,印刷中,PB&R),它显示了患者(虚线)和模型(实线)的各种响应类型类别(正确,语义错误,形式错误等)的响应百分比:


顺便提一句,马特·戈德瑞克(Matt Goldrick)在即将对SLAM模型论文做出的答复中指出,由于患者的语义错误为零,而该模型预测了一些错误,因此这种拟合表示模型完全失败。这是一个有趣的主张,我们必须认真对待并进行定量评估,这一点我们做到了。 But I digress.

关键是,如果您认为体现认知是新的范式,则需要开始将体现模型与非体现模型进行比较,以检验您的主张。 在这里,我们有一个理想的测试平台:使用抽象语言表示法来建立大型数据集的已建立模型。

我的挑战:建立一个击败SLAM的具体模型。 您有2%的改进空间。



4条评论:

丹·米尔曼说过...

实际上,该数据库站点当前正在维修。我们希望将其备份并尽快运行。

马特·戈德里克(Matt Goldrick)说过...

考虑这些数据时,我认为'重要的是,任何研究都要仔细考虑数据集中的方差是否 应该 归因于'词汇访问模型。我认为它'这些数据很可能包含对流程有缺陷的个人"prior"词汇访问(词汇语义,概念处理)以及具有缺陷的个人"subsequent"词汇访问(发音计划和执行)。鉴于任何模型都必须限制范围,因此它'重要的是,模型仅会收到与模型相关的数据的信用(或功劳)。

我也相信并非所有偏差都是平等的。如果模型说某个错误类型永远都不会发生,并且发生了,那对我来说似乎是一个严重的问题。绝不会产生语义错误的患者的预计发生的错误,以及仅产生语义错误的语音错误的预计发生的过程,并不简单"rounding errors"表示模拟细节中的不准确性。它们表示匹配患者错误模式的定性失败。

在我对SLAM提案的评论中(更详细地讨论了这些观点) 这里;格雷格一世'我不确定您的回复是否到位?)

格雷格希科克说过...

很公平。重点仍然是:我们有数据,有定量模型。如果您认为对数据有更好的解释,那么让'明确并定量比较模型。

莫脑说过...

嗨,格雷格,

感谢您的有趣帖子。

与该模型或其他模型无关,在任何相关度量**下,由模型提供的关于方差1-2%的潜在科学进步都是应该全面解决的。这不是问题‘whatabout’很好,但只需考虑功能磁共振成像中的代表性相似性分析(RSA)的情况。从演讲中我’ve seen / paper I'在单参与者水平上,我们已经审查(并且通常没有报告),这些相关性通常占不到BOLD信号方差的1%’的空间分布(这些结果在小组级别上当然很重要)。我们从中得到什么?对于功能连接性分析,同样关注的是微小的影响(Pearsons’ R’传播到组级别时,s为0.1或更小)很重要。

Here’s one possibility – that effect sizes are not the be-all and end-all determinants of importance. A now-classic (was quite new when I read it!) paper by Prentice & Miller (http://faculty-gsb.stanford.edu/millerd/docs/1992psycbull.htm) talked about the utility in showing that even a bit of variance is affected by small manipulations, or in showing that one can 在 all impact DVs that are difficult to move around. (what they called “statistical versus methodological routes to an impressive demonstration”). Perhaps hit rate on such a task as you mention could be considered a DV that’s difficult to push around? I realize this doesn't address the issue of Aphasia and the specific model, but you lead with issue of effect sizes which caught my 在 tention.

最好

友利