2010年6月1日,星期二

方法主义帝国主义的残酷行为

吉布森(Gibson)在最近出版的《 TICS》(语言学研究中的定量标准薄弱。10.1016/ j.tics.2010.03.005)的“更新”中&费多连科(GF)犯下了方法主义帝国主义的残酷行径,而这是毫无根据的行为。

GF抱怨说,理论语言学(尤其是语法和语义研究),可接受性或语法判断的关键数据来源不是“量化”的。他们主张采用某种直观的标准来进行“正确的”定量工作意味着什么,认为“在测试语法/语义学中的研究问题时应评估多个项目和多个幼稚的实验参与者,因此需要使用定量的方法。分析方法。”他们认为,“标准语言学方法缺乏有效性,导致文献中许多情况下,可疑的判断导致不正确的概括和不合理的理论化”。 GF以一种特殊的修辞方式继续强调他们的担忧:“这种方法无效的事实带来了不受欢迎的结果,即具有较高方法标准的研究人员经常会忽略语言学领域的当前理论。这具有不良影响。紧密相关领域的研究人员没有意识到语法和语义研究中有趣的假设。”

Now, it's hardly new to express worries about grammaticality judgments. Why this is considered an 'Update' in a journal specializing in Trends is a bit mystifying - the topic has been revisited for decades (e.g. Spencer 1972, Clark 1973, and many thereafter), and is 在 best an 'Outdate.' And other than some animosity towards theoretical linguistics from Ted and Evelina, two established and productive MIT 心理语言学家, it's not clear what trend is being thematized by the journal, other than the pretty banal point that in absolutely every domain of research there are, unfortunately, examples of bad research.

But do 语言学家 really need to be told that there is observer bias? That experiments can be useful? That corpus analyses can yield additional data? I must say I found the school-marmish normativism very off-putting. Like all disciplines, linguistics relies on replication, convergent evidence (e.g. cross-linguistic validation), and indeed any source of information that elucidates the theoretical proposal being investigated. Some theories survive and are sharpened, others are invalidated. Is this different from any other field? GF seem to believe in a hierarchy of evidence and standards, and some unspecified sense of quantitative analysis is considered 'higher' and 'better.' Would they willing to extend that perspective to those of us who do neurobiological research? Are my data even better, because both quantitative and 'hard'? Not a conclusion we want to arrive 在 for cognitive neuroscience of language, I think.

美食&Jackendoff发表了回应(解决了部分问题)(仅定量方法还不够:对Gibson和Fedorenko的回应。10.1016/ j.tics.2010.03.012)。尽管他们正确地指出“理论家的主观判断对于制定语言理论至关重要,但他们的语气却很调和。如果要求对所有歧义性和语法性的判断都接受对幼稚的主题进行统计严格的实验,这将会削弱语言学的研究,特别是在调查说话者难以访问的语言时。语料库和实验数据在本质上并不优于主观判断。”他们的观点是有说服力的-但这并不是一个积极的回应。他们的评论太过随意了,以及“为什么我们都不能成为朋友?”味道。

另一方面,我只是读了我希望TICS发表的对GF的非常聪明,适当进取和定量的回应。我的理解是TICS有机会查看此回复,而令我困惑的是他们没有发布这一实际上新颖而有见地的评论。它是由加州大学欧文分校(UC Irvine)的Jon Sprouse和Diogo Almeida(SA)(数据则相反。对吉布森和费多连科的回应。)SA分析了来自170多个天真的参与者的数据,并对在语言学和心理语言学中频繁出现的两种现象(wh-islands和中心嵌入)做出了判断。通过定量(重采样)分析,他们可以得出给定此类研究的效果量,需要多少个判断和多少个对比才能获得显着的结果。令人信服的是,它们表明,对于正在研究的那种现象,必须有千差万别的主题和对比才能达到令人信服的结果。语言学家倾向于担心的各种对比和现象在很少的数据点下就很明显了。相比之下,要获得令人满意的心理语言现象的结果,必须使用惊人的大数据集。在我看来,他们得出的结论是非常正确的,唯一可以得出结论的是,语言和心理语言学的研究对象完全不同。可能存在争议,但没有问题...

读者应对此问题发表自己的看法,但我敦促他们研究这三篇简短的评论。


Gibson,E.和Fedorenko,E.(2010)。语言学研究中的定量标准薄弱 认知科学的趋势 DOI: 10.1016 / j.tics.2010.03.005

7条评论:

格雷格希科克说过...

恭喜Gibson和Fedorenko稍微搅拌锅子。他们已经成功地引起了语言学界的关注,也许最终会取得一些进展。

因此,让我再搅拌一点,这次针对的是定量心理语言汤。虽然定量测量都很好,但是如果您的测量结果不理想,它们会欺骗您't有效。语言理论主要建立在一种单一的衡量标准上,即母语为母语的人的可接受性判断。该理论的一个假设是,这是对语言知识方面重要内容的有效度量。心理语言学理论是建立在对许多不同量度(阅读时间,各种判断,ERP,启动等)的量化基础之上的,并且关于该量度反映什么的争论很多。心理语言学测量中的噪声可能比传统语言实验中缺乏量化的噪声更糟糕(是的,它们是实验)。

锅轻轻搅拌。现在让 's put it in the food processor. The vast majority of psycholinguistic research involves reading, often in very unnatural ways. Yet, most 心理语言学家 generalize their theories to natural language processing. This strikes me as a major problem. For example, looking 在 the hemodynamic brain response, we know that Broca'的区域在阅读过程中像疯了似的发亮,但在听觉句子理解过程中却没那么疯狂。如果心理语言学的大部分领域主要是在测量Broca,该怎么办?'s area's contribution to sentence processing induced by the unnatural act of reading a sentence? Quantitative or not, this would render much of the work invalid *as a theory of natural language processing*. Of course, it would still be valid for reading, but again, that is not the goal of most 心理语言学家.

量化很重要。任务更重要。

戴维·波佩尔说过...

柯林·菲利普斯(Colin Phillips)撰写了一篇特色文章 周到的分析 语言学和心理语言学的数据问题'也很有趣。如果你'关于这种事情,你一定要读科林'关于Gibson / Fedorenko挑战的文章。柯林解决了"我们需要一堆幼稚的主题和许多许多刺激,以便我们进行定量分析"并显示何时可以'工作。他的论文是与Sprouse和Almeida对Gibson的回应一起阅读的出色伴侣& Fedorenko.

放大格雷格'对于我们这些从事认知神经科学并朝着更加自然主义的刺激方向发展的人们,心理语言学家所采用的任务通常非常特殊,从而导致神经生理学数据似乎更多地说明了正在执行的任务而不是执行的任务。底层的计算首先构成了完成任务的基础。

马特·戈德里克(Matt Goldrick)说过...

从格雷格跳下's point and 大卫's amplification, I think that the real issue--for 语言学家, psycholinguistics, and cognitive neuroscientists alike--is less about quantification (although this is important) than about relating behavioral effects to the underlying cognitive and neural mechanisms.

It'重要的是我们要获得准确,详细的行为图。这是量化可能会有帮助,以及来自个人和适当选择任务的更大适当选择人口收集数据。但是,从许多方面来看,更棘手的问题(许多学科的许多研究人员没有足够认真地对待这一问题)是,需要阐明(并凭经验证明)假设的认知/神经机制与行为之间的联系。

我认为它'毫无争议的是,由于许多组成过程的复杂相互作用,因此会出现任何行为,无论是形式正确还是语法判断,反应时间等。 (例如,乔姆斯基(Chomsky,1980:188)写道“语言系统只是在实际使用语言中以最亲密的方式相互作用的众多认知系统之一。”因此,使用行为数据来指导理论“一个足够详细的感兴趣的认知系统模型,以指导寻找表现形式丰富的行为模式(Caramazza,1986:66)。 ”

心理语言学家可能会做出令人难以置信的错误假设,但其中许多人至少应该因为试图阐明其行为方式与一系列复杂的相互作用的认知过程之间的联系而获得赞誉。相反,语法和格式正确的判断通常被认为是相对"direct"语言知识的反思。在 这张纸 (in press, see below) I discuss concrete empirical results in phonology that undermine this assumed 直接 relationship.

当然,阐明这些假设并不能't mean we'是正确的。正如格雷格(Greg)所指出的,在越来越自然的情况下,实验室心理语言任务与语音处理之间的假定关系越来越受到质疑。但是,即使没有尝试认真考虑构成行为基础的复杂认知/神经机制网络,在我看来也可能会得出错误的结论。

参考文献
Caramazza, A. (1986). On drawing inferences about the 结构的 of normal cognitive systems from the analysis of patterns of impaired performance: The case for single-patient studies. 脑与认知,5,第41-66页。
乔姆斯基,N。(1980)。 规则与表述。纽约:哥伦比亚大学出版社。
Goldrick,M.(印刷中)。利用心理现实主义推进语音学理论。在J. Goldsmith,J。Riggle中,& A. Yu (Eds.) 语音理论手册(第二版)。布莱克威尔。

格雷格希科克说过...

马特,您能总结一下您在即将发表的论文中提出的论点吗?听起来不错。

乔恩·斯普劳斯 said...

回应马特'的评论,我想说,区分认知/神经机制(过程)与认知/神经表征(或使用Marr'的术语,算法和计算)。过程和表示的属性对于全面的语言认知科学是必不可少的,并且两者都是大脑所做工作的同等重要的方面-即,表示和过程都必须最终在大脑中实现。

我的印象是"psycholinguists"侧重于将其数据(反应时间,ERP等)映射到流程,但通常没有指定其代表性假设。"Linguists"重点放在将可接受性判断映射到完全指定的表示上,但是很少讨论构造这些表示所必需的过程。简而言之,这两个领域正在研究语言的两个不同方面:表示形式和过程。最终,我们都希望将这两个方面整合为一个统一的理论,但是这些规范性声明认为一种数据类型优于另一种数据类型会通过鼓励"psycholinguists"忽略由...发现的表征属性"linguists"。数据只有解决您的理论问题,并且这两个领域具有不同的理论问题,才有价值。

这里'我对整个事情的看法:"Linguists"相信揭示句子代表性的最好方法是仔细比较最小对句子的可接受性。非正式实验与正式实验之间的争论是一个红鲱鱼。真正的问题是"psycholinguists"知道一种更好的方法来获取表示的属性。如果这样做,则应显示"linguists". But to date, "psycholinguists"很少对代表性问题感兴趣。需要明确的是,反应时间和ERP被解释为过程的关联,并不会减少它,因为它们的解释是基于(通常是未陈述的)关于表示形式的假设。如果没有比判断更好的方法,那么我们不应该争论统计数据和实验,而应该寻找方法来整合表示和处理理论,这绝非易事(例如,科林·菲利普斯(Colin Phillips)的另一篇深思熟虑的文章: 语法中的派生顺序)

马特·戈德里克(Matt Goldrick)说过...

格雷格:马特,您能总结一下您在即将发表的论文中提出的论点吗?

我专注于语音学中的词类判断/格式正确的判断(相当于语法判断)。例如"/ ngah /是英文单词吗?"我发现这类工作有3个问题。

1)行为的定量分析。这涉及上面讨论的一些要点。对我而言,关键的问题是定量分析允许对格式良好程度进行更细微的区分(不仅仅是可能/不可能的这种形式)。

2)判断中多个因素的动态加权。最近的工作表明,格式正确的判断对多个因素敏感。具体而言,与现有词汇项目的相似性似乎纯粹是对判断产生独立的影响"structural"格式正确。例如,非单词/ hing /的格式正确性的等级受/ h /出现的相对概率以及具有/ h /出现的现有词汇项的数量的独立影响。至关重要的是,有证据表明这些因素的相对权重在整个处理环境中都发生了变化(Shademan,2006,2007; Vitevitch,2003)。这并不是一个令人惊讶的结果-在许多其他领域中,有证据表明对判断中的多个因素进行了动态重新加权(维克斯&李,1998;见拉特克里夫,戈麦斯,&McKoon,2004年,专门针对语言相关任务中的动态重新加权进行了回顾。由于对多个因素进行了动态重新加权,因此将判断方差归因于任何特定因素(例如格式良好)变得更加困难。

3)判断过程与其他认知过程的界面。像其他任何行为一样,单词相似性判断需要多个认知过程的协调。人们必须感知形式的声学结构,为其分配语音分析,等等。问题是这些相互作用在很大程度上未指定-不清楚哪个过程引起判断的变化。例如,说话者常常会误以为在说话者母语之外的辅音簇中存在元音(例如,/ mdef /被认为有两个音节; Berent,Steriade,Lennertz,&Vaknin,2007年)。关于这是否反映了语音结构的不正确解析(Berent等,2007)还是更基本的声学过程(Peperkamp,2007;参见Berent),引起了激烈的争论。&Lennertz,2007年,以及Berent及其同事的许多后续文章)。在这种特殊情况下,研究人员对这些替代帐户很敏感,并设计了许多测试来区分它们。但是在研究格式正确性判断的情况下,甚至往往甚至没有考虑过这些可能性。

乔恩:我想说,区分认知/神经机制(过程)与认知/神经表征(或使用Marr)非常重要'的术语,算法和计算)。

两点:
1.按照Smolensky(2006)的观点,我将描述更抽象的计算层次的描述不仅仅描述为表示,还描述功能或关系的结构。在此描述级别上,'只需指定心理对象的结构是什么(各种符号结构类型),还可以指定心理对象之间的关系。
2.我认为没有一种先验的方法可以将过程与表示相区别。基本要点是-仅当系统实际 用途 计算中的信息(Gallistel,1990,第2章)。假设句子中名词短语的存在是由心理表征编码的。如果没有心理过程使用此信息,则该信息在功能上不存在。过程和内容在本质上是交织在一起的。

马特·戈德里克(Matt Goldrick)说过...

(以前的参考)
Berent,Iris和Tracy Lennertz(2007)。我们所知道的关于从未听过的内容:超越语音。回复Peperkamp。认知104:638-643。

Berent,Iris,Donca Steriade,Tracy Lennertz和Vered Vaknin(2007)。我们对从未听说过的事物的了解:来自感知幻觉的证据。认知104:591-630。

Gallistel,C.R。(1990)。学习的组织。马萨诸塞州剑桥市:麻省理工学院出版社。

Peperkamp,Sharon(2007年)。我们是否有关于语音标记的先天知识?对Berent,Steriade,Lennertz和Vaknin的评论。认知104:631-637。

Ratcliff,Roger,Pablo Gomez和Gail McKoon(2004)。词汇决策任务的扩散模型。心理评论111:159-182。

Shademan,Shabnam(2006)。语音疗法知识是语法知识吗?在唐纳德·鲍默(Donald Baumer),戴维·蒙特罗(David Montero)和迈克尔·斯坎伦(Michael Scanlon)编辑的《第25届西海岸形式语言学会议论文集371-379》中。马萨诸塞州萨默维尔:Cascadilla Press。

Shademan,Shabnam(2007)。语音学规范格式的语法和类比。加州大学洛杉矶分校未发表的博士学位论文。加利福尼亚州洛杉矶。

Smolensky,Paul(2006)。计算级别和集成的连接器/符号说明。在Paul Smolensky和GéraldineLegendre中,《和谐思想:从神经计算到最佳理论语法》(第2卷,语言和哲学含义)503-592。马萨诸塞州剑桥市:麻省理工学院出版社。

维特维奇,迈克尔·S(2003)。亚词汇和词汇表示形式对英语口语处理的影响。临床语言学&语音17:487-499。