2012年3月30日,星期五

视觉语音如何调节听觉语音感知?

当前有两种观点。 一种是视觉语音提供有关产生语音的运动手势的提示,并且该运动信息产生调制听觉语音的有效副本。 



AV语音在 听众为制作音素而制定的运动计划 说话者可能一直在尝试制作,而反馈 最终以电机系统的形式复制 影响语音解释。 -Skipper et al. 2007
另一个是通过STS(Nath)中的交叉感应集成,无需电机系统即可实现AV集成。& Beauchamp, 2012).

 我最近遇到了一项15岁的研究,该研究对基于运动的帐户提出了非常有力的证明。 Rosenblum等。 (1997年)决定评估是否仍不表达语音的个人是否表现出麦古克效应。 他们的学习人口? 5个月大的婴儿。 范式?看时间的习惯(一遍又一遍地呈现同样的事情,看孩子多长时间会变得无聊和停止看)。 四个实验的基本结果? 听觉音节的习性受视觉语音信息的调节:舌前婴儿表现出McGurk效应。 

AV集成似乎主要是感觉驱动的,而不是电机驱动的。



纳斯(A.R.)和M.S. Beauchamp,McGurk效应(一种多感觉语音错觉)中个体间差异的神经基础。神经影像,2012. 59(1):p。 781-7。

罗森布拉姆(Rosenblum),法学硕士(M.A. Schmuckler)和法学硕士(J.A.约翰逊(Johnson),麦古克(McGurk)对婴儿的影响Percept Psychophys,1997。59(3):p。 347-57。


Skipper,J.I。等人,“听到嘴唇并看到声音:支持语音产生的皮质区域如何介导视听语音感知。 Cereb Cortex,2007年。17(10):p。 2387-99。

11条评论:

维莱姆Kodytek说过...

格雷格,如果我们考虑规则1,这两个理论可能都是正确的。

格雷格希科克说过...

是的,事实上,这是我和冈田佳彦几年前提出的。一世'但是,我认为我们错了,基于电机的机制是't doing much.

Okada,K.和G. Hickok,两种皮层机制支持视觉和听觉语音的整合:一种假设和初步数据。 Neurosci Lett,2009年。452(3):p。 219-23。

维莱姆Kodytek说过...

当然不是婴儿。但是请注意,Rosenblum等人。’s finding doesn’不一定意味着他们与未来的McGurk效应感知器合作。我想,无论您是否感知/ da /,不一致的视听音节看起来都很奇怪。

在我看来’冈田假说几乎不可能&Hickok(2009)错了。在哪个条件下,一个或另一个途径或两者都至关重要,是另一个问题。

格雷格希科克说过...

什么'是否有电机系统参与的证据?

维莱姆Kodytek说过...

好问题。我不'没有证据,只是猜测。即使在阅读中,"less natural"除了视觉演讲外,还有两种途径,而且对于经验丰富的读者来说,选择可能是战略性的。

有证据吗?

格雷格希科克说过...

汽车区域(例如,布罗卡's) activity doesn'似乎与AV融合相关,但STS确实如此。本文是一个示例:

Miller,L.M.和M.D'言语交际整合中的定性,感性融合和刺激重合。 J Neurosci,2005。25(25):p。 5884-93。

婴儿似乎对AV融合很敏感,而没有太多的运动语音系统。

It'如果您看一系列研究,可能会有些困惑,但是证据的分量表明,对运动系统的作用很小。我们在自己的实验中看到的似乎证明了这一点。

维莱姆Kodytek说过...

据我了解,STS和IFG似乎与Miller中的AV融合相关& D'Esposito.

威廉·马汀说过...

米勒& D'Esposito研究表明,IFG中的活性与融合呈负相关-也就是说,对于受试者报告未融合刺激的试验,其活性更高。反向模式对STS成立。

匿名 said...

就是那个’是的。但是,我没有’反对以下主张“AV集成似乎主要是感觉驱动的,而不是电机驱动的。” Let’记得冈田和希科克’s (2009) conclusion:

“我们建议视觉语音既可以激活STS中的感官-感官整合网络,也可以激活包括额叶运动语音区域的感觉-运动网络。…我们进一步提出,尽管跨感觉系统似乎是最有影响力的,但是这两个网络都为声学语音输入的分析提供了独立的约束源。”

如果它’如果为假,则感觉运动网络什么也没添加,最多只能排练什么’已在STS中提供。有如此强烈的拒绝理由吗?

维莱姆

格雷格希科克说过...

我的看法'm现在的推广基于以下几点:

1.在运动语音区域缺乏反映血流动力学整合的血液动力学反应。

2.你不这样做的事实'似乎需要运动语音系统来实现AV融合(例如,舌前婴儿)。

3.在我的实验室中一些未公开的结果表明,发音训练不会调节McGurk效应,并且对运动语音区域的损害也不能排除AV融合/ McGurk效应。

我认为现在的负担是相反的观点。有什么证据表明视听整合涉及运动语音领域?

匿名 said...

我同意负担在另一边。一世’m just interested.

1血流动力学反应缓慢,可能代表了几个神经过程的叠加。此外,IFG在某些论文中也有回应,例如。 Ojanen等。 2005,NeuroImage 25,333。即使在Miller中& D’Esposito,似乎在开始的几秒钟有增加的趋势。

2 OK.

3我'我很期待阅读。

维莱姆