2013年6月29日,星期六

视觉语音输入驱动听觉皮层

我们有点已经知道这一点。 例如,Calvert and Co.的早期成像工作表明,van Wassenhove等人在唇读和电磁记录期间,听觉皮层的一部分会激活。结果表明,将视觉语音信息添加到听觉语音信号可加快皮质对语音的N1成分响应。 但是,在解释这些影响方面仍有一些回旋余地。 是的,唇读会激活听觉皮层,但这也许只是听觉图像,通过小组平均激活,您如何知道自己的确切位置? 是的,N1是早期成分,但它可能反映了一系列听觉区域(甚至包括STS)的活动,因此从皮层加工层次来看,它有多早?

因此,我们(Okada等人)决定尝试通过以下功能磁共振成像实验来解决这个问题:我们使用AM噪声定位仪扫描并使用解剖学定义的遮盖Heschl的回旋的面罩,以两种不同的方式将听觉皮层定位在各个对象中。 然后,我们在仅听听语音和听听+视觉语音的同时,测量ROI(左,右半身)中的活动。我们发现,与单独的听觉语音相比,视觉语音信号的添加显着上调了听觉皮层的活动。

然后确认:视觉语音信息在皮层处理层次的第一阶段驱动听觉处理。



卡尔弗特(G. A.),布尔莫(E.T.),布拉默(B.J.),坎贝尔(R.),威廉姆斯(S.C. R.),麦圭尔(P.K.),伍德拉夫(P.W. R.),艾弗森(Iversen),S.D。,&David,A。S.(1997)。在无声唇读期间激活听觉皮层。科学276,593-596。

van Wassenhove,V.,Grant,K.W.,&Poeppel,D.(2005年)。视觉语音可加快听觉语音的神经处理。美国国家科学院院刊,102,1181-1186。

3条评论:

匿名 said...

嗨,格雷格,

祝贺您对AV语音感知进行了出色的研究。

你在论文中提到'尽管以前的无声唇读研究已经发现在较低级别的听觉皮层区域中存在激活...这些研究依赖于组平均激活图,这可能由于平均误差而导致定位错误'。这并非完全正确,Pekkola及其同事(您的参考文献22)在Heschl上使用了单独的ROI分析's gyrus.

其次,Calvert及其同事(1997年,2001年)提到,超加性反应对于真正确定特定大脑区域(即AV)中的视听互动是必要的。>A + V)。讨论中没有明确提及的一点。

真诚的

马克

格雷格希科克说过...

对。我在帖子中的错误。我们确实在论文中指出,他们的活动仅限于早期听觉区域,这些报告仅查看视觉语音而没有听觉语音。因此,您必须担心这是否是某种形式的听觉图像。

超可加性是AV相互作用的有争议的定义。您是否要基于这种想法辩称我们观察到的不是听觉响应的视觉调节?即什么'您的评论重点是什么?

匿名 said...

我只是不明白为什么您不(也)测试纯视觉语音感知,并且在纸上没有提到这一点。