人们在日常生活中每时每刻都在接受来自不同通道的信息，不同的认知模块对这些通道的信息进行处理时，往往不是独立工作，而是相互影响。例如，在加工口语和视觉信息时，语言会引导我们的视觉注意，视觉信息也会反馈至语言加工过程，听觉与视觉通道的信息相互影响，相互合作，共同完成整合任务。针对语言和视觉信息跨通道整合现象，研究者们从语义、句法等层面进行了考察。但研究者们对于认知系统如何完成视觉和语言信息的整合任务，仍持有不一致的观点。在本研究中，我们通过两个眼动研究从概念特征角度来系统的考察听觉语言和视觉信息的跨通道整合过程，揭示语言信息和视觉信息的整合机制。我们主要聚焦三个问题:(1)听觉语言信息和视觉信息的整合是否依赖于概念特征的激活，整合过程中的视觉注意转移是否受到概念特征的驱动;(2)概念特征重叠程度是否会影响眼动模式;(3)参与整合的概念特征来源:感知觉输入还是存储的语义知识。

在研究一中，我们首先考察视觉和语言信息整合过程中的视觉注意转移是否依赖于概念特征的提取(特征重叠假说)，还是要对物体的名字首先进行提取 (连接假说)，并间接考察了概念特征重叠程度对视觉和语言整合过程的影响。Rosch等人(1976)的概念层级为我们提供了一个分离词汇水平与概念特征的方法。其认为概念分为下位概念(麻雀)，基本概念(鸟)和上位概念(动物)，随着层级的不断提高，所包含的特征与信息不断减少。但是不管是成人还是儿童都发现了基本概念优势效应，即，和物体最为匹配的是基本水平的词汇。在实验1中，以此作为词汇水平和概念特征分离的方法，我们在视觉情境中呈现目标物及三个无关物，并且选取3个对应此目标物的不同等级的概念作为三个不同条件下的听觉目标词。结果发现，概念特征重叠程度越高，注视概率也越高，指向目标物的眼动也更快。实验表明视觉信息与语言信息的整合依赖概念特征的激活，并受到概念特征重叠程度的影响，支持了特征重叠假说。实验2中接续实验1，选取儿童作为被试重复实验1。结果发现了和成人相似的注意模式，进一步支持了概念特征重叠假说。综上，研究一发现视觉语言整合中视觉注意转移依赖于概念特征的提取，整合发生在概念层面，并且间接的表明概念特征重叠程度会影响我们的视觉注意模式。

研究二我们直接操纵了重叠的概念特征，进一步考察了概念特征在视觉与语言整合过程中的作用，以及概念特征的来源。首先，实验3我们选取形状特征作为视觉和听觉语言之间重叠的概念特征，操纵预视时长，考察视觉与语言信息整合过程中的形状效应。结果发现，不管预视时长的长短，眼动都会指向与听到的词汇形状相似的物体。我们采用的目标物图片在视觉上和听觉词汇指明这种整合过程中的形状特征来源于长时记忆中的语义知识。实验4a/4b除了重复实验3的形状效应之外，我们还选取颜色相似的视觉物体和听觉词汇指代物作为颜色条件，以及颜色、形状都相似的视觉物体和听觉词汇指代物作为颜色+形状条件，来考察颜色效应以及多个概念特征的重叠是否要比单个概念特征重叠诱发更多的视觉注视。结果不仅重复了形状效应，而且发现了颜色效应，即，眼动都会指向与听到的词汇颜色相似的物体(例如，“番茄”和“灭火器”)。最重要的是，我们发现颜色+形状条件下目标物的注视概率要大于颜色条件和形状条件，表明视觉和语言表征之间多个概念特征的重叠会比单个特征的重叠诱发更多的眼动。

综上，我们发现:(1>语言和视觉信息的整合依赖于概念特征的激活，该过程发生在概念层面;(2>概念特征重叠程度会对视觉注意模式产生影响，视觉和语言表征之间重叠的概念特征越多，注视概率也越大，为特征重叠假说提供了更直接的证据;(3参与整合的概念特征不仅可以提取自我们存储的语义知识，也同样可接收自感知觉的输入，而且不同的概念特征具有不同的激活程度。通过考察这些问题，我们可以对语言和视觉信息的整合有更深的理解，进一步挖掘了语言和视觉信息整合的内在机制。