心理语言学课堂笔记

此笔记由人帅心善的钱老师ppt整理而来。

第一讲 引入

历史回顾

辩论点

理性主义(Rationalism/Nature)

  • 与生俱来(innate) biliologycal
  • 从心出发投射到世界
  • 思想是最重要的
  • 支持者有Descartes,Spinoza,Fodor,Chomsky,Pinker
    • 怎样的形式是人类语言的形式。人类语言中的共性。Universal Grammar

实证主义(Empiricism/Nurture)

  • 出生时是无知的
  • 累积知识
  • 只能从生活经验累积
  • 支持者有
    • 行为主义的Skinner, Watson
    • 结构主义的Bloomfield, Saussure
    • Connectionists,associationists

早期的心理语言学家

实验心理学之父 Wundt

语言产出理论

  • 他认为句子而非词汇是句子产出的单元。
    • 因为语音会受到前后语音环境的影响,人类不是首先想好一个个词汇是怎么发的才发出来。
  • 他认为语言产出是从思想到语音一系列的转化过程。

行为理论的先驱 Ivan Pavlov

古典制约:非自愿反应

人类可以成为如何都是靠环境。

Skinner的操作制约(operant conditioning):自愿反应

  • 个体行为会因其所产生的结果而改变的一种学习过程。
  • 结果包括了增强和惩罚。
  • 人类所有的行为只是环境所制约的,背后是有各种各样的限制存在着。causes

行为主义中心思想

  • 研究主观的、可观察的行为
  • 行为皆被环境中的事件所控制
  • 目标:知道什么样的刺激能够预期出什么样的结果
  • 不讨论内心、心灵主义

行为主义和语言

  • 所有的语言的使用和任何的行为都是一样的,都是经验所得出。语言就和其他会受到刺激-反应然后增强的行为一样。(Skinner's Verbal Behavior,1957)

乔姆斯基的批判

  • 行为学家的 Associative chain 理论
    • 句子中的每个词都是下一个词的刺激,句子是由左而右产出的。
  • Chomsky认为以上的理论无法解释下列句子
    • Colorless green ideas sleep furiously.
    • *Furiously sleep ideas green colorless.
    • 我们遵从语法结构,会觉得第一句是对的,第二句是错的。如果是从语义理解的角度看,会觉得两句话都是错的。乔姆斯基认为第一句是合法的,因为这句话只是还没有被人说过而已。乔姆斯基用这句话辨明语法与语义的区别,也就是说,如果人类语言是基于统计频率出现的,那么就无法解释第一句话的存在。
    • 语言不是线性的。

理性主义和语言

刺激贫乏论点(poverty of the stimulus)

  • 语言输入太贫乏,信息也充满缺陷,儿童根本无法光从刺激学好语言。
  • 儿童语言习得必定会受到天生下来的一种学语言的能力所帮助。这种能力帮助儿童知道什么是可能的什么是不可能的。
  • 语言学习并非完全是模仿的结果,儿童会犯他们从没有听过的错误。
  • 强调天赋对语言学习的重要性。

Eric H.Lenneberg's Biological foundations of language(1967)

  • 提出神经生理的证据来支持天赋在语言发展所扮演的重要角色。
  • 第一个提出关键期(Critical Period Hypothesis)的学者。

心理语言学

  • 实验心理语言学
    • 语言理解
    • 语言产出
  • 发展心理语言学
    • 语言习得

语言学和心理学的传统分界

语言学

  • 语言知识是领域特定的(domain-specific)
  • 语言知识是模块化的(modular)
    • 每个模块各自独立(semamtics,syntax,morphology)
  • 着重于探讨语言能力

心理学

  • 语言知识和语言行为是领域一般的(domain-general)
  • 语言知识和语言行为会和其他认知历程互动(interactive)
  • 着重于探讨语言表现(表象的一些东西 linguistic performance)

语言理解

1960's and early 1970's

理论上来说,深层结构上语迹越多,认知上肯定越难。

预测

  • 语法结构会影响句子理解
  • 有很多层转换的句子较难加工
  • Miller and colleagues’ Derivational Theory of Complexity
    • 心理机制加工的次数和复杂度与句子转换的次数和复杂度一致。

Miller & Isard(1963)

  • 受试者在有背景噪音的情况下回忆句子
    • 合语法的句子
    • 合语法但语意奇怪的句子
    • 一长串的词
  • 实验结构
    • 合语法的句子>合语法但语意奇怪的句子>一长串的句子
  • 作者用此结果来证明语法结构是存在的

Click studies by Fodor,Bever & Garrett(1974)

受试者认为他们在 语法边界 处听到click,即使click不是出现在那个位置。
That the girl was happy │ was evident from the way she laughed
作者认为这是因为在句子理解时,受试者在意 语法结构 所致。
然而,比较多转换的句子并不一定比较难去理解和加工。
John called up his brother.
John called his brother up.
第二个句子不见得比第一句难理解和难加工。

结论

语法结构具有 心理真实性,在加工句子时会使用,然而转换原则不具有心理真实性。

Mid 1970's

更注重于语义,对语法较少琢磨。
句子记忆的本质是建构式的

  • 句子的储存形式并不依照语法边界
  • 句子储存的形式是依照句意和人们对世界的认知。

人能快速用词汇语意和上下文信息来帮助理解句子。
Tyler & Marslen-Wilson(1977)

  • 语法歧义:landing planes
  • 声音刺激
    • If you walk too near the runway,landing planes...
    • if you have been trained as a pilot,landing planes...
  • 受试者必须念出以视觉方式呈现在is或are之后的东西。
  • 反应时间会受到上下文的影响。与上文相符的反应较快,不符的较慢。

Late 1970's and 1980's

探讨句子的表层结构的规则。

  • 右分支原则:left-branching 比 right-branching 和 center embedded 常见且容易加工。

加工模型

模块化模型(Autonomous/Serial/Syntax-First/Two-Stage)

  • 语言各层独立加工。
  • 一个语言层次加工完成之后才进行下一个语言层次的加工。如,先句法加工再语意加工。
  • 句法决定了初始的句法分析
  • 若之后的信息与先前的句法分析有冲突,再进行重新分析并修改之。

互动模型(Parallel/Constraint-Based)

  • 语言加工采用互动形式
  • 语言各层次的信息能够相互交流影响
  • 所有层次的信息皆会影响初始的分析

eg. The director accepted the money... could not be spent
The director admitted the money... could not be spent
模块化认为上面两句都会发生花园路径,首先考虑语法,然后考虑语意。所以两句话会预测到会发生到花园路径。

而互动模型预测认为,在第一层除了有对语法的分析,也有语意上的分析。第二句后面比较可能接句子补语。

语言产出

1960's and 1970's 语误现象

  • 可以看到人类如何建构语言单元的。
  • 词汇互换通常发生在两个词性相同且语音相近的词之间。
  • 语音互换常发生在不同词性但发音相似的词之间。
  • Garrett's 认为两阶层语言产出模型
    • 每个阶层是一个模块
    • 模块间没有互动

1980's

  • Dell and colleagues 认为模块化的语言产出模型是不恰当的。
  • Garrett 模型中的 functional 和 positional 两阶层应该会互动。
    • 词汇互换通常发生在两个语音相近的词之间
    • 语音互换之后所成的词通常为真词而非假词

第二讲 心理机制

记忆

记忆模型
记忆模型

感觉记忆(sensory memory)

  • Modality specfic(视觉、听觉、嗅觉、触觉)
  • 不分析、不加工接收到的信息
  • 映象记忆: iconic memory
  • 余音记忆: echoic memory

Sensory Memory

映象记忆(Iconic memory)

George Sperling

  • 实验一:12s内看到12个英文字母,尽可能记下来。
  • 实验二:看到12个英文字母紧接着听到3中不同的声音,高音代表写第一列,中音代表写第二列,低音代表写第三列。

有声音的测试其实为了证明我们将12个都捕捉到了的。

映象记忆的容量

Sperling 认为,人们能暂时储存在印象记忆中的物件数量大于5,但是这些信息遗忘的非常快,人们要再尝试回忆起它们之前就已经遗忘殆尽。

短时记忆和工作记忆(STM & WM)

短时记忆:信息的暂时存储
工作记忆:对储存于短时记忆中的信息作加工处理
工作记忆不仅仅和长时记忆有关,和其他许多复杂的认知活动比如推理和理解都有关系。

短时记忆

George Arimitage Miller
短时记忆的容量为七加减二个物体。
测试方法:给subject一串词汇、字母、数字、声音……请受试者回想所看到或听到的物件。

工作记忆

Baddeley-Hitch(1974) working memory model

语音回路(phonological loop)

  • 暂时储存系统 → 暂时存储音系表征
  • 默读复述系统 → 使我们能够复述所接收到的信息,以延长信息储存的时间。

如果回忆的物件有相似的音系表征,错误率会提高。
即使字母数量一样,念起来较长的一组词汇会较念起来较短的一组词汇难回忆。
音系表征相似的一组词汇较难回忆+语音较长的一组词汇难回忆,此两者为证明语音回路存在的证据。

中央执行系统(central executive)

  • 分派注意力给要求储存和**加工**同时进行的认知任务。
  • 个体差异大
  • 中央执行系统的强度能预测每个人处理每个人处理复杂认知任务和阅读理解的能力。

阅读广度任务(reading span task)
测试方法:判断句子是否语意完整,并记录下每一个句子的最后一个词。

工作记忆模型

Baddeley 在原本的工作记忆模型中加进了更多成分——情节缓存(episodic buffer)
合并视觉和听觉信息,并融合其为一个多面向的表征,而将随后被储存在长时记忆中。情节缓存区也能暂时储存信息。

工作记忆的能力会随着年龄增长而下降。

长时记忆

陈述性记忆(Declarative Memory)

  • 可以有意识地去回顾的记忆
  • 控制的
  • 显性的
情节记忆(Episodic Memory)
  • 个人的
  • 过去的经验,富有时间性和空间性
  • 富有自传色彩
语意记忆(Semantic Memory)
  • 对于词汇、符号、意思等等的知识
  • 不和个人经验相关
  • 相对稳定

程序性记忆(Procedural Memory)

  • 无意识的记忆,比如技能
  • 自动的;
  • 隐形的(无法谈论的)

语言加工的核心议题

自下而上加工与自上而下加工(bottom-up vs. top-down processing)

  • 自上而下:语境
    • 词汇、句法、语意、语用
  • 自下而上:信号
    • 声学信息、字形曲线

串行加工与并行加工(serial vs. parallel processing)

  • 串行加工
    • 以串行方式快速加工信息
    • 先辨识字母,再辨识词汇
  • 并行加工
    • 各层的加工同时进行
    • 字母和词汇辨识同时进行

词汇信息影响了字母辨识。

  1. 串行加工代表在最初的语言加工阶段自下而上的加工模式。
  2. 并行加工代表在最初的语言加工阶段包含自下而上和**自上而下**两种加工模式。
  3. 若要探测此二理论的优劣,我们必须要能把最初始的语言加工阶段和后期的语言加工阶段分开。

词语优先效应

字母在词汇中被辨认出来的速度较单独出现时、在假词中时、或在音近假词中时还来的快。
k(单独出现) vs wosk(假词) vs werk(音近假词) vs work(真词)
下行效应:词汇信息影响字母辨识。

语音复原效应

语音在词汇中能够轻易地复原。
下行效应:词汇信息影响音素辨识。

模块性(modularity)

模块性这个词有两种意思:

1. 语言系统独立于其他认知系统(Chomsky;J.A.Fodor)
2. 在语言系统内,各层的加工独立于其他层(词汇、句法、语意等等)(Clifton;Frazier;J.D.Foder)

在此课程中,我们绝大多数谈到的是第二种意思。

结语

  • 工作记忆在语言加工和语言产出上扮演非常重要的角色。
  • 中央执行系统能分派注意力,其强度能预测每个人处理复杂认知任务和阅读理解的能力,此为造成个体差异的关键。
  • 理论模型对于信息的传递方向尚无定论。

style: summer

第三讲 语音感知

Formant frequency
F1反映元音的高低
F2反映元音的前后

语音感知

问题一:缺乏线性

  • 言语是连续性的而且音段与音段之间是交叠的。
  • 难以切分

问题二:缺乏不变性

  • 同样的语音会因为音系环境、语素等等而改变。
  • 如:过度音征会因为后面的元音而转变

范畴感知

VOT时间感知

+ voiceless


- voiced

实验:Identification task & Discrimination task
Identification task:放VOT不同的去辨认是否是要求音
Discrimination task:比较两个VOT值不一样的是否是同一个音

  • 辅音的感知是范畴化的而非连续性的。
  • 范畴感知:无法分辨出在同一个感知范畴中的两个音素。
  • 20ms & 40ms 感知出来有异,因为跨过了范围感知边界。discrimination task - 正确率有山峰

竖着的是token
泰语塞音辨认实验
注意理解区分实验的图的含义:

因为两个VOT但还在同一个感知范畴内的不同的音,会呈现出个体性差异,但是当VOT跨过了感知范畴的界限,人们会明显感受到它们的不同,这时候识别出差异的正确率就会增加。
当两个声音在一个范畴中,很难分别出它们的差别。
我们感知的并不是语音的物理特征。

以上实验结果显示:

  • 听者的听觉感知只能区分音位;
  • 这使得我们对语言的听觉感知更有效率;

两耳分听实验

Mann & Liberman(1983)
左耳听到一个无第三共振峰过度音(formant transitions)的基础音节
右耳听到第三者共振峰过渡音(听起来像鸟鸣)

听觉和视觉的信息整合

McGurk Effect

  • 将听觉和视觉信息整合成一个知觉。
  • 理论模型都假设语音必须以抽象化的形式储存

语音感知理论

  • 必须解释为何我们能感知到一个个单独的音段、音位,尽管我们无法找到语音中的线性和不变性。
  • 必须解释我们能整合不同的信息并形成一个单一的知觉。

Best,1995

  • 一些模型都假设语音必须以某种抽象化的形式储存(音位是语音储存的表征)

另外一种语音感知理论

Golddinger,Johnson,Pisoni,and colleagues

  • 语音不以抽象的方式储存(音位不是语音的储存表征)
  • 语音的储存表征应该包含各种不同的语音变化(语速、说话者的身份)
  • 此理论越来越受欢迎,但是给大脑带来较大的负担

眼动实验法

在语流中,detailed acoustic cues是否会帮助提取词汇的。
McQueen,Culter,2006
眼动的视觉世界实验法(visual world paradigm)

  • 眼动是自动的,通常无法有意识地控制
  • 在人感知到目标词后两百毫秒,眼睛才能执行并移向目标物
  • 在统计分析上,眼球注视在每个照片上的比率为因变量。

结论

  • 在语流中,听者能用细致的声学信息帮助他们辨认词汇。
  • 实验结果不支持「听者在词汇辨识过程中过滤掉所有声学细节」的假设。
  • 但是这个结果也不一定表示「抽象的音位表征」的存在。

音位的重整

phoneme 的概念是否能够被扩大或缩小
top- down
受试者在受到训练之后能否将感知范畴扩大,运用到更广的

音位重整训练

  • 荷兰母语者听到以/s/或/f/结尾的词,而这些词尾的/s/或/f/是模棱两可的。
  • 由于词汇效应,这些模棱两可的/s/或/f/只能被听成/s/或/f/。(以英语为例,[ki?]和[ənʌ?]对应到kiss and enough)
  • 每位受试者一次只能训练/s/或/f/
  • 一半训练/s/,一半训练/f/

启动实验(cross-modal priming experiment)

  • 受试者听到词尾为模棱两可的/s/或/f/的词,而此词是荷兰语中的最小对立体(英语例子为:knife vs. nice)
  • 屏幕中出现相对应的词,受试者必须判断此词是否为一个荷兰语词汇。
    • 听[nai?] 出现knife
  • 重点:受试者在实验中和在训练中听到的词汇是不同的(在实验中听最小对比对,在训练中不是)

实验结果

  • 在训练 /f/ 的实验条件中受试者判断 /f/ 结尾的词的速度比/s/结尾的词速度快。
  • 在训练/s/的实验条件中的受试者判断/s/结尾的词的速度比/f/结尾的词速度快。
  • 由于受试者在训练中没有听到过用于启动实验的目标词,所以,此实验显示,在启动实验前,语音的抽象化必然发生。

声学细节+抽象性

第四讲 词汇识别

词汇储存

  • 词汇输入项是由什么成分组成的呢?(lexical entry)
    • 文字的书写法
    • 音位形式或声学语音形式(储存因为还是音位细节?)
    • 词素形式(储存个别词素?)

构词表征

关于储存和识别词汇有两个观点:

  • 词素分解: walk -ed;-ing;-s
  • 整体储存: walking;walked;walks

inflational morphology : 语法功能
derivational morphology : 改变词性 beauty → beautiful

词素分解

  • 构词复杂的词汇被分解为词根和词缀
  • 词根和词缀在识别和产出时分别被提取
  • 曲折构词
    • boys → boy+s
    • thinks → think+s
  • 衍生构词
    • goverment → govern+ment
    • decision → decide+ion
  • 对计算负担较大

整体储存

  • 构词复杂的词汇以一个整体的形式储存。
  • 同一词根所变化出来的不同词汇皆由一整体形式被提取
  • 曲折构词
    • boys和boy是不同的词汇输入式,thinks和think亦然。
  • 衍生构词
    • goverment和govern是不同的词汇输入项,decision和decide亦然。
  • 对长期记忆负担较大。

构词表征

构词结构效应可以跟字形与语意效应区分开吗?
词汇加工的时间顺序如何?

掩蔽启动实验(Masked Priming)
词汇判断任务

Rastle et al.(2002)实验一

  • 实验过程:首先显示####遮挡然后快速出现,然后在出现。(对比词大写是为了防止视觉停留)
  • 结果:

Rastle et al.的结果显示,词汇结构效应可以跟字形和语意效应区分开来。
实验结果证明心理词库是以构词的形式建构而成的(morphologicallly structured)
先前很多学者认为,词汇结构效应只是因为语意或字形相似所造成的假象
然而,Rastle et al.对SOA的操弄显示了词汇提取过程的时间顺序,语意和字形效应无法在短SOA实验条件显现出来(43-72ms)第一阶段的加工是词素加工(一直存在),然后第二阶段才是语意加工,当prime的时间越长,语意的作用越强,并且在竞争机制下,字形相同反而反应时间会变慢。

其他支持词素分解的论点

  • 词根的词频比表层整个词汇的词频更能预测词汇判断的反应时间。
    • 如果词根的词频很高,即使整个词的词频很低,词汇判断的时间仍然很快。
    • 若词根的词频高,即使整个词的词频低,词汇判断的反应时间仍然很快。
  • 当两个词的表层词频相同时,人们对于看似有词缀的词(pesedo-affixed words eg.sister)的辨识时间会比真正有词缀的词(grower)的辨识时间慢。
    • 先把er从sister剥离,尝试搜索sist,但发现无此字时再重新搜索sister,拖慢识别时间。

词汇提取(Lexical Access)

上文的讯息是否会限制词汇提取,即一个歧义词在有上文的情况下,无关下文的语意信息是否会被抑制,而只有与上文有关的语意信息才会被提取?

"Prior decision"(interactive)hypothesis

  • 上文的信息能够左右词汇提取,所以虽然一个词有歧义,但只有与上文相关的语意才会被提取出来。

"Post decison"(autonomous)hypothesis

  • 无论与上文信息相不相容,一个歧义词的所有语意都会在词汇提取的初始阶段被激活。上文信息只有在词汇提取发生后才会起作用。

先前的研究发现上文对词汇激活有强效应。但是先去研究发现的上文效应都是利用 phoneme monitoring 任务实现的。

  • 受试者听句子,并注意要监控的音,一旦他们听到这个音时就要以最快速度按下按键。
  • 包含要被监控的音的词出现的位置在歧义词之后。
  • 这个实验任务可能探测到的是"post decision"的加工阶段(歧义词的词汇提取可能在要监控的音被检测到之前就已经完成了)

更好的实验:跨感觉道启动实验(cross-modal priming)

  • 启动项:在句子中的听觉词
  • 目标项:书写词
  • 目标词紧紧挨着启动词的结尾出现,因此受试者看到目标词的时候仍然在加工启动词。
  • 受试者要决定目标词是否是一个真词并且要做出词汇判断。
  • 此词汇判断更可能反映的是词汇提取过程中的早期阶段。

实验一

上文的信息是否能够在词汇加工的早期阶段限制词汇提取?

  • 预测
    • 如果词汇提取是各层交互作用的结果(即支持prior decision hypothesis)
      • 当启动词出现在一个已经被上文限制语意的语篇中时,与上文不相符合的词意就不应该被激活。
      • 符合上文意思的目标项的反应时间将小于不符合上文意思的目标项的反应时间。
      • target 是 ants 和 spy,prime 是 bugs。如果是prior decision hypothesis 的话,那么prime ants 会快于 prime spy。
    • 如果词汇提取是独立不受上层影响的(post decision hypothesis)
      • 即使当启动词出现在一个已经被上文限制语意的语篇中,与上文不相符合的词意仍然被激活。
      • 符合上文意思的目标项的反应时间将与不符合上文意思的目标项的反应时间相当。即prime spy 和 prime ants 的时间一样。
  • 结果
    • 即使在上文已经限制语意的语篇中,与上文相符合和不符合的语意仍然都被激活(两者的反应时间都比基线词快)
    • 实验结果显示,上文信息无法限制词汇加工的早期阶段。
      • 支持post-decision(autonomous)hypothesis

实验二

与上文不符合的语意是否在词汇提取过程结束后仍然处于激活状态呢?(比如三个音节过后)
114个英语母语者参与跨感觉道启动实验。一半的受试者在听到启动词之后立刻看到目标词(与实验一相同),一半的受试者在听到启动词之后,又过了三个音节才看到目标词。(新的实验)

  • 预测
    • 如果与上文不符合的语意在词汇提取之后不再处于激活状态,那么符合上文意思的目标项的反应时间将小于不符合上文意思的目标项的反应时间。
    • 如果与上文不符合的语意在词汇提取之后仍然处于激活状态,那么符合上文意思的目标项的反应时间将与不符合上文意思的目标项的反应时间相当。
  • 结果
    • 与上文不符合的词意在词汇提取发生过后已经不再处于激活状态。这和之前语音监控任务所得到的结果是相同的。
    • 实验二的结果显示,词汇提取的初始阶段是以独立方式加工的,不会受高层的影响。

第五讲 句子加工

人们是边听/读边解析句子的。

Garden Path Sentences

影响因素

子范畴频率效应 (Subcategory Frequency Effects)

  • The student saw the answer...
  • The student realized the answer...

See 更有可能带上一个直接宾语。
Realize 更有可能带上一个从句。

语意效应 (Semantic Effects)

  • The defendant examined...
  • The evidence examined...

Defendant 更有可能是话题,因为其实有生命的。所以这句话更容易产生花园路径。
Evidence 不大可能是话题,因为它没有生命。
但是有时语意并不可依赖,因为一个修辞性的命题可能是不顾句法结构的 。(常常发生在一个语法结构复杂且特殊语序中)
Good-enough processing hypothesis

  • 读者并不会总是构件句子完整而正确的语法representations。
  • 和语言环境有关

会话(环境实体) (Discourse Effects)

  • The burglar blew up the safe with...
  • The burglar blew up the safe with...

会话中的实体的个数会削弱花园路径效应。

韵律

Parsing Strategies

Minimal Attachment: 用最少的句法点容纳新项目。
Late Closure: 把新项目加入到当前要素中去。不用假定不必要的结构。当 Minimal Attachment 和 Late Closure 冲突的时候,往往优先使用 Minimal Attachment。

第六讲 大脑结构

  • 额叶 frontal lobe
    • 思考、计划、中央执行功能、运动执行功能
  • 颞叶 temporal lobe
    • 语言功能、声音感知、长期记忆和情绪活动
  • 顶叶 parietal lobe
    • 体觉感知、结合视觉、体觉信息
  • 枕叶 occipital lobe
    • 视觉感知、视觉加工

大脑是思考器官?语言器官?用功能分脑区好像是为了做不同的思考问题而构件的?

大脑不同的内在组织负责不同认知功能的想法在现代器官学出现之后很快出现。

颅相学(phrenology)

布罗卡区、韦尼克区和弓状束

Phineas Gage,1848

  • 受损前:负责任、有礼貌、受人喜欢、效率高、虔诚的
  • 受损后:任性、冲动、不敬
  • 前额叶皮质受损

之后越来越多证据支持不同脑区负责不同功能这个论点。
后来病人Leborgne的案例被视为现代认知神经科学的革命性案例,也被视为*神经语言学*的开端。

Broca's aphasia 布罗卡氏失语症

BA44 BA45

位置

  • 额叶
  • 靠近运动皮质层

病症

  • 无法流利说话(停顿、犹豫)
  • 音位替代或删除、辅音群简化、错语症(把真词用一个音近的假词替换)
  • 语法缺失、无虚词、无曲折词缀
  • 语言产出严重受损
  • 语法复杂的句子也会有理解困难

Carl Wernicke 韦尼克氏失语症

  • 无法理解别人对他说的话,也看不懂字
  • 韦尼克氏失语症

位置

  • 颞叶
  • 靠近声音加工区

病症

  • 说话流利、无停顿、无犹豫
  • 话多、说个不停
  • 语法可以,有曲折词缀
  • 有些音系困难
  • 有找词困难
  • 用很多无意的填充词(thing,stuff,you know)
  • 会自创新词
  • 听不懂他们在讲什么,所回答的答案与问题无关
  • 语意理解困难

Conduction aphasia 传导性失语症

  • 无法复述听到的话
  • 有些人会对语法复杂的句子有理解难度
  • 弓状束受损,桥梁坏掉。(弓状束是在左脑中连接额叶和颞叶、顶叶的神经纤维束)

Geshwind's 模型

当我们要复述一个词的时候:

声音信息首先传到听觉皮层,然后被分析后传给韦尼克氏区,韦尼克氏区分析此声音信息后决定听到的词汇为何,然后通过弓状束被分析的信息被送到布罗卡氏区,布罗卡氏区再将这个词汇信息转写成产出信息,并将其传到运动皮质层,运动皮质层实行产出计划。

当我们要念出一个文字时:

视觉皮质分析视觉刺激并将其送到角回(angular gyrus),角回会解码词信息并识别该词汇,并将其与储存在韦尼克氏区的声音表征相连结。信息接着通过弓状束传到布罗卡氏区。运动皮质层执行产出计划。

  • 模型的中心思想是:语言加工是模块性的(modular)
    • 大脑不同区域负责不同功能并且各自独立。因此不同脑区受损会引发不同病症。
  • 虽然一些研究会支持某种程度的模块化,但是这个模型在很多方面被驳斥。
    • 布罗卡氏区不仅负责产出计划,也负责语法加工
    • 根据Geshwind模型有些被认为是负责语音加工的脑区,其实手语者亦能将其激活。

大脑半球

  • 每个半球
    • 控制对侧的身体部分
    • 对侧结构
      • 右脑:左侧身体、左侧视野
      • 左脑:右侧身体,右侧视野
  • 胼胝体(corpus callosum)
    • 左右脑神经纤维沟通桥梁

语言侧化

  • 大脑侧化意思是左脑和右脑分别负责不同的功能
  • 语言受损通常是因为左脑受损所致
  • 大部分语言加工都由左脑负责(对于右撇子的人和大多数左撇子的人)

语言侧化和惯用手

Pujol et al.(1999):用功能性磁共振成像(fMRI)测默读词汇时的大脑反应
右撇子大部分侧化在左半球;左撇子有34%的人不是侧化在左半球。

语言侧化的证据

  • 脑裂病人(split-brain patients)
    • 为了防止癫痫症发作,病患的胼胝体被切断

测试脑裂病人的图片一闪而过是为了不让脑裂病人移动眼球。

  • 健康的受试者
    • 韦达测试(wada test)
    • 两耳分听实验(dichotic listening)

右耳优势:左脑加工语言
左耳优势:右脑加工音乐

普通话和英语母语者是以同样方式加工普通话声调的吗?
声调在普通话中可以区别词汇,但是在英语中并不可以。
英语母语者在进入正式实验之前有先经过训练,使得其能够区分四个声调。

受试者同时在两耳分别听到不同的声调(两耳分听实验)
(这些声调会被噪声遮掩来增加实验的困难度)
受试者左右耳同时放不同的声调,然后要写出两个耳朵听到的声调。
普通话母语者显示出了右耳优势——左脑 lexical tone,他们更多地用左脑来加工声调。
声调是有语言学意义的四个声调
这样的实验结果显示,对于英语人来说,虽然他们可以分辨四个声调,但是对他们来说,这四个声调还没有被内化为有语言学意义的四个声调。

研究声调在大脑皮层上的表征

  • 用功能性磁共振成像直接探测普通话声调习得的大脑皮层活动变化
  • 比较声调训练前后的大脑皮层活动变化
  • 受试者
    • 6个英语母语者
    • 2个普通话母语者(参照)
  • 任务
    • 普通话声调识别
  • 语料
    • 声调训练前后的识别正确率
    • 声调训练前后的大脑皮层活动变化

训练之前英语母语者的韦尼克氏区并没有被激活,但是在训练之后,被激活并且扩大,旁边的脑区也一起激活了。

图三- 右脑的布罗卡氏脑区也被激活了,因为单单左脑的还不够,所以右脑的也被激活了。

  • 新脑区的运用
    • 左脑韦尼克氏区的周围脑区(BA 42)
  • 原本就被激活的脑区,激活程度增强
    • 左脑韦尼克氏区激活程度增强(BA 22)

实验结果表明,大脑皮层活动会重新组织以帮助学习第二语言(这就表明声调的训练还是有用的)

第七讲 如何测量大脑的反应

功能性神经成像

  • 探测健康的人的大脑在处理语言时是如何活动的
  • 是一个用来研究语言是如何在大脑中所建构的新方法

基本原则

  • 认知加工代表更多的神经元的活动
  • 负责相关功能的神经元通常是串联在一起的(functional specialization)

测量方法

饥饿的大脑
神经活动造成氧的消耗,进而造成特定范围的血流改变。提供氧和血糖(称为血流动力反应 hemodynamic response)
由探测血流动力反应的仪器所测量(fMRI,PET)

功能性磁共振造影(fMRI)

测量带着氧和糖分的血液被运往哪里。这些血液跟氧和能量均被耗尽的血液是有不同的磁性特质的。

正电子发射断层扫描(PET)

用同一个放射性追踪物质去寻找这些血液被运往哪里。

优缺点:极佳的空间解析度(毫米),极差的时间解析(好几秒)

FMRI:语法在布罗卡氏区加工

一个德语实验:语法越复杂的句子,布罗卡氏区越用力加工。

发电的大脑
神经活动造成电流和磁场
EEG:测量头上所探测到的神经活动电流
MEG:测量头上所探测到的神经活动磁场(有电流就有磁场)

优缺点:EEG的空间解析度很差,但是时间解析度极佳;MEG的空间解析度不错而且时间解析度极佳。

MEG?要根据前文提出假设,然后通过实验去验证假设

EEG:词汇语意加工大约在听到词汇后400ms后达到峰值
John ate broccoli(花椰菜) at dinner.
John ate democrancy(民主主义) at dinner.
在400ms左右诱发N400。

电生理学方法

录制单一细胞

  • 可以直接录制单一神经元的动作电位
  • 侵入性手段

EEG

(Hans Berger)

  • 非侵入式的,录制后突触的电流,录制很多神经元功能产生的电波
  • 测量电流产生的电位,电流强度约为1-100微伏
  • 必须把刺激呈现的时间点和电位录制的起始点同步,才能录到大脑加工刺激的脑电波。

参照点一定要和没有做这个认知加工的任务的点比较

眼睛的活动也会被捕捉到,因为眼睛的运动对脑电的变动影响非常大,所以要尽量确保被试的身体稳固。

切刺激段(Epoching)

  • Epoch:是一段时间的脑电波。通常一个epoch包括了刺激出现前的一小段时间和刺激出现后的一段较长的时间

切下来前一段是base line

平均信息-平均掉杂讯-测量的越多,平均的越多

事件相关电位(ERP)

EEG = ERP + 噪音
要经过一系列的操作才能把EEG变成ERP(事件相关电位)
事件相关电位:波幅和延迟时间

事件相关电位的优缺点

  • 优点
    • 能通过电极帽直接录制脑神经活动
    • 能毫无延迟地直接测量到脑神经对于刺激的反应(毫秒的时间解析度),因此有极佳的时间解析度
  • 缺点
    • 电流活动对导体性质很敏感,因此很难定位底层的神经活动来源:空间解析度差
    • 颅骨、脑脊髓液、皮肤以及其他组织都有不同的导电性,脑电波通过它们时的强度和方向都会被影响。

电生理学录制的信息和噪音

  • 信息太小
  • 噪声来源太多太大
  • 因此,在录制脑电波前后,我们都尝试去尽可能减小噪音,扩大信息。

放大信息、减少噪音

提取epochs → 平均epoche →基线校正 → 过滤 → 分析语料

是否有一个特殊的加工语言的机制呢?

人耳区别声音可以从两方面探讨

  • 物理的声学差异
  • 抽象的音位差异

想法如下

  • 一个一般的声音加工系统应该能捕捉到物理的声学差异。
  • 一个只针对语言的加工系统应该能够捕捉到抽象的音位差异。

大脑探测不同的声音(MMM)

  • 播放很多标准声音(standard)
  • 偶尔穿插一个奇异声音(deviant)
  • 大脑听到奇异声音会诱发比标准声音更负极的脑电波,称为“失匹配负波”(mismatch negativity,or MMN in EEG,mismatch field,or MMF in MEG)

MMM探测的是preattentrue stage

失匹配负波实验设计

延迟时间:150-250ms
定位:supratemporal auditory cortex(听觉皮层)
诱发失匹配负波的条件:标准声音和奇异声音必须有多对一的比例关系

注意:声学差异也会诱发失匹配负波;标准声音和奇异声音的声学差异越大,失匹配负波的波幅也越大。

从图中我们可以看出,1004Hz下差异很小,1016Hz下差异很大
失匹配负波可以被标准、奇异声音之间的差异操弄。

失匹配负波反映抽象音位

Phillips et at.2000:

  • 是否在声学上不同的声音能被抽象地视为在同一个感知范畴内呢?
  • 找寻范畴化在大脑皮层上的证据。

虽然即使在同一个感知范畴中,我们还是能够找到声学特征不同的声音,但是以音系学的角度来看,在同一个感知范畴中,声音彼此间的声学差异是不重要的

Phillips et at.(2002)

方法:播放很多标准声音,偶尔穿插一个奇异声音。
如此,大脑会把声学上不同的da听成同样的da吗?,如此一来,大脑会把声学上不同的da视为标准声音吗?

失匹配磁场(实验1)

结果:

  • 37频道的脑磁场录制
  • 传感器放置在左脑半球的听觉皮层的位置
  • 标准声音:奇异声音=700:100
  • 图表显示da当标准声音的脑磁场和da当奇异声音的脑磁场相剪的结果。

失匹配磁场(实验2)

所有实验一的刺激的VOT都加20ms,因此所有刺激的声学距离仍然保持不变,但是在音位上原本标准声音和奇异声音多对一的比例消失了。

我们把每个刺激都加20ms,这样刺激间的物理距离不会有改变但是在语音层面上就会出现改变。彼此之间的声学距离不会有改变,如果真的是有注意,从音系的情况来看,就没有音系。如果加了20ms还诱发了MMF,那么就证明这只是声学距离对大脑的影响。

通过这张我们也可以看出,实验二并没有诱发出音位性质的失匹配负波。我们第一个实验所诱发出的MMF并不是因为声学上恰好的距离所导致的,而是因为phonological上有多对一的关系

失匹配负波(脑磁场)小结

失匹配负波(脑磁场)既能反映出声学上的差异,也能反映出抽象的音系感知范畴。

普通话声调的失匹配负波

研究目的:

  • 用失匹配负波来看语言经验是否会影响不同声学线索在声调加工中在大脑所扮演的角色
  • 目标声调为普通话的T1,T2,T3.

受试者:十个普通话母语者和十个英语母语者

实验设计:

  • 三个实验组,前者为标准声音,后者为奇异声音,比例为85%比15%。
    • T1/T2
    • T1/T3
    • T2/T3
  • 两个基准组,比例为100%
    • T2
    • T3

奇异声音是T2和T3。

我们可以看音高、调型来区辨声调
普通话一般是看contour,英语是看height


实验结果分析:
有奇异声音的组诱发都诱发出了失匹配负波。
图一、图二(调性和音高 level and contour)中文人诱发出的MMN强于英语人所诱发的。
图三情况下(T2/T3 只有音高的区别没有调型的差别都是升调)中文人和英语人虽然都能诱发出失匹配负波但是并没有显著性的差异。
英语人三个图都没有显著区别。
所以从pitch height无法区分出中文人和英语人,但是通过pitch contour可以区分去中国人、英文人。

结论:

  • 在大脑皮质的层面上,升调识别不是一个整体的概念,而是不同声调的声学面向是可以被单独抽离出来看的。
    • 音高
    • 调型
  • 语言经验会影响同一个语言学单元内部不同的声学线索的使用程度。这是一种可用MMN探测到的自动化(automatic)且无需要用注意力(preattentive)的反应。

ELAN & LAN

其他的事件相关电位

N400 COMPOENT


不考虑语义,语法都没错,看到后面才看到发现语义不对。

  • 负波
  • 约于刺激出现400ms达到峰值
  • 中央顶叶分布(centro-parietal distribution)
  • 违反词汇语义会诱发N400效应
  • N400波幅的大小由提取词汇和识别词汇的难易程度而定
    • 词汇语义在句子或语篇中的预测程度:越难预测的越会诱发较强的N400波幅。
    • 重复(启动效应会减小N400波幅)
    • 词频(词频越低,N400波幅越大)
    • 词汇状态(假词比真词诱发更强的N400波幅)
  • 语言理解受损的失语症患者,他们的N400出现的时间较健康的人晚。
  • 第二语言习得者对于违反词汇语义的实验刺激会诱发相似的N400效应。

P600 COMPONENT

  • 正波
  • 刺激出现600ms达到峰值
  • 中央顶叶分布(centro-parietal distribution)
  • 违反构词语法会诱发P600
  • P600效应会受构词语法所影响
    • 违反构词语法的程度越严重,P600效应越强
    • 重新分析也会诱发P600效应
  • 布罗卡氏失语症患者所诱发的P600效应较健康的人若
  • 低水平的二语习得者对于违反构词语法的句子诱发较弱,或不会诱发P600效应。

Kim & Osterhout(2005)

  • 语义加工后于语法加工?(syntax-first models)
  • 语义加工是可以限制/引导语法加工?(constraint-based models)

The hearty meal was devouring the child.
The hearty meal was devour the child.
如果是语义优先,那么应该诱发N400,如果是构词语法优先,应该诱发P600。

  • 语法优先(syntax-first models)的模型预测
    • 一开始忽略主语的生命度
    • 认为devouring为一个现在进行时的主动动词
    • 后来发现主语和动词之间在语意上无法匹配
    • 诱发N400效应
  • 互动模型(parallel models)预测
    • 一开始因为主语没有生命度,所以会把主语视为受事者(语义)
    • 然后将devour视为被动语态
    • 最后发现使用了错误的曲折词缀
    • 诱发P600效应

结果发现P600效应
结论:语意能够引导/限制语法加工

然而学界还存在争议。

第八讲 二语习得

双语人的两个系统在运作的时候如何提取词汇。
lexical processing

Translation

Kroll & Stewart(1994's)
Revised Hierarchical Model

Revised Hierarchical Model

由naming-task得出
从这个模型我们可以看出:

  • L2到L1的词汇转换和L1与concepts之间的词汇转换都很强。
  • 从L1到L2的词汇转换和L2与concepts之间的词汇转换都比较弱
  • (简单地讲,从二语翻回一语比一语翻到二语容易)
  • 语言选择是有这些连接的强弱决定的。
  • 这个模型主要是为了解释L1-L2和L2-L1翻译的不对称性。但是我们可以由此预测,从L1-L2比从L2-L1需要更多的语义推理。

Bilingual Lexical Processing

词汇选择是特定的(只激活特定的语言)还是并行的(两种语言都激活)呢?

假设推理:

  • 如果双语词汇加工是non-selective,那么一个语言中的prime应该会加速在另一种语言中与之语义相关的target。并且会抑制在另一种语言中仅仅是语音/字形上相似的target。

Facilitating semantic priming

  • 语义上相近的两种语言往往互相prime
  • 之所以会有这种加速效应是因为这些词都涉及到相同的concept
  • 从L1到L2和L2到L1都会有这样的效应。

Facilitating cognate priming

  • 语义相关并且音系、字形相似的词会相互prime,比如法语中的texte会prime西班牙语中的texto
  • 对于有相关含义的词汇,如果他们的音系/字形效应越强,那么越能加速prime。
  • 从L1到L2和L2到L1都会有这样的效应。

Inhibitory phonological/orthographic priming

  • 对于有音系和字形上的相似性但是在语义上没有关联的词汇这种效应会被抑制,因为prime会和target产生竞争效应。
  • 从L1到L2和L2到L1都会有这样的效应。

但是由于这些priming实验都使用到了要测试的两种语言,得到non-selective的结论并不可靠。

Van Heuven Et at(1998)

荷兰语的英语二语习得者识别的英语单词的实验中,显示A类的英语单词在荷兰语中有很多字形相近(或一样),B类没有太多或者很少字形相近(或一样的)。显示A类的识别时间要慢于识别B类的。
这证明即使是在全英语的环境进行实验,荷兰语依然被激活了。

Marian&Spivey(2003)

  • 被试:俄语-英语(早期习得)双语者和英语母语者
  • 视觉空间实验
  • 声音刺激(英语,说明),视觉目标。

当听到英语刺激的时候,双语者会更多的看向俄语竞争者。英语母语者不会看向俄语竞争者(俄语竞争者没有产生竞争效应)

把双语者放到俄语环境,目标是俄语,有英语竞争的实验中也同样显示出了竞争效应。
这表明,即使没有提及到L2,我们在处理L1的时候,L2和L1中相关的词还是会产生竞争效应。

那么我们就很想知道说,大脑在理解语言中面临这种选择的时候是如何处理的呢?

Moreno et al.(2002)

对比同一种语言内的Lexical switch和不同语言的Code switch。
使用同一种语言其他的词就会造成较大的副作用,使用另一种语码的副作用较小。这说明在理解过程中,两种语言都被激活了。

Bilingual Lexical Production

在语言产出的时候是不是也是non-language-selective的呢?

Bilingual Lexical Production

更多的只使用一种语言的环境中进行语言产出来证明语言产出的过程是non-selective的例子:

  • 念同源词会比念非同源词念得快(加速效应)
  • 同形异义词汇比非同形异义词念得更快(抑制效应)

Schwartz & Kroll(2006)

  • 把西班牙语-英语的同源词放在高语义限制和低语义限制的句子里。

  • 句子会呈现在屏幕上,target会用红色标出。
  • 西班牙语-英语的二语习得者和英语母语者将被要求读这个用红色标出的单词。他们的 production latencies 将会被测量出来。

同源词将会和非同源词进行对比。

结果

  • 在低语义限制的文本中,被试读出同源词的速度更快。
  • 在高语义限制中,读同源词和非同源词的没有显著差别。
  • 这两组中读低语义限制的文本和读高语义限制的文本,二语习得者的结果都是相似的。
  • 低语义限制的文本结果表明西班牙语的词汇依然被激活了即使并没有提到西班牙语,甚至受事是一个生活在单语言国度的多语者。
  • 高语义限制的文本使得单词更容易被预测到并且消除了同源词的优势。

Jared & Szucs(2002)

  • L1-English L2-French 和 L1-French L2-English 的双语者们完成一个单词读任务。
  • 实验材料:
    • 法语-英语 同形异义词(比如 pain, laid, fort, sage, pour, chat...)——这些词在法语中比在英语中频率高。
    • 控制单词是和英语实验单词长度一直,频率一样的单词。
  • 实验步骤:
    • 第一块:英语实验
    • 第二块:法语填空实验
    • 第三块:英语实验

看看在第一个block 做词汇提取的时候两个block如何互相影响
法语转英语是否顺利
实验结果:

英语-法语母语者:

在没有涉及到法语之前,处理法语-英语同形异义词稍微有一点慢,在法语被激活之后,处理法语-英语同形异义词明显变得很慢。

法语-英语母语者:

在没有涉及到法语之前,处理法语-英语同形异义词就很慢,在法语被激活之后,处理法语-英语同形异义词也很慢。

homographes 很多词汇一起被激活反应时间变慢。要抑制母语是非常难的。

这些结果都显示,词汇激活是non-language selective的,它们进一步表明非目标语的激活程度更强,当这个是受试者的母语以及当这个语言在前面的block中被激活了。

跨语言激活中影响因素

  • 一语干预二语比二语干预一语更多;
  • 流利程度越高,越容易造成干预;
  • 刺激的经历越近,越容易产生干预。

语言主导性也会改变语言转换的损耗,至少在语音产出上是这样。

  • 双语者从二语转到一语的花费要低于从一语转到二语。因为母语需要很大程度的抑制,使得转换成本增高。

p2-after french实验效应

双语词汇加工模型

Grosjean's(1998) Language Mode Framework

(production & processing)

语言激活模态决定了我们处在某种语言状态。语言模态是由处在非激活状态的语言和激活了状态的语言共同决定的。

Dijkstra & van Heuven's(2002) Bilingual Interactive Activation + Model(processing)

  • 语言选择会因为语音/字形特征的刺激而发生
  • L1和L2在音系/字形标准以及词汇标准的层面上被连接在一起。
  • 语言使用的环境并不会影响单词识别。

Green(1998)'s Inhibitory Control Model

(production & processing)

  • 概念表达是由会话目的和有监督注意系统共同调停的。
  • SAS系统控制着或言语任务框架的刺激,进而调节语言标签的刺激。

第一个模型支持selective的观点;
第二个和第三个的差别,第三个模型:我们可以很自觉地去抑制我们所不需要的语言系统;第二个模型是我们很难去抑制不同的语言系统。

小结

双语词汇刺激不是语言特定性的。
对二语的刺激程度是基于诸如语言主导性这样的要素发生变化的。