摘 要：1952年，Harris 在杂志 Language 上发了表题为Discourse Analysis的文章，标志着话语分析研究的开始。传统话语分析学家建立了研究语言内部规律、语言与认知行为之间关系的各种理论和方法。然而，随着现代交流媒介以及科学技术的发展，多模态话语逐渐出现在人们的生活中。而传统话语分析只分析话语中的语言模式，忽略了其他符号模式，如图像、颜色、画面等。因此，近年来越来越多的学者和专家开始探索多模态话语分析。本文对多模态、多模态话语分析以及1996年Kress和van Leeuwen提出的视觉语法进行了系统的回顾，旨在梳理多模态话语分析的研究脉络，从而为更多多模态话语分析研究提供一定参考。
关键词：多模态；多模态话语分析；视觉语法
一、引言
在全球化进程中，出现了各种新的交际形式。意义不再仅仅由语言来传递，还通过不同的符号组合来实现，比如图像、声音、布局等。显然，在话语分析中，仅仅研究语言层面，已远远不能满足日益变化的社会实践。因此，急需要一门可以通过潜在符号模式来构建意义的学科。
发展和繁荣于二十世纪九十年代的多模态理论在某种程度上解决了以上的问题。1996年，Kress和van Leenwen，将韩礼德系统功能语言学中的元功能理论扩展到视觉模态，建立视觉语法来分析图像。根据视觉语法，图像包含三种意义，即再现、互动、构图意义，分别对应Halliday系统功能语法中的概念、人际、语篇功能。自此，多模态理论开始受到关注。
二、多模态话语分析的理论基础
（一）多模态及多模态话语分析
“多模态”一词源于英语中的“multimodality”，其中“modality”一词源自“mode”，意为“模态/ 模式/ 方式”。多模态语篇（multimodal discourse）是一种融合了多种交流模态（如声音、文字、图像等）来传递信息的语篇（Kress and van Leeuwen，2001）。Kress和van Leeuwen的《阅读图像》标志着多模态话语分析的建立。在该书中，Kress和van Leeuwen阐明了意义是如何通过视觉模式来构建，从而提出了意义构建的三维模式，即再现、互动、构图。
基于Kress和Van Leeuwen的理论探索，多模态话语分析被运用于不同的领域。例如，Baldry （2000） 探讨了如何提高学生的多模态习得能力，以使他们在远程学习中更好运用多模态方法。Cope和Kalantiz （2000）指出，科技进步给学生和教师带来了巨大的挑战，因此多模态识读能力教学的深度和广度应该被扩展。依据大量的课堂研究，Kress等人2001年指出，交际通过图像、动作、言语、情态等实现。此外，Scollon（2003），O’ Halloran（2004），Royce（2007）等人也对多模态及多模态语篇分析做了相关研究。
国内学者李战子首先介绍了Kress和van Leeuwen等人提出的在英语教学中使用多模态话语的社会符号方法。胡壮麟 （2007），朱永生 （2007）和张德禄 （2009） 探讨了多模态与计算机符号之间的关系，多模态话语分析的原理和方法，以及视觉语法的框架。此外，顾曰国（2007）等人也对多模态及多模态话语分析进行了一定的研究。然而，与国外多模态研究注重理论探索和实证研究相比，国内多模态研究大多是应用型研究。
（二）多模态话语分析的理论基础
多模态话语分析的理论基础为韩礼德的系统功能语法以及Kress和van Leeuwen的视觉语法。韩礼德的系统功能语法将语言视为社会符号，1985年在其著作《功能语法导论》中，他提出语言的三大元功能： 概念功能（Ideational function），人际功能（Interpersonal function），和语篇功能（Textual function）。概念功能指的是语言对人们在现实世界（包括内心世界）中的各种经历的表达。人际功能表达讲话者的身份、地位、态度以及对事物的推断，参加社会活动，建立社会关系等功能。语篇功能指语言本身前后连贯，并与语域发生联系的功能（Halliday， 1985）。
1996年，Kress和van Leeuwen将韩礼德系统功能语言学中的元功能理论延伸到视觉模式，创建了以再现意义（Representational meaning）、互动意义 （Interactive meaning）和构图意义（Compositional meaning）为核心内容的的视觉语法（Visual Grammar）。再现意义解释了意义参与者与过程之间的关系，通过分析图像中所描述对象的结构关系来看图像如何体现再现意义。互动意义解释图像如何同观看者产生互动。通过接触、社会距离、态度和情态四个方面分析图像如何体现互动意义。构图意义分析图像中元素如何通过构图表达意义。
三、结论
本文回顾了多模态及多模态话语分析的形成与发展，同时对多模态话语分析的理论基础进行了相关阐述。通过总结前人对多模态以及多模态话语分析的研究，我们发现在多模态语篇中，正如语言一样，图像也能体现元功能，起到承载信息，构建意义的功能。在全球化的今天，意义不再仅仅由语言模式来传递，还通过不同符号组合来实现，因此，培养多模态识读能力、提高多模态语篇意义的解读能力已变得越来越重要。
参考文献：
[1] Baldry， A. Multimodality and Multimodality in the Distance Learning Age [M]. Compobasso： Palladino Editore， 2000.
[2] Cope， B. & Kalantzis， M. Multiliteracies： Literacy Learning and the Design of Social Future [M]， London： Rouledge， 2000. [3] Halliday， M. A. K. An Introduction to Funtional Grammar [M]. London Arnold， 1985/1994/2002.
[4] Kress， G. & van Leeuwen， T. Reading images： The grammar of visual design [M]. London： Routledge， 1996.
[5] Kress， G et al. Multimodal Teaching and Learning---the Rhetorics of the Science Classroom [M]. New York： Continuum， 2001.
[6] Kress， G & T.V. Leeuwen. Multimodal Discourse： The Modes and Media of Contempory Communication [M]. New York： Oxford University Press， 2001.
[7] Kress， G. Literacy in the New Media Age [M]. London： Rouledge， 2003.
[8] O’ Halloran， K. L. Multimodal Discourse Analysis： Systemic-Functional Perspective [C]. London： Continuun， 2004.
[9] Norris， S. Analyzing Multimodal Interaction： A Methodological Framework [M]. New York/ London： Routledge， 2004.
[10] Royce， T. D. Inter-semiotic complementarity： A framework for multimodal discourse analysis [A]， In T.D.Royce & W. L.Bowcher （ed.） New Directions in the Analysis of Multimodal Discourse. New Jersey and London： Lawrence Erlbaum Associates， 2007.
[11] Scollon， R. & Scollon， S. W. Discourse in Place： Language in the Material World [M]. London： Routledge， 2003.
[12] Van Leeuwen， T. Introducing Social Semiotics [M]. London： Routledge， 2005.
[13] 顾曰国. 多媒体-多模态学习剖析[J]. 《外语电化教学》，2007，（4）：3-12.
[14] 胡壮麟. 社会符号学研究中的多模态化[J]. 《语言教学与研究》，2007，（1）：1-10.
[15] 李战子. 多模式话语的社会符号学分析[J]. 《外语研究》，2003， （5）：1-8.
[16] 朱永生. 多模态话语分析的理论基础与研究方法[J]. 《外语学刊》，2007，（5）：82-86.
[17] 张德禄. 多模态话语分析综合理论框架探索 [J]. 《中国外语》，2009，（1）：24-30.
作者简介：刘莉（1987-），女，甘肃平凉人，硕士，研究方向：语篇分析。
摘 要：1952年，Harris 在杂志 Language 上发了表题为Discourse Analysis的文章，标志着话语分析研究的开始。传统话语分析学家建立了研究语言内部规律、语言与认知行为之间关系的各种理论和方法。然而，随着现代交流媒介以及科学技术的发展，多模态话语逐渐出现在人们的生活中。而传统话语分析只分析话语中的语言模式，忽略了其他符号模式，如图像、颜色、画面等。因此，近年来越来越多的学者和专家开始探索多模态话语分析。本文对多模态、多模态话语分析以及1996年Kress和van Leeuwen提出的视觉语法进行了系统的回顾，旨在梳理多模态话语分析的研究脉络，从而为更多多模态话语分析研究提供一定参考。
关键词：多模态；多模态话语分析；视觉语法
一、引言
在全球化进程中，出现了各种新的交际形式。意义不再仅仅由语言来传递，还通过不同的符号组合来实现，比如图像、声音、布局等。显然，在话语分析中，仅仅研究语言层面，已远远不能满足日益变化的社会实践。因此，急需要一门可以通过潜在符号模式来构建意义的学科。
发展和繁荣于二十世纪九十年代的多模态理论在某种程度上解决了以上的问题。1996年，Kress和van Leenwen，将韩礼德系统功能语言学中的元功能理论扩展到视觉模态，建立视觉语法来分析图像。根据视觉语法，图像包含三种意义，即再现、互动、构图意义，分别对应Halliday系统功能语法中的概念、人际、语篇功能。自此，多模态理论开始受到关注。
二、多模态话语分析的理论基础
（一）多模态及多模态话语分析
“多模态”一词源于英语中的“multimodality”，其中“modality”一词源自“mode”，意为“模态/ 模式/ 方式”。多模态语篇（multimodal discourse）是一种融合了多种交流模态（如声音、文字、图像等）来传递信息的语篇（Kress and van Leeuwen，2001）。Kress和van Leeuwen的《阅读图像》标志着多模态话语分析的建立。在该书中，Kress和van Leeuwen阐明了意义是如何通过视觉模式来构建，从而提出了意义构建的三维模式，即再现、互动、构图。
基于Kress和Van Leeuwen的理论探索，多模态话语分析被运用于不同的领域。例如，Baldry （2000） 探讨了如何提高学生的多模态习得能力，以使他们在远程学习中更好运用多模态方法。Cope和Kalantiz （2000）指出，科技进步给学生和教师带来了巨大的挑战，因此多模态识读能力教学的深度和广度应该被扩展。依据大量的课堂研究，Kress等人2001年指出，交际通过图像、动作、言语、情态等实现。此外，Scollon（2003），O’ Halloran（2004），Royce（2007）等人也对多模态及多模态语篇分析做了相关研究。
国内学者李战子首先介绍了Kress和van Leeuwen等人提出的在英语教学中使用多模态话语的社会符号方法。胡壮麟 （2007），朱永生 （2007）和张德禄 （2009） 探讨了多模态与计算机符号之间的关系，多模态话语分析的原理和方法，以及视觉语法的框架。此外，顾曰国（2007）等人也对多模态及多模态话语分析进行了一定的研究。然而，与国外多模态研究注重理论探索和实证研究相比，国内多模态研究大多是应用型研究。
（二）多模态话语分析的理论基础
多模态话语分析的理论基础为韩礼德的系统功能语法以及Kress和van Leeuwen的视觉语法。韩礼德的系统功能语法将语言视为社会符号，1985年在其著作《功能语法导论》中，他提出语言的三大元功能： 概念功能（Ideational function），人际功能（Interpersonal function），和语篇功能（Textual function）。概念功能指的是语言对人们在现实世界（包括内心世界）中的各种经历的表达。人际功能表达讲话者的身份、地位、态度以及对事物的推断，参加社会活动，建立社会关系等功能。语篇功能指语言本身前后连贯，并与语域发生联系的功能（Halliday， 1985）。
1996年，Kress和van Leeuwen将韩礼德系统功能语言学中的元功能理论延伸到视觉模式，创建了以再现意义（Representational meaning）、互动意义 （Interactive meaning）和构图意义（Compositional meaning）为核心内容的的视觉语法（Visual Grammar）。再现意义解释了意义参与者与过程之间的关系，通过分析图像中所描述对象的结构关系来看图像如何体现再现意义。互动意义解释图像如何同观看者产生互动。通过接触、社会距离、态度和情态四个方面分析图像如何体现互动意义。构图意义分析图像中元素如何通过构图表达意义。
三、结论
本文回顾了多模态及多模态话语分析的形成与发展，同时对多模态话语分析的理论基础进行了相关阐述。通过总结前人对多模态以及多模态话语分析的研究，我们发现在多模态语篇中，正如语言一样，图像也能体现元功能，起到承载信息，构建意义的功能。在全球化的今天，意义不再仅仅由语言模式来传递，还通过不同符号组合来实现，因此，培养多模态识读能力、提高多模态语篇意义的解读能力已变得越来越重要。
参考文献：
[1] Baldry， A. Multimodality and Multimodality in the Distance Learning Age [M]. Compobasso： Palladino Editore， 2000.
[2] Cope， B. & Kalantzis， M. Multiliteracies： Literacy Learning and the Design of Social Future [M]， London： Rouledge， 2000. [3] Halliday， M. A. K. An Introduction to Funtional Grammar [M]. London Arnold， 1985/1994/2002.
[4] Kress， G. & van Leeuwen， T. Reading images： The grammar of visual design [M]. London： Routledge， 1996.
[5] Kress， G et al. Multimodal Teaching and Learning---the Rhetorics of the Science Classroom [M]. New York： Continuum， 2001.
[6] Kress， G & T.V. Leeuwen. Multimodal Discourse： The Modes and Media of Contempory Communication [M]. New York： Oxford University Press， 2001.
[7] Kress， G. Literacy in the New Media Age [M]. London： Rouledge， 2003.
[8] O’ Halloran， K. L. Multimodal Discourse Analysis： Systemic-Functional Perspective [C]. London： Continuun， 2004.
[9] Norris， S. Analyzing Multimodal Interaction： A Methodological Framework [M]. New York/ London： Routledge， 2004.
[10] Royce， T. D. Inter-semiotic complementarity： A framework for multimodal discourse analysis [A]， In T.D.Royce & W. L.Bowcher （ed.） New Directions in the Analysis of Multimodal Discourse. New Jersey and London： Lawrence Erlbaum Associates， 2007.
[11] Scollon， R. & Scollon， S. W. Discourse in Place： Language in the Material World [M]. London： Routledge， 2003.
[12] Van Leeuwen， T. Introducing Social Semiotics [M]. London： Routledge， 2005.
[13] 顾曰国. 多媒体-多模态学习剖析[J]. 《外语电化教学》，2007，（4）：3-12.
[14] 胡壮麟. 社会符号学研究中的多模态化[J]. 《语言教学与研究》，2007，（1）：1-10.
[15] 李战子. 多模式话语的社会符号学分析[J]. 《外语研究》，2003， （5）：1-8.
[16] 朱永生. 多模态话语分析的理论基础与研究方法[J]. 《外语学刊》，2007，（5）：82-86.
[17] 张德禄. 多模态话语分析综合理论框架探索 [J]. 《中国外语》，2009，（1）：24-30.
作者简介：刘莉（1987-），女，甘肃平凉人，硕士，研究方向：语篇分析。