2011年第1期《中国英语教育》No.1,2011总第31期EnglishEducationinChinaSerialNo.311多模态话语分析三大理论方法述评张佐成1,陈瑜敏2(1.对外经济贸易大学英语学院,北京100029,北京;2.中山大学国际汉语学院,广州510275,广东)提要:多模态话语分析是当今话语分析领域的热点,逐步形成了三种主要的理论方法,包括系统功能多模态话语分析、多模态互动分析和语料库语言学多模态话语分析。本文对这三种理论方法从其理论基础、分析方法两方面进行阐述,探讨它们对认识人类互动的本质特征和研究方法的价值,并提出三者对多模态即席话语分析的内容、范畴、手段等问题的启示。关键词:多模态话语;系统功能多模态话语分析;多模态互动分析;语料库语言学中国分类号:H030文献标识码:A在当今多模态话语分析的热潮中涌现了一批研究者,逐步形成了三种系统、连贯地分析多模态话语的理论方法。第一种以GuntherKress和TheovanLeeuwen为代表,从社会符号学角度出发,在功能语言学研究的基础上构建理论框架、确定分析范畴,通常被称为“系统功能符号学”(systemicfunctionalsemiotics)或“系统功能多模态话语分析”(systemicfunctional-multimodaldiscourseanalysis)。第二种是以SigridNorris为主要代表的“多模态互动分析”(multimodalinteractionalanalysis)。第三种是顾曰国提出的语料库语言学多模态话语分析,以社会行为心理学、行为生态学和感知生态学为指导对人际互动鲜活的状况进行分析、建模,为语言工程服务。本文尝试讨论三者各自的理论基础和具体分析方法,并探讨它们对多模态即席话语分析的启示。一、系统功能多模态话语分析1.理论溯源系统功能多模态话语分析的理论根源是系统功能语言学(Halliday1994;Halliday&Matthiessen2004;Martin1992)和社会符号学(Halliday1978;Hodge&Kress1988;vanLeeuwen2005a)。模态指的是“符号模态”(semioticmode)(Kress&vanLeeuwen2001:20)。常见的符号模态包括语言、图像、声音、空间和身体动作等,主要以符号系统的数量来界定多模态话语。系统功能符号学首先在对语言符号的研究中发展其理论体系,“将语言视为社会符号……就是要在社会文化语境中解读语言,从符号的角度将文化本身解读为信息系统”(Halliday1978:2)。多模态话语的解读同样必须考虑语境因素。语境是系统功能符号学中一个重要的概念,指交际发生的符号结构或符号环境(Halliday1978)。语言与社会语境之间是“复杂的自然辩证关系”(Halliday1978:183),通常用“体现”(realization)一词描述,语言积极地以符号的形式来表现社会系统,构建着社会系统同时也被社会系统所构建。系统功能符号学关于其它符号系统与社会语境关系的论述,很大程度上借鉴了语言与社会语境的体现关系。“层次”(stratification)思想和“元功能”(metafunction)假说对构建多模态话语的符2011年第1期《中国英语教育》No.1,2011总第31期EnglishEducationinChinaSerialNo.312号学分析框架意义重大。层次思想提供了考察多模态现象的三个角度:语境层、表达层及内容层内部(Matthiessen2007:3-4)。系统功能符号学的研究重点为内容层内部,即考察各符号模态运作的规律性特征、不同符号模态如何共同在特定语境中制造意义及模态间关系。基于对意义的研究而提出的元功能假说为解决以上问题提供了视角。功能被视为意义演化的基础(Halliday&Hasan1985:17),语言以外的其它符号模态(如图像、音乐和动作等)也具有多功能性(Kress&vanLeeuwen2006;O’Toole1994;vanLeeuwen1999;Martinec2000)。符号在使用过程中同时产生概念、人际、组篇三大意义,这种符号内在的多功能性可以往上延伸到语境层,分别对应语境中的语场、语旨和语式(Halliday1978;Halliday&Hasan1985;Martin1992)。这样,符号内容层的多功能性和语境因素就密切联系在一起,为在社会语境中解读符号选择的意义提供了理论前提。2.分析方法以视觉平面图像为例。图像的社会符号学分析主要有两种思路,分别以O’Toole(1994)和Kress&vanLeeuwen(1996,2006)为代表。O’Toole(1994)把语法中用于描述语法单位等级关系的级阶概念用于分析美术作品和建筑,提出“作品”(work)包括“情节”(episode),情节包括“人像”(figure),人像包括“部分”(member)等级阶(1994:37)。他将三大元功能贯穿于上述分析单位,从高到低各级分析单位都体现三大元功能。O’Toole(1994)的功能—级阶方法在数学符号(O’Halloran1999,2005)和建筑(Stenglin2004)研究中得到应用。Kress&vanLeeuwen(2006)的符号学分析法在音乐(vanLeeuwen1999)、网页(Knox2007)等非线形、动态语篇的研究中得到应用和发展。他们秉承了功能语法中的元功能思想,认为视觉图像跟其它所有模态一样都履行再现经验世界、表达信息制造者和接收者之间的交流和图像中参与者与观看者之间的互动、以及视觉资源的构图布局三方面的要求(Kress&vanLeeuwen2006:41-44;具体可参阅李战子2003)。他们遵循“选择就是意义”(meaningaschoice)(Halliday1994)的原则,用系统网络方法表现模态选择的意义潜势及各选择间的“析取选择”和“合取选择”关系(胡壮麟等2005:56)。譬如,互动意义包括接触、社会距离和态度三个子系统(见图1),它们之间是合取关系(即同时要在这三个子系统中进行选择),用大括弧表示;各子系统又包括多个选项或二级子系统,选项间是析取关系,用直角括弧表示。通过考察符号子系统间和选项间的关系,话语分析者能较全面地描述并把握图像中参与者和观看者间复杂微妙的人际意义。Kress&vanLeeuwen(2006)重视系统功能语言学中的“拓扑学”(topology)方法。在讨论图像中的情态时,使用“连续统一体”(continuum)来描述各情态标记的程度计量,以此分析不同语境中的“编码导向”(codingorientation)(即不同语境中图像真实程度的标准);在讨论构图意义中的显著性和连结程度时,也采用拓扑学的视角。此外,他们采用功能语篇分析中常用的功能标签(如动作者、目标、环境成分等)来描述图像中再现的人物/非人物参与者、情景因素等;采用投射概念描述带有对话泡/思维泡的图像里话语内容由说话者/感受者作为中介进行协调的特点。Kress&vanLeeuwen(1996,2006)将语言研究中发展起来的分析范畴和方法扩展到对图像的研究时考虑图像自身固有的特点。譬如,图像中的过程类型就并非像语言及物系统那样包括物质、行为、心理、言语、关系和存在六类(Halliday1994),而在确定过程类型前,先根据“矢量”(vector)的有无,将再现分为“叙事再现”(narrativerepresentation)和“概念再现”(conceptualrepresentation),其中叙事再现包括行动过程(图像中的人物肢体或工具等元素形成斜线从而构成矢量)、反应过程(当矢量是图像中人物的目光)、言语/心理过程(当矢量是对话泡/思维泡),而不具备矢量的概念再现则可细分为分类过程(参2011年第1期《中国英语教育》No.1,2011总第31期EnglishEducationinChinaSerialNo.313与者之间存在同属某一类的从属关系)、分析过程(参与者之间是整体—部分的关系)和象征过程(参与者分别为承载者—象征属性)。再如,在表述方面,以行动过程及其环境成分为例,语言中通常用行为动词来体现的意义,在图像分析中通常由矢量来体现;在语言中使用介词来表示的方位关系,在图像中其体现形式常为前景和背景的对比(Kress&vanLeeuwen2006:46)。不同符号模态(譬如书面文字和图像)在体现类似的语义关系时,具有各自特定的体现方式。此外,该分析法承认某些语义关系只能由某种/某些模态来体现,或者说某些语义关系用某种/某些模态来体现更为容易,这与符号模态本身的表达潜势和局限性有关,也与特定的历史社会文化语境密切相关(Kress&vanLeeuwen2006:46)。索取接触提供亲近/个人社会距离社会互动非个人/公共意义卷入主观远离观察者权势态度平等图像参与者权势行动导向客观知识导向图1图像中的互动意义(Kress&vanLeeuwen2006:149)就交际语境中各符号模态间的关系和互动,系统功能多模态话语分析也有系统、连贯的分析方法,强调要在不同符号模态“同步的、如同管弦乐般的配合”(Bateman2008:1)当中研究多模态话语的意义。这类研究包括对同一语篇中各符号模态间关系的考察,以及对多个多模态语篇之间关系的研究两类。Lemke(1998)指出,多种符号系统互动产生的意义并非简单的相加,而是一种复杂的类似相乘关系的意义新秩序。对同一语篇中各符号模态之间关系可以从概念意义(Lemke1998;Royce1998,2002;O’Halloran1999;Martinec&Salway2005)、人际意义(Martin2001,2004)或者组篇意义(Kress&vanLeeuwen1996,2006;Martin2001,2004)的角度入手研究。从概念意义出发的模态间关系研究,包括借鉴语言学中的词汇衔接(Halliday&Hasan1976)发展出的“符际互补关系”(intersemioticcomplementarity),即重复、同义、反义、上下义、部分与整体、搭配(Royce1998,2002);结合Halliday(1994)的逻辑—语义关系(即扩展、延伸、增强)和Barthes(1977)对图文关系的分类(即图像阐释文字、文字阐释图像、图像和文字平等的接力关系)发展出的试图能被计算机识别的图文关系系统(Martinec&Salway2005);利用电脑数字技术进行图像加工,对概念意义的隐喻性构建中的图文关系的考察(O’Halloran2008)。关于模态间互动产生的人际意义,Martin(2001,2004)指出图像如同比喻,能在读者心中激发起对所描绘事物的评价,从而与相应的文字一起共同表达评价意义。在组篇意义方面,Kress&vanLeeuwen(2006)从已知—新信息结构、理想—真实信息、中心—边缘的信息值等方面分析了图文关系。Martin(2001,2004)2011年第1期《中国英语教育》No.1,2011总第31期EnglishEducationinChinaSerialNo.314认为Kress&vanLeeuwen(2006)的信息值分析框架可以加以扩展,考虑主位—述位关系,即充当信息主位的图像具有人际主位(Halliday1994)的功能,因此能“顺化”(naturalize)充当述位的文字的评价意义。对多个多模态语篇之间的关系则可以从“重新符号化”(resemiotization)(Iedema2003),以及在不同符号模态之间实现翻译(Martinec&vanLeeuwen2007)等方面进行探讨。Iedema(2003)提出重新符号化,认为这是多模态话语研究中不可或缺的视角。重新符号化强调产品产生的社会构建过程而并非产品本身的信息呈现,考察在此过程中为何某种符号(而不是别的符号)被运用。Martinec&vanLeeuwen(2007