多模态话语分析的理论基础与研究方法_朱永生

DOI:10.16263/j.cnki.23-1071/h.2007.05.0342007,No.52007年第5期外语学刊总第138期FOREIGNLANGUAGERESEARCHSerialNo.138★话语分析编者按:话语分析不仅是语言学关注的对象,而且是语言哲学、后现代主义等许多人文科学关注的焦点。目前,话语分析可以区分为批评话语分析和积极话语分析。其实,话语分析应该以话语为对象,或者以语言本身为目的,或者以人及人的世界为目的。前者属于语言学,后者属于语言哲学,两者相互联系,相互支撑。朱永生先生的文章为我国话语分析的开展指明了发展方向,而丁建新、廖益清等先生也从不同角度出发,在话语分析领域进行着细致的耕耘。多模态话语分析的理论基础与研究方法朱永生(复旦大学,上海200433)提要:迄今为止的话语分析基本上局限于语言本身,即只注意语言系统和语义结构本身及其与社会文化和心理认知之间的关系,忽视了诸如图象、声音、颜色、动漫等其他意义表现形式。这就使得话语分析带有较大的局限性。20世纪90年代,西方兴起的多模态话语分析,则可以在很大程度上帮助人们克服这些局限性。本文将论述与多模态话语分析紧密相关的4个问题:(1)多模态话语的产生;(2)多模态话语的定义;(3)多模态话语分析的性质和理论基础;(4)多模态话语分析的内容、方法和意义。关键词:多模态话语分析;理论基础;研究方法中图分类号:B089文献标识码:A文章编号:1000-0100(2007)05-0082-5TheoryandMethodologyofMultimodalDiscourseAnalysisZhuYong-sheng(FudanUniversity,Shanghai200433,China)Thediscourseanalysisthathasbeendonesofarislargelyrestrictedtolanguageitself,i.e.attentionhasbeenpaidtothelanguagesystemandsemanticstructureandtheirrelationtocultureandcognition,withotherwaysofmeaningmakingsuchasim-ages,sounds,coloursandflashesignored.Thishasmadediscourseanalysisfarfromcomprehensiveandexhaustive.Multimodaldiscourseanalysis,whichstartedinthe90softhelastcenturyinthewest,cansolvethisproblemtoagreatextent.Thispaperattemptstodiscussfourissuescloselyrelatedtomultimodaldiscourseanalysis:1)wheremultimodaldiscoursecomesfrom;2)howmultimodaldiscourseisdefined;3)whatisthenatureandtheoreticalbasisofmultimodaldiscourseanalysis;and4)Whatisthecontent,methodologyandsignificanceofmultimodaldiscourseanalysis.Keywords:multimodaldiscourseanalysis;theoreticalbasis;methodology1引言言为研究对象,即只注意语言系统和语义结构本自美国语言学家Haris于20世纪50年代初身及其与社会文化和心理认知之间的关系,忽视提出话语分析(discourseanalysis)这一研究方向诸如图象、声音、颜色、动漫等其他意义表现形式。以来,世界各地的话语分析家作出了很大努力,提这就使得话语分析带有较大的局限性。20世纪出了各种各样的话语分析理论和方法,通过大量90年代西方兴起的多模态话语分析(multimodal实例分析,解剖了话语活动内在的规律以及话语discourseanalysis),则可以在很大程度上帮助人活动与意识形态和认知模式之间的关系。(朱永们克服这些局限性。生2003)然而,这些理论和方法,基本上都是以语本文将论述与多模态话语分析紧密相关的4822007年朱永生多模态话语分析的理论基础与研究方法第5期个问题:(1)多模态话语的产生;(2)多模态话语的定义;(3)多模态话语分析的性质和理论基础;(4)多模态话语分析的内容、方法和意义。2多模态话语的产生2.1感知模态的产生生命科学的研究成果告诉我们,生命体在演化过程中逐步获得视觉、听觉、嗅觉、味觉、触觉等5种不同的感知通道(sensorychannel):(1)靠眼睛获得的视觉通道(visualchannel);(2)靠耳朵获得的听觉通道(auditivechannel);(3)靠皮肤获得的触觉通道(tactilechannel);(4)靠鼻子获得的嗅觉通道(olfactorychannel);(5)靠舌头获得的味觉通道(gustatorychannel)。这些通道是生命体与周围环境进行信息交换的界面和路径。在残酷的物竞天择面前,这些感知通道能否相互作用,对周围的一切作出迅速而有效的反应,直接影响生命体的生存和繁衍。生物学家们认为,上述5种感知渠道的获得分别导致以下5种交际模态的产生:视觉模态(visualmodality)、听觉模态(au-ditivemodality)、触觉模态(tactilemodality)、嗅觉模态(olfacotrymodality)和味觉模态(gustatorymodality)。在上述模态中,与话语分析关系最紧密的是视觉模态和听觉模态。近年来,由于科学技术的发展,触觉模态、嗅觉模态和味觉模态也开始用于话语交际。这里仅以触觉模态为例,随着数据手套(dataglove)的问世,人们可以依靠传递手指的弯曲角度,打出各种各样的三维手势,把语言和手势结合起来,从而使人机对话更加接近于自然的人际对话。2.2模式、媒介与模态的差别在多模态话语分析中,模式(mode)、媒介(medium)与模态(modality)三个词语经常出现。由于彼此之间在意义上有一定的联系,但界限并不十分明确,容易造成混乱和误解,有必要对它们各自的含义进行说明。一般来说,模式指系统功能语言学家所说的与话语范围(fieldofdiscourse)和话语基调(tenorofdiscourse)并列的语境三要素之一的话语模式(modeofdiscourse),意指交流渠道(channelofcommunication),如口头模式(spokenmode)、书面模式(writenmode)、电子模式(electronicmode)等。这些模式的使用和变化在一定程度上影响信息的流动(informationflow),最终影响语篇性(texture)(语篇应该具备的特征)。媒介指语言交际所使用的技术(technology),从严格的语言学和符号学意义上来看,算不上一个术语。模态和情态一样,在英语中都叫做modality,但两者所指不同。情态指语言系统中讲话者对事物的或然性(probability)进行判断和事物的必要性(necessi-ty)表明态度的语义系统,而模态则指交流的渠道和媒介,包括语言、技术、图象、颜色、音乐等符号系统。3多模态话语的性质和识别标准我们认为,多模态话语就其性质而言是人类感知通道在交际过程中综合使用的结果。因此,多模态话语分析不应该局限于语言学的研究范围,而应该是跨学科的。事实上,经过十多年的发展,多模态分析已经超越了语言学的藩篱,扩展到符号学、哲学、社会学、人类学、政治学、新闻学、心理学、法学、美学和医学等领域,研究对象也从语言文字扩展到音乐、图片、影像、网页设计和建筑风格等多种社会符号系统。多模态话语如何识别?我们认为,不外乎两个判断标准。第一条标准是看涉及的模态种类有多少,这是当前语言学界普遍认可的标准。只使用一种模态的话语叫做“单模态话语”(monomodaldis-course),如使用听觉模态收听新闻广播或使用视觉模态阅读小说。同时使用两种或两种以上模态的话语叫做“多模态话语”(multimodaldis-course),也有人把同时使用两种模态的话语叫做“双模态话语”(bimodaldiscourse)。同时使用两种模态的例子有使用可视电话进行交际时,交际双方都需要用耳朵听对方的讲话内容,用眼睛看对方的表情变化和手势变化。同时使用三种或三种以上模态的例子很多。在日常生活中,我们使用手机交流时,需要用耳朵听,用嘴讲,用笔写信息,用手发信息;电脑上网时,需要用眼睛看屏幕上显示的文字和图象,用耳朵听文字的录音和图象发出的声音,在技术允许的条件下还可以用鼻子闻到电脑里发出的某种气味。技术含量更高的是美ATT贝尔实验室设计的HuMaNet系统,这个系统能使异地客户召开会议时同时获得声音、文字、数据和图象。第二条标准是看涉及的符号系统有多少。有些话语虽然只涉及一种模态,但包含两个或两个以上的符号系统,如连环画虽然只涉及视觉模态,但既有文字又有图画;广播小说虽然只涉及听觉模态,但既有文字内容又有背景音乐。我们也把832007年朱永生多模态话语分析的理论基础与研究方法第5期这些话语看作是多模态话语。(至于手势语、面部表情和身势语等副语言(paralanguage),我们既可以把它们看作语言,也可以看作另一种模态。)4多模态话语分析的理论基础虽然多模态话语分析也从皮尔斯等人的符号学理论中吸取了媒介、对象、解释三位一体等理念,但其主要理论基础却是Haliday创立的系统功能语言学(Haliday1978,1985/1994;Haliday＆Mathiessen2004)。具体地说,多模态话语分析从系统功能语言学那里接受了语言是社会符号(socialsemiotic)和意义潜势(meaningpotential)的观点,认为语言以外的其他符号系统也是意义的源泉;接受了系统理论,认为多模态话语本身也具有系统性;接受了纯理功能假说(metafunctionhypothesis),认为多模态话语与只包含语言符号的话语一样,也具有多功能性,即同时具有概念功能、人际功能和语篇功能;接受了语域(register)理论,认为语境因素和多模态话语的意义解读之间有着密不可分的联系。由于多模态话语分析深受系统功能语言学和符号学的影响,我们可以把它叫做系统功能符号学(systemic-functionalsemiotics)。系统功能语言学则可看作系统功能符号学的一个分支。5多模态话语分析的内容、方法与意义5.1内容把语言学理论应用于符号学(尤其是视觉符号研究)研究早就开始了。例如,布拉格学派把“前景化”(foregrounding)概念应用于美术、戏剧、电影和服饰研究;巴黎学派把索绪尔有关“语言”与“言语”、“能指”和“所指”、“任意”与“理据”等理论应用于绘画、摄影、时装、电影和音乐研究;批评语言学派和系统功能符号学派把Haliday的系统功能语言学理论应用于新闻、文学和音乐等领域的研究等。多模态话语分析关心的课题很多,学者们的看法也不尽相同。这里仅列举几种有代表性的意见。Simpson对一次以多模态化为主题的国际应用语言学研究会的议题进行归纳,指出多模态话语分析主要涉及如下几个方面:(1)多模态化和新的媒体;(2)在学术和教育情境下的多模态化的应用;(3)多模态化与识读实践;(4)多模态化语料库的建立;(5)多模态化和类型学;(6)多模态化话语分析及其理论问题。(Simpson2003)Baldry＆Thibault则列出6个课题:(1)什么叫多模态语篇;(2)如何对这些语篇进行转录和分析;(3)对多模态语篇进行分析或建立多模态语篇语料库时需要哪些技术;(4)把多媒体的意义生