多模态视角下的影视字幕翻译——基于图文逻辑语义关系的研究

引言

20世纪90年代西方兴起的多模态话语分析理论在很大程度上突破了传统影视研究的局限性，为视听翻译提供了一个更为综合的新的研究视角。传统影视字幕翻译从纯文本的视角出发，只注重语言本身，而忽视了其他意义模态的作用。多模态话语分析合理地整合了语言、视觉图像、声音等意义模态，为分析不同模态如何相互协同表达整体意义提供了理论框架。本文将从多模态研究视角下，依据图文关系分析模式，重点分析影视作品中图像与字幕之间的互动意义，以及在图文逻辑语义关系的参照下英文字幕的汉译策略。

1 理论依据

1.1 多模态话语分析

模态是人类借助听觉、视觉、触觉等感知渠道在社会活动中用来表征和交流意义的资源，例如，语言、图像、音乐、手势等等。利用单一感知渠道构建意义的为单模态，而多模态是运用多种感知，通过多种符号资源进行交际的产物。多模态话语分析主要是以韩礼德的系统功能语言学为理论基础建立起来的[1]，它把语篇分析从单一的语言文字模态扩展到了包括视觉、听觉、触觉、味觉和嗅觉等多种模态的综合分析。该理论认为每种模态都有各自的意义潜势，同时它们又相互协同构建与传递语篇的整体意义。同语言符号一样，多模态话语中的其他各种符号系统也同样体现了系统功能语言学中的概念功能、人际功能和语篇功能三种元功能。多模态话语分析把非语言符号的意义交流纳入了研究范围之中，这便需要研究不同符号间的关系，尤其是语言符号与非语言符号之间关系，发现不同模态的媒体间如何相互关联以共同配合实现意义的构建，这是多模态话语分析最主要的研究课题。

呆呆地在巷口站了大约10多分钟后，刘伟说“来了，来了！”我便看到了一个戴着墨镜、背着包的女孩子从对面向我们的巷口走过来，有点像短裙子女孩，但我不能确定，因为散发遮住了她的大半个脸，墨镜挡住了大半个脸，露出来可供辨认的地方很少，还有裙子也不一样，这是一件长长的黑裙子。

1.2 图文逻辑语义关系分析模式

在多模态话语中图文是两种最普遍的符号表征，图文关系是多模态话语分析中重点关注的问题之一。对图文关系的研究开始于语言学家Barthes所探讨的图解(illustration)、依托(anchorage)和补充(relay)三类关提出了更为复杂的五类图文之间的语义关系：图解关系(illustration)、图像示范关系(pictorial exemplification)、标记关系(labeling)、相互决定关系(mutual determination)、矛盾关系(contradiction)[3]。Barthes和对图文关系的分析强调了符号系统各自的意义，缺少了与其他符号系统的互动作用。Kress和van Leeuween提出了视觉语法的概念[4]，将功能语法的三大元功能延伸到视觉交际模态中，这一领域的兴起进一步强调了视觉符号的重要性。在传统符号学与系统功能语言学的影响下，Martinec和Salway构建了描写图文符号系统意义的多模态分析的参考框架[5]。此图文关系的分析模式将韩礼德[1]所认为的不同的语言单位之间存在着一定的相互依存和逻辑语义关系的思想融入其中，把图文逻辑语义关系区分为扩展(expansion)与投射(projection)两大类。

语言学家Haugen将语言与所处环境隐喻为特定动植物与其生存环境间的生态关系，生态语言学这一术语应运而生。[3]

由于本研究主要依据扩展类的图文语义关系来进行分析，本文重点介绍扩展类逻辑关系。所谓扩展指的是图像与文字在语义上相互扩充，扩充的方式有三种：详述(elaboration)、延展(extension)和增强(enhancement)。详述中的图文关系可以是相互阐述的，彼此的概括度相同，即为说明(exposition)；也可以是例证(exemplification)关系，当文字所表达的语义更为概括，图像所表达的语义更为具体时，即图为例；反之即文为例。所谓延展指的是图文间在语义上增加了新的、相关的内容。图文之间的增强关系指的是以交代时间、地点、因果和条件等环境因素互相在语义上的说明。因此根据Martinec和Salway 建立的分析框架，存在六类扩展关系的图文语义关系(见图1)。

  

图1 扩展关系的图文关系分析模式[5]

2 影视字幕翻译的多模态特征

影视作品不是纯粹的文字文本，它既是一种文学作品，又需要综合视觉、听觉等不同感官理解与欣赏，带有多种符号特征，是典型的多模态话语。科技的不断进步也使得影视作品的冲击力、影响力更为巨大，呈现越来越强的多模态特征。影视字幕翻译除了一般文字翻译带来的挑战，还有其作品的表现形式对翻译的束缚，其语义生成需要一个多模态符号互动的合力过程。所以，字幕翻译者要以对整部片子完整的、较好的理解作为翻译的基础，而不能将画面与语言或声效割裂开来进行翻译。

字幕翻译(subtitling)隶属于视听翻译(audiovisual translation)，指的是书写文本，通常位于屏幕底部，呈现演员的对白以及其它视觉图像(信件、涂鸦和说明文字等)和电影配乐(歌曲)的语言信息[6]。影视作品中演员的对白能够阐述、烘托、渲染表演，补充、加强、延伸表演，传达出影像中的意义并赋予画面以具体的深度与广度。因而在影视字幕翻译中，尤其是对于某些对白的翻译若是按照原语采用直接翻译的方式，往往由于画面等方面的限制，无法在语言层面上较为准确全面地表达演员话语的内容。译者必须对视听文本中的符号资源之间的相互依赖性有更深入的理解，结合画面所提供的具体信息，对其内容进行适当地增加、删略或变通处理，将图像、文字等多模态符号系统融合为一体达到影视观看的最优化效果。随着学术界多模态话语分析理论的兴起和翻译界本身对于理论研究范畴的扩展，影视翻译的多模态研究越来越受到关注。Diaz-Cintas、Perez-Conzalez、Chuang、吕洁等中外学者[6-10]都探讨了视听翻译中的多模态性并认为应该将多模态符号体系纳入字幕翻译之中。

3 图文逻辑语义关系分析下的影视字幕翻译

由于影视作品具有多模态特征，影视字幕翻译不仅涉及到语言文字符号的转换，更要注意语言信息和视觉信息的功能性结合，翻译的过程既是语言转化的过程，也是语言创作的过程。本文以四部英文动画电影为语料，以多模态话语分析理论与图文逻辑语义关系的分析模式为依据，结合实例来分析图文互动对字幕翻译的影响以及英文字幕的汉译策略。需要特别指出的是电影画面与静态画面不同，由于电影是动态影像，电影镜头在时间维度上展开，画面与字幕可以出现在同一个镜头中，也可以依次出现，所以本文图文关系分析中的图像可与字幕同时出现，也可以出现在字幕之前或之后。本研究认为影视中的字幕和影像与语言中任何两个不同的语言单位之间的关系一样，都存在相互依存和逻辑语义关系。

3.1 详述

影视字幕翻译不是孤立的文本文字转换，译者对于人物对话的翻译既要在语言形式上忠实于原文，又要配合影视画面，与画面上人物的表情、动作等多模态话语形式相互协同配合。根据图文关系中的详述，字幕与画面内容可以相互解释说明，或者彼此的概括程度不相同，即相互为例。如例1、例2为迪士尼动画公司发行的动画电影《超能陆战队》(Big Hero 6)中两个场景中的英文字幕。

例1 [Big Hero 6中场景00：51：20-00：51：26]

Frederick to Heathcliff：Give me some.

  

图2 说明(概括度相同)详述中的图像模态

这一场景中，被追杀后的六人一行来到弗莱德家门前，管家开门，弗莱德一边召唤同伴进屋，一边对管家说：“Give me some.”同时出现弗莱德伸出拳头来与管家互相碰拳打招呼的镜头(见图2)。根据图像符号信息“Give me some.”翻译成“碰个拳！”符合图文关系的详述类中的说明。图像与字幕相互陈述与解释，采用具体化的字幕内容说明镜头中的信息使图文表达意义相一致，简化了观众信息处理的难度。

例2 [Big Hero 6中场景00：15：20-00：15：35]

Hiro to Tadashi：What are you doing?

Grug to Ugga：I just don’t see why she needs her own ledge.

采用改进的30节点系统验证本文提出的最优分时电价双层模型的有效性，相应的发电机、支路和节点参数见文献[17]。假设不同节点上常规负荷符合相同的图3所示的日负荷系数变化曲线，相应的参考值可以在文献[17]中找到。系统的拓扑结构如图4所示。系统有5个代理商，代理商规模和位置见表1。

Lucy：It’s like the Sistine Chapel. But with pigs.

  

图3 图为例详述中的图像模态

在这一场景中，阿宏为了参加科技展而设计自己的作品，冥思苦想但苦于没有任何创作灵感而垂头丧气，这时哥哥抓住阿宏的双脚把他从椅子上拉下来，把阿宏头朝地扛在背后并回答说：“Shake things up.”画面中阿宏头朝下并且镜头追随阿宏的视角，呈现倾斜倒立的画面(见图3)。与电影画面配合到位，结合图文关系的详述类中的例证，此句可以翻译为“帮你换换角度”。字幕翻译采用概括式的描述，画面展现的是具体的动作方式，图像更为具体，形成图为例的图文关系。

高校内部控制并非“一次性建设“，而是循环往复的闭环式建设过程。植根于互联网+和大数据时代的充分有效的内部控制建设，通过建立制度保障体系，完善高校内部治理结构，理顺内部工作机制，不断规范权力运行，提高风险防控能力，逐步实现大数据风险识别和智能管控，为新时代高校科学可持续发展以及实现长远战略目标保驾护航。

例3 [Despicable Me 2中场景00：54：23-00：54：37]

Lucy to Gru：Wow，looks like your date’s out for the count.

  

图4 文为例详述中的图像模态

例3为环球影业及照明娱乐公司联合制作的动画电影《神偷奶爸2》(Despicable Me 2)中一个场景的英文字幕。此场景中格鲁在餐馆与女友约会，该女友被藏在一旁偷听的露西射中了一针麻醉剂而立刻趴倒在餐桌上(见图4)。此时露西出现并对格鲁说：“Wow，looks like your date’s out for the count.”根据该场景的语境以及露西是以假装若无其事的样子露面，并且还对稍后前来询问的服务生打手势做出喝酒的动作，此句可以采用举例的方式翻译为“看来你的约会对象醉倒了”。画面上的人趴倒会是由多种不同的状况而导致的，因而是概括的、不明确的信息，将“out for the count”译为“醉倒了”，文字描述的是呈现趴倒状态的明确而具体的一例状况，形成文为例的图文关系。

3.2 延展

座位安排采取同组异质、异组同质的方式，即A、B、C搭配，优中差合作学习，以优带差的方式。具体做法：C层学生靠近讲台，A、B、C三层学生按照后、中、前的次序排在一列，A、B两层学生在同一排交错排列，即横排为A、B、C不同层次学生相邻坐，结成“同组异质、异组同质”的合作小组，进行帮带学习，实现A、B层相互促进，帮带C层的目的。

例4 [Despicable Me 3中场景00：25：23-00：25：27]

张鲁敬(1987-),男,硕士生,研究方向:生物医药和消毒剂的质量,email:453081549@qq.com;

  

图5 延展中的图像模态

作为一部喜剧动画电影，此场景中出现了被篡改了的米开朗基罗所绘制的著名壁画“创世纪”增加剧情的喜剧效果(见图5)。若仅仅按照字幕原句翻译，对于不了解西斯廷教堂及其内部壁画的相关文化背景的观众来说，就无法清楚地了解通过语言模态表达的信息和通过图像传达的信息之间的联系，也无法理解其中的喜剧幽默效果。参考语义关系中的延展，可以在字幕翻译中增加相关信息。可参考译为“就像是西斯廷教堂的天顶壁画一样，只不过画的都是猪”。并且运用添加注释的方法，简要增加对于西斯廷教堂(Sistine Chapel)和“创世纪”壁画的背景信息介绍，文字内容对于图像内容进行延展，维系与观众的信息交流。

3.3 增强

例5 [Despicable Me 2中场景00：54：18-00：54：50]

白丽筠主动地扑到我身上，我们的嘴唇像两块吸铁石那样紧紧地贴在了一起。我们就这样嘴对嘴、面贴面地相互搂抱着，移步到能够触摸到墙壁开关的地方，揿灭了房间里的灯具。然后疯狂地剥去对方的衣服，倒在客厅柔软的布艺沙发里，不顾一切地做爱。

影视字幕具有瞬时性的特征，文字只在屏幕上短暂停留，观众观影与阅读书本文字时可以前后查阅理解是不同的。字幕的这一特征也对翻译提出了制约性的要求，文字内容要尽可能地减轻观众的阅读负荷，并要在前后图文逻辑语义关系上做到衔接与连贯。在原语字幕意义表达含混或者不符合汉语表达习惯的时候，翻译时可以做相应地调整，结合电影画面传达的内容，利用图文的增强关系可以使语义更容易理解。比如例5《神偷奶爸2》(Despicable Me 2)中一个场景的英文字幕。

对照组患者并发症检出率是25.81%,与研究组的3.23%相比高出许多,统计学存在差异(P<0.05),详情如下表2:

Lucy to Gru：Yeah，I’m winking because that’s what actually happened.

  

图6 因果增强中的图像模态

这一场景讲述的是格鲁与女友约会时恰巧被露西碰到而发生的事件。上述字幕必须配合前后一连串相互关联的镜头来理解：镜头1——露西发射麻醉针；镜头2——格鲁约会女友被麻醉针击中；镜头3——约会女友瞬间趴倒在餐桌上；镜头4——露西对格鲁眨眼睛(见图6)。依据画面中多模态符号所传达的一系列的意义，“I’m winking because that’s what actually happened.”可以译为“眨眼睛的意思是她真的挨了一针镇静剂”。“挨了一针镇静剂”作为格鲁约会女友趴倒在餐桌上的原因加在字幕当中，文字增强了镜头3与镜头4的图像，为通过原因所构成的图文间的增强关系。

滨660块沙四层直井长缝日均产液14.5t，日产油量为10.5t；常规压裂日均产液13.3t，日产油量为3.92t；直井长缝压裂日均产油量为常规压裂日均产油量的2.68倍。

例6 [The Croods中场景00：10：20-00：11：59]

（1）桥台结合地形条件应该选择使用前锥坡的形式，对于填土高度不足6m的情况下，应该使用桩式台；高度大于6m时，需要使用肋板的形式；

Tadashi to Hiro：Shake things up.

分析图文间的逻辑语义关系主要是比较图像描写的内容和文字传达的内容。在原有的语义上图文其中一方为另外一方增加了新的、相关的内容，那么这便构成了延展关系。如下例3为动画电影《神偷奶爸3》(Despicable Me 3)中一个场景的英文字幕。

  

图7 空间增强中的图像模态

再比如例6，是由美国梦工厂动画公司制作的《疯狂原始人》(The Croods)中一个场景的英文字幕。这一场景讲的是瓜哥的女儿小伊不愿一直躲在山洞里，她独自爬到山洞上方的悬崖岩架上眺望远处的太阳。而瓜哥担心外面危险反对女儿跑出山洞，于是回到山洞后双方发生争执。瓜哥对前来试图劝说的妻子说：“I just don’t see why she needs her own ledge.”根据前面的画面，可以判断此句中的ledge指的是小伊刚刚在山洞外所站立的岩架(见图7)。依据图文的逻辑语义关系，画面已经为字幕提供了具体的地点信息，字幕则可以采用更为笼统概括的表达。因而此句可以翻译为：“我只是不明白为什么她要一个人待在上面。”将“needs her own ledge”译为“一个人待在上面”更加符合汉语的口语化表达，也同时表达出瓜哥对女儿不愿意和家人一起待在山洞里的不理解心情，更易被观众所理解。此例中，根据所处的环境因素，画面为字幕描述了具体的地点信息，图像增强了文字，为通过地点所构成的图文间的增强关系。

椎动脉型颈椎病(CSV)是近年争议最多的类型,诊断没有统一的标准。CSV的病因、病理复杂多样,最终导致椎-基底动脉供血不足而产生一系列症状。它主要由颈椎钩椎关节退行性改变引发的骨质增生、侧方椎间盘突出等继发病理改变刺激、压迫椎动脉,造成脑供血不足所致[1]。选取2016年1月~2017年12月期间收治的椎动脉型颈椎病患者60例,临床治疗方法效果进行分析如下。

4 结语

影视作品的多模态特征决定了其字幕翻译过程有别于纯语言的文本，属于应用类翻译研究的范畴，具有很强的实用性。但是目前该领域的翻译研究对于多模态符号的意义构建作用重视程度还不足够，翻译的主观性还太强，并且缺少相关的理论研究与方法指导。

本文从多模态话语分析的视角，尝试性地依据图文逻辑语义关系的分析模式从详述、延展、增强三个方面展开对影视作品中的图文关系的分析，关注字幕与影像间的互动关系，为影视字幕翻译提供了一个新的研究方法。但是本文仅仅体现了图像符号对翻译的影响，其他非语言符号如音乐、特殊音效、摄影方位等等都参与整体意义的构建，这还需要继续在多模态话语分析的视角下开展更加全面与深入的研究。

参考文献：

[1]Halliday M A K. An Introductiou to Functional Grammar [M].London：Edward Arnold Limited，1994：215-249.

[2]Barthes R. Image-Music-Text [M]. London：Fontana，1977：25-51.

W. Handbook of Semiotics [M].Bloomington：Indiana University Press，1990：446-455.

[4]Kress G，van Leeuwen T. Reading Images：The Grammar of Visual Images [M]. London：Routledge，1996：1-15.

[5]Martinec R，Salway A. A system for image text relations in new (and old) media [J].Visual Communication，2005 (4)：337-371.

[6]Diaz-Cintas J，Remael A. Audiovisual Translation：Subtitling [M]. Manchester：St Jerome Publishing，2007：49-60.

[7]Perez-Conzalez L.Audiovisual Translation：Theories，Methods and Issues [M]. London：Routledge，2014：181-228.

[8]Chuang Yingting.Studying Subtitle Translation from a Multimodal Approach [J].Babel，2006，52(4)：372-383.

[9]吕洁.2000—2012年间西方视听翻译的研究[J]. 上海翻译，2013(4)：68-72.

[10]吕洁. 多模态语境参数视阈下字幕翻译的语义生成机制——以电影《血与骨》为例[J].外国语文，2016(6)：128-135.