Document Actions

Multimodal argumentation: Når tekst og billeder passer sammen

Offentliggjort 01/28/2009, senest redigeret 03/12/2009

Billedet begrænser tekstens betydning, mens teksten forankrer billedets betydning. Den viden kan bruges praktisk i al visuel kommunikation

Af Niels Heie

TEORI: De fleste visuelle budskaber indeholder b�de tekst og billeder. Nogle af dem har mange billeder og lidt tekst, andre har meget tekst og f� billeder. F� produkter indeholder kun tekst. Der er ingen, som udelukkende best�r af billeder.

St�rstedelen er alts� multimodale, dvs. at de indeholder forskellige udtryksformer som skal afkodes og forst�s forskelligt, men hvis forskellige indhold skal forenes i en indholdsm�ssig syntese. Processens kompleksitet viser sig f.eks. ved at den m�de man bev�ger �jnene p� n�r man l�ser tekst, er v�sensforskellig fra den m�de man bev�ger �jnene p� n�r man l�ser billeder. Alligevel skal de to afl�sningsm�der forenes i en f�lles fortolkning.

Det formodes, at l�serne kan administrere kompleksiteten. P� trods af multimodalitetens udbredelse er der ikke megen teori om emnet. Der er skrevet en del om tekstl�sning og forst�else. Der er skrevet en del om billedl�sning og forst�else. Men der er ikke skrevet meget om kombinationen – og slet ikke p� et niveau, hvor konklusionerne kan bruges som anvisninger i en specifik situation, hvor et bestemt budskab skal formidles til en bestemt m�lgruppe.

Men hvis man skal bruge kombinationen bevidst, dvs. udnytte kombinationens formidlingskapacitet, b�r man forst� hvilken betydning kombinationen egentlig har og man b�r have kriterier for om kombinationen er vellykket eller mislykket. N�jagtig som man har kriterier for ords stavem�de og s�tningers struktur.

Denne artikel er et fors�g p� at opstille et s�t kriterier for indholdsm�ssigt vellykket multimodalitet.

Tekst og billeder p�virker hinanden forskelligt
En af de kendte tekster om emnet er skrevet af Roland Barthes. Den hedder Billedets retorikog er fra 1964. I den skriver han at kombinationen af tekst og billede har to betydninger:

Teksten forankrer billedet til en bestemt mening. Derved reducerer teksten billedets polysemiske karakter, det at billedet kan v�re et billede af en hvilken som helst situation som de agerende har optr�dt i p� det sted. Teksten g�r det muligt at besvare det tekstl�se billedes sp�rgen. Barthes kalder virkningen anchorage.
Billedet kan afl�se teksten. F.eks. i tegneserier, hvor billederne fort�ller p� en m�de som en tekst ellers g�r: fort�ller hvad, hvor og i hvilken r�kkef�lge ting sker med hvem som agerende. Barthes kalder virkningen relais.

Men artiklen kommer ikke ind p� hvad billedet og dets indhold egentlig betyder for forst�elsen af teksten.

Jens E. Kjeldsen foresl�r i Billeders Retorik (2007), at forankringen g�r begge veje, at teksten forankrer billedet og billedet forankrer teksten. Det er en udm�rket pointe. Bortset fra at terminologien camouflerer asymmetrien i de to modaliteter – hvilket er et problem fordi der faktisk er stor forskel tekst og billede. De kan ikke sige det samme, fordi deres indhold er forskellige som begrebet den er forskelligt fra begrebet alle.

Forskellen kunne g�res tydelig, hvis de to virkninger fik hver sin betegnelse. Mit forslag er at man bruger betegnelsen begr�nse om den virkning billedets indhold har p� tekstens betydning. Dermed kan man opstille f�lgende model for forholdet mellem tekst og billede:

Teksten forankrer billedets betydning
Billedet begr�nser tekstens betydning

Jeg vil videre argumentere for, at man kan opstille

Rationelle kriterier for kombinationens meningsfuldhed

Pr�misserne for mine p�stande bliver pr�senteret i tre afsnit: f�rst beskriver jeg hvad et billede er, dern�st hvad en tekst er og til sidst hvilken indholdsm�ssig st�rrelse der kommer ud af at kombinerer de to.

Forskellige slags kommunikerende tegn
I semiotikken er et tegn noget der st�r for noget (Kj�rup, 2002). Der findes tre tegntyper: index, ikon, symbol. De formidler deres indhold p� hver sin m�de.

Et naturligt index kan f.eks. v�re r�dmen p� en kind. Den r�de farve i huden skabes af den for�gede blodgennemstr�mning. R�dmen er virkningen af en �rsag/virkning-relation. Indexet kan l�ses, hvis l�seren kan slutte sig til den �rsag der ligger til grund for virkningen, alts� hvorfor personen r�dmer.

Et naturligt ikon kan f.eks. v�re et skyggebillede. Ikonet formidler ved hj�lp af lighed. Skyggebilledet er silhuet af noget som det deler synlig form med: et ikon ligner. Ikonet kan l�ses, hvis l�seren forst�r hvad det ligner. (At silhuetten ogs� er et index, er en anden sag – skyggen er jo en virkning af, at noget har v�ret �rsag til at lyset ikke n�r frem. Skygge er forskelligt fra m�rke ved at v�re et billede af en forhindring, hvor m�rke er frav�r af lys).

Der findes ikke naturlige symboler. Symboler er kulturelle og er tegn hvis betydning er resultat af en vedt�gt. Symbolets betydning er alts� hverken en virkning som indexet formidler eller en lighed som ikonet formidler.

Man kan g�re alt til et symbol, men for at virke skal kulturen anerkende hvilken betydning det har. Index og ikon findes ogs� i visuelle kulturelle versioner, hvor de er frembragt med det form�l at viderebringe en betydning. De er kommunikerende tegn. Det vi til daglig kalder billeder er ikoniske tegn, mens skrift er symbolske tegn.

I en vis forstand er alle kommunikerende tegn symboler: det er vedtaget at billeder og tekster indeholder en bestemt betydning og at de kan l�ses p� en bestemt m�de. For at de kommunikerende tegn fungerer kr�ver det alts� at de der fremstiller tegnene er enige med dem, der skal l�se dem om deres udseende og deres betydning.

Der findes ingen selvst�ndige indexer blandt de kommunikerende tegn. Men der er et indeksikalsk aspekt, nemlig tegnets udseende. Tegnets udseende er den synlige virkning af at nogen har fremstillet det, dvs. v�ret �rsag f.eks. ved hj�lp af en blyant eller en pensel. Tegnets indhold er den forestilling som tegnet kan aktivere i l�serens bevidsthed om hvad det st�r for.

Et kommunikerende visuelt tegn har alts� altid et handlende menneske som sin �rsag.

Billedet involverer den kropslige fantasi
Vi bombarderes med fotografier. Fotografier er ikoniske tegn med meget h�j ikonicitet, dvs. meget stor lighed med det de st�r for. De opn�r den h�je ikonicitet i kraft af deres centralperspektiviske struktur. Fotografiet har den virkning at det overbeviser l�seren om at det billedet st�r for, har eksisteret i virkeligheden. Fotografiet dokumenterer. Hvilket indeb�rer at l�seren kan slutte at det der har eksisteret i virkeligheden muligvis eksisterer endnu. P� et fotografi ser man alts� noget man m�ske kan komme til at se selv. Hvis det var interessant for en at v�re der, komme til stede, er det m�ske muligt. Hvis man alts� ved, hvor stedet ligger.

N�r man forestiller sig at v�re tilstede, bruger man sin kropslige fantasi, som involverer forestillingen om at man handler. Man s�tter s� at sige sig selv ind i billedet og forestiller sig at scenen er virkelig, forestiller sig at man er p� det sted som billedet viser. S�dan er det f.eks. n�r man tager stilling til et nyt k�kken. Man leger ”hvis det var mit” p� baggrund af annoncens ikoniske tegn for k�kkenet, f�r man bev�ger sig hen i butikken for at se det i virkeligheden.

Der er andre typer ikoner end de fotografiske. De har mindre ikonicitet, og deres indeksikale aspekt bestemmes af om ikonet er fremstillet med en maskine eller med et redskab.

Men det naturalistiske fotografi i statisk eller dynamisk udgave er den billedform som er mest anvendt og som de allerfleste af os har den st�rste erfaring med.

Koh�rens: N�r der er sammenh�ng i tingene
Vi bombarderes ogs� med skrift. Allevegne og mere og mere. Med computeren har skriftsystemet f�et en eksplosiv udbredelse og med de teknologiske rationaliseringsmuligheder er det muligt at erstatte flere og flere talesprogsdom�ner med skriftsprog.

Tekst er et symbolsk system af tegn, hvis udformning, betydning og kombinationsm�der er fastlagt gennem et s�t af konventioner: om bogstavernes udseende, ordene som kombinationer af bogstaver, om linearitet, grammatik og koh�rens.

Form�let med systemet er at oms�tte talesproget – som selv er et symbolsystem – til skrift og dermed overs�tte noget der h�res til noget der ses. Skriftsproget virker alts� kun i begr�nset omfang ved hj�lp af lighed.

I en tekst skal der v�re koh�rens, sammenh�ng i helheden. Koh�rensen dannes ved hj�lp af koh�sion mellem delene. Koh�sionen skabes af de elementer, der f�r indholdet af den ene s�tning til at h�nge sammen med den anden.

Eksempel: Otto B. Larsen er en trist mand. Han er en god lokomotivf�rer, som bare ikke har noget lokomotiv. Mellem f�rste og anden s�tning skabes koh�sionen af at ordet han i anden s�tning, som henviser til Otto B. Larsen i f�rste. Mellem anden og tredje s�tning skabes koh�sionen af ordet som, der henviser til det han som var i den foreg�ende s�tning. Man slutter, at Otto B. Larsen er repr�senteret ved ordet han i s�tning to og ordet som i s�tning tre og dermed at de tre s�tninger kan opfattes som en indholdsm�ssig enhed, der formidler tre p�stande om det samme emne.

Kriteriet for at den slutning er acceptabel er, at det er en fortolkning som integrerer flest muligt af s�tningernes elementer og at ingen af s�tningernes elementer modsiger fortolkningen.

Det er ikke n�r s� kompliceret at f� elementerne til at h�nge samme i et billede. De er s� at sige alle sammen meningsfuldt relateret til hinanden fordi billedet formidler en simultanitet mellem de figurer som billedet indeholder: figurerne er s� at sige tilstede samtidig i samme rum. Dermed oplever man i en vis forstand figurerne i billedet som om de var ord og rummet i billedet som om det var en s�tning de var elementer i.

N�r man s�tter teksten og billedet sammen skal der ogs� v�re koh�sion, men nu skal den skabes mellem to typer af tegn som er v�sensforskellige. Det sker ved hj�lp af koblinger mellem de ting som b�de er repr�senteret i teksten og i billedet. De elementer der optr�der i billedet og som kan betegnes med de ord der findes i teksten, er de elementer som g�r det muligt at koh�sionerne opst�r.

Jeg vil gennemg� et eksempel i detaljer og beskrive hvordan man l�ser elementernes indhold og hvilket resultat der kommer ud af at et budskab formidles i en multimodal form. Eksemplet er simpelt og best�r af et fotografi og en s�tning.

Fotografiet

Man l�ser billedets indhold nogenlunde s�dan:

Fotoet viser et sted, hvor solen skinner. En mand gestikulerer og ser ud til at tale til nogen. Ved siden af ham st�r en kvinde med solbriller. Hun lytter og ser i samme retning. I baggrunden forskellige bygninger, ikke moderne. Etageejendomme, slotte, kirker. Enkelte omsluttet af stillads, nogle med t�rne og spir. Husene ligger som p� en trappe, man kan se meget af bygningerne selvom de ligger bag hinanden. Mellem parret og byen en flod. Vandet er fuldt af reflekser. Det er et sted i en gammel by. Man kan forestille sig at v�re der.

S�tningen

"Det er pragtfuldt at v�re turist i Budapest"

Man l�ser indholdet af teksten nogenlunde s�dan:

Strengen af ord er en s�tning, hvis indhold er et postulat om at det er pragtfuldt at v�re turist i Budapest. Forst�elsen best�r i at man oplever sig selv som en person der har v�ret turist i Budapest og udtrykker sin positive oplevelse af det over for nogen.

Udsagnet er uden tilknytning til tid og sted ved andet end sprogsystemet, navnet p� byen Budapest og begrebet turist. Kun hvis man kan dansk, kan man afkode teksten og forst� dens mening.

Men man kan ikke f� den mindste kropslige association til forestillingen om at v�re der (med mindre man faktisk har v�ret der) og man kan ikke f� den mindste fornemmelse af hvem der egentlig siger ordene til hvem og i hvilken situation det sker.

Kombinationen

"Det er pragtfuldt at v�re turist i Budapest"

Processen at l�se kombinationen er kompleks og det er i forst�elsesprocessen af de to elementer sammen, at det viser sig om multimodaliteten virker efter hensigten. Det skal nemlig v�re meningsfuldt for l�seren at bev�ge sine �jne mellem steder i teksten og steder i billedet og omvendt steder i billedet til steder i teksten med det resultatet at de to elementers betydning opfattes som en helhed.

Dvs man skal opfatte en enhed der best�r af :

A) billedets indhold:
”.... et sted i en gammel by hvor bygninger med spir og t�rne ligger som p� en trappe, hvor solen skinner og danner reflekser i floden og hvor et par p� den anden side er fordybet i samtale med en tredje og hvor man kan forestille sig at v�re. ”

og

B) tekstens indhold:
”... et postulat om at det er pragtfuldt at v�re turist i Budapest som ikke giver den mindste kropslige association til forestillingen om at v�re der”?

Sammenh�ngen i de to helheder skabes af koblingerne mellem de mindre elementer. De tre koblinger:

F�rste kobling: Ordet 'Budapest' (som er navn p� en by) & det man ser af 'bygninger' (der ligger s� t�t at de kan betegnes som del af en by)
Resultat: man opfatter ordet 'Budapest' i teksten som navnet p� byen i billedet.

Anden kobling: Ordet 'turist' (som er navn p� en adf�rd hvor mennesker opholder sig p� et sted af lyst) & 'personerne i billedet' (der ser ud som om de kunne v�re der af lyst)
Resultat: man opfatter ordet 'turist' som en relevant kategori for personerne i billedet.

Tredje kobling: Ordet 'pragtfuldt' (st�r for at noget er fuldt af pragt) & 'personernes kropssprog og stedet' (som de er i f�lge billedet)
Resultat: man opfatter personernes situation som en 'pragtfuld' tilstand, fordi der er positive koblinger mellem tekst og billede og fordi ingen af de informationer som billedet og teksten indeholder modsiger at personerne oplever stedet som et pragtfuldt sted at v�re turist.

Der er forskel p� indholdet i de to f�rste koblinger og den sidste. De f�rste er objektive, den sidste er subjektiv:

F�rste kobling: Det kan v�re sandt, at det man ser er et sted i Budapest. Hvis det er, er koblingen som helhed en p�stand og et bel�g, der siger at: det man ser er et sted i Budapest.

Anden kobling: Det kan v�re sandt at personerne er turister. Hvis det er, er koblingen som helhed en p�stand og et bel�g, der siger at: de mennesker man ser er turister.

Tredje kobling: Det kan v�re usandt at det er pragtfuldt at v�re turist. Derfor er koblingen subjektiv. Pragtfuldt er et ord der bruges, n�r et menneske vil overf�re sin positive oplevelse af noget til andre via sprog. Billedet giver l�seren mulighed for at finde data, der kan danne grundlag for at fremf�re p�standen om at det er pragtfuldt at v�re turist i Budapest. Og grundlaget er faktisk til stede:

Solen skinner, det er godt vejr
Der er masser af huse og bygninger man kan spadsere rundt at se p�.
Parret ser ud til at v�re intenst tilstedev�rende
Der er en flod, som giver mulighed for sejlads og doven tid med f�dderne i vand

Der er alts� elementer i billedet der g�r det muligt at forst� stedet som et sted hvor det kan v�re pragtfuldt at v�re turist. Derfor er det ogs� forst�eligt, at en person der har v�ret p� stedet kan afsige den dom at det faktisk er tilf�ldet. Hvis teksten havde v�ret ”Budapest er den st�rste handelsby i Europa” var der koblinger mellem

bygningerne, floden og milj�et p� billedet
ordet Budapest
den sidste stavelse i ordet handelsby

Men der havde ikke v�ret kobling til handel og ikke til st�rste. Derved er koblingerne kun delvise, det er ikke muligt at skabe koh�rens mellem s�tningen som helhed og billedet som helhed.

Koblingerne kan alts� forst�s som elementer der etablerer logiske relationer, hvor billedelementer fungerer som bel�g for sproglige elementer, og hvor indholdet i en kobling er en p�stand om at billedelementet er medlem af den kategori som skriftelementet er det sproglige tegn for.

Relationerne kan beskrives ved hj�lp af Stephen Toulmins grundmodel for et argument, hvis dele best�r af bel�g, p�stand og hjemmel (Toulmin, 1958).

I turist-eksemplet kan man forst� indholdet af hele teksten som en p�stand og indholdet af hele billedet som et bel�g og en p�stand der kan indg� i samme argument.

I handelsby-eksemplet er det kun dele af teksten der opleves som p�stand og kun dele af billedet der giver mening som bel�g og derfor ikke n�dvendigvis som elementer i et og samme argument.

I turist-eksemplet er sammens�tningen argumenterende som helhed, i handelsby-eksemplet er sammens�tningen alts� kun delvist en argumenterende helhed.

N�r billedet og teksten som helhed indg�r som bel�g og p�stand i det samme argument, bliver det muligt for l�seren at fortolke billedets og tekstens udsagn som om de var fremsat af en og samme person. Resultatet er at l�seren forst�r teksten som et udsagn om det sted, der vises i billedet. Det er som om udsagnet frems�ttes af en person som er tilstede og ser det l�seren ser p� billedet.

N�r personen der siger noget er den samme som personen der viser noget, betyder det at de to udsagn kommer fra samme jeg og handler om den situation som det jeg er i.

Hvor billede og tekst kun opfattes som delvist sammenh�ngende er der ikke den samme mulighed for at opfatte kilden til de to udsagn som en. Ergo giver den delvise kobling ikke l�seren mulighed for at danne sig den opfattelse, at de to udsagn kommer fra samme jeg.

Opfattelsen af et udsagns-jeg opst�r ved en kognitiv proces som er af samme art som den proces, der f�rer til at adskilte bogstaver opleves som et ord og at adskilte ord opfattes som en s�tning. I alle tre processer er der tale om gestaltvirkninger. En gestaltvirkning opst�r ved at opfatte flere elementer, men opleve et.

Den f�lles kilde til billedets og tekstens udsagn kan placeres som hjemmel i argumentmodellen. Hjemlen har den funktion at v�re instansen der sandsynligg�r at p�standen kan frems�ttes som et relevant udsagn p� baggrund af bel�gget. Her er hjemlen alts� en implicit tegnproducerende person der explicit siger og viser noget. Denne implicitte person er hjemmel for at bel�g og p�stand h�nger sammen.

Det s�rlige ved denne type argumention – som man kunne kalde multimodal – er at bel�gget er ikonisk.

Billedet giver skriftsproget konkret betydning
Jeg startede med at opstille en model for sammenh�ngen mellem tekst og billeder, som udvidede Barthes id� om at billedets mening forankres af teksten med min id� om at tekstens betydning begr�nses af billedet.

Videre h�vdede jeg, at man kan bed�mme om sammens�tningen af billede og tekst er vellykket eller ej ved hj�lp af rationelle begreber. Gennem artiklen har det v�ret intentionen at vise at man kan relatere billede og tekst til hinanden som p�stand og bel�g i et argument og at man kan opfatte den indirekte kilde til sammens�tningen som den hjemmel, der forbinder p�standen og bel�gget.

N�r jeg h�vder at teksten begr�nses af at v�re i en meningsfuld indholdsm�ssig relation med et billede, er det fordi skriftsproget mister noget af sit gyldighedsomr�de. For n�r teksten bliver situationsbetinget mister det den del af sin abstrakte gyldighed at v�re situationsuafh�ngigt. Det faktum har stor betydning for l�seren:

Den tekst som ikke er relateret til et billede, forst�s af l�seren som noget han selv siger med en andens ord og som han skal finde reference til i sin egen bevidsthed.

Den tekst som er relateret til et billede, forst�s af l�seren som noget han siger med en andens ord, men i kraft af billedet f�r sproget en reference udenfor l�seren. Dermed f�r skriftsproget noget af den konkrete betydning som talesprog har.

N�r en tekst l�ses uden billeder, oplever man indholdet af l�sningen som om man har en andens erindring. N�r en tekst giver mening sammen med et billede, oplever man indholdet, som om man er i en andens situation.

En praktisk metode til at foretage indholdskorrektur
Den argumentation jeg har skitseret her kan bruges i praksis. Man kan oven i k�bet afpr�ve om den sammens�tning man har t�nkt sig er meningsfuld eller ej. Det er nemlig muligt at lave indholdskorrektur p� sammens�tningen.

Man g�r det ved at oms�tte billedet til en s�tning, der l�ses sammen med den s�tning billedet skal danne mening sammen med. Hvis der er koh�sioner mellem s�tningerne og koh�rens i sammens�tningen som helhed, vil der ogs� v�re koh�rens i sammens�tningen af billede og tekst.

S�dan g�r man:
A) Overs�t billedet til en tekst
B) S�t billedteksten og den tekst, billedet skal l�ses sammen med, p� hver side af et kolon. Billedtekstens f�rst. (S� l�ser man elementerne i den r�kkef�lge som billede og tekst s�dvanligvis opleves i)
C) L�s

Hvis relationen mellem de to s�tninger er meningsfuld, opleves de som bel�g og p�stand i samme argument. Da teksten er en overs�ttelse af billedet kan sammens�tningen af tekst og billede ogs� opleves sammenh�ngende. Forskellen p� de to udgaver af argumentet er, at bel�gget i korrekturudgaven er symbolsk, mens det i den multimodale udgave er ikonisk.

Resultatet ses her:

Diset solskin. Opad bakken gamle bygninger med t�rne og spir. Ved foden floden, glitrende. P� modsatte bred med ryggen til, gestikulerende mand, kvinde der lytter: "Det er pragtfuld at v�re turist i Budapest".

Synspunktet i denne artikel kan udfoldes yderligere til at belyse hvilken betydning det har for argumentationen, n�r det ikoniske bel�g er et arrangeret fotografi – som man f.eks. ser det i annoncer.

Man kan ogs� dr�fte hvilken betydning det har for en argumentation at det ikoniske bel�g er ikke-naturalistisk, som man f.eks. ser det i l�serbreve illustreret med en tegning, hvor tingene er genkendelige men ikke er visuelt identiske med virkelige ting.

Endelig kan man dr�fte b�de de ikoniske og de symbolske tegns indeksikale kvaliteter: hvilken betydning har det for ens opfattelse af budskabet, at ordet vrede er skrevet med h�ndskrift og at den h�nd der har f�rt blyanten ser ud til at v�re styret af en krop som er eddersp�ndt rasende? Etc.

I �vrigt stiller jeg gerne op som hjemmel for det eksempel, som er brugt i artiklen. Budapest eren pragtfuld by at v�re turist i. Jeg var der sidste sommer, og jeg har taget billedet.

Document Actions

Multimodal argumentation: Når tekst og billeder passer sammen

Søg

Kontakt:

Litteratur om emnet: