Wie verstehen wir audiovisuelle Bilder? Filme und andere zeitlich gestaltete audiovisuelle Medien sprechen uns zunächst auf ganz direkte Weise an: wir nehmen sie wahr. Erst im Laufe der Zeit der sich entfaltenden Bilder entstehen für die Zuschauer ganz bestimmte Sinnzusammenhänge, die unmittelbar mit dem körperlichen und affektiven Erleben verbunden sind. Anknüpfend an die Forschung zu Zuschauergefühl und Affektpoetiken lässt sich das verkörperte Verstehen und Denken in audiovisuellen Bildern über die Begriffe von Meaning Making (Bedeutungskonstitution) und Embodiment (Verkörperung) perspektivieren.

Kinematografische Räume: Wahrnehmungserleben und Bedeutungskonstitution

Wie Bedeutungen in filmischen Bildern entstehen, lässt sich auch durch die Gestaltung räumlicher Wahrnehmung anschaulich machen. Dabei zielt das Konzept des Bildraums auf das semantische Potential in der ästhetischen und zeitlichen Gestaltung der Bilder.
In Der Bildraum des Kinos: Modulationen einer ästhetischen Erfahrungsform wird den Begriffen des Handlungsraums und des Erzählraums, der des Bildraums gegenübergestellt. Dabei zeigt sich, dass das ‚Zuschauen‘ im Film nicht einem alltäglichen ‚Sehen‘ entspricht. Vielmehr sind es die perzeptiven Formen einer bildlichen Raumkonstruktion selbst, die das Potential dazu haben, Sinnformungen im Akt des Wahrnehmungserlebens in Gang zu setzen.
Bildraum bezeichnet eine Dimension des kinematografischen Raums, in der alle anderen Ebenen räumlicher Darstellung zu einer Ausdrucksfiguration verknüpft werden. Der Raum ist nicht mehr dadurch definiert, was in ihm geschieht, sondern er wird selbst zu einem Geschehen.

Literaturverweis:
Der Bildraum des Kinos: Modulationen einer ästhetischen Erfahrungsform. In: Umwidmungen. Architektonische und kinematographische Räume / Gertrud Koch (Hrsg.). - 1.Auflage. - Berlin: Vorwerk 8, 2005. - S.138-149.

Das Zuschauergefühl

Das Zuschauergefühl – Möglichkeiten quantitativer Medienanalyse bietet einen Überblick über die Forschung zur affizierenden Wirkung audiovisueller Bilder über die körperliche Adressierung der Zuschauer (siehe Zuschauergefühl und Affektpoetiken). Darüber hinaus lotet der Aufsatz aus, wie Verkörperungsstrategien bedeutungskonstituierenden Prozessen in audiovisuellen Medien zugrunde liegen und wie solche Meaning-Making-Prozesse im Sinne einer empirischen Medienästhetik analysiert werden können. Im bestehenden medienwissenschaftlichen Diskurs zeigt sich, dass sich das Forschungsfeld weitgehend aufspaltet: in kulturwissenschaftlich orientierte Medienwissenschaft einerseits und empirisch orientierte Medienpsycho­logie und Kommunikationswissenschaft andererseits. Bezogen auf die Medien­rezeption erscheint damit der Begriff der Empirie bisher reserviert für Methoden sozialwis­senschaftlicher Datenerhebung sowie physiologische und neurophysiologische Messungen, bezogen auf die Medieninhalte für die quantitative Inhaltsanalyse. Es ist eben diese Zuordnung, die in Das Zuschauergefühl hinterfragt wird. Über den Begriff der ‚Ausdrucksbewegung‘ wird das Zuschauergefühl als Dimension der kontinuierlichen Affektmodulation verstanden, die während des gesamten Films durch die audiovisuelle Gestaltung vollzogen wird. Als ästhetische Parameter dieser fortlaufenden Affektmodulation werden filmische Ausdrucksbewegungen begriffen. Die Expressivität von Film lässt sich mithilfe der eMAEX-Methode analysieren.

Bedeutungskonstitution in audiovisuellen Bildern wird in diesem Ansatz als affektiv grundiert gefasst. Die filmwissenschaftliche Theorie bietet mit zahlreichen Konzepten zum Denken in kinematografischen Bildern – von Münsterberg über Eisenstein bis Deleuze, Sobchack und Rancière – Theoriemodelle, die ein Ineinander perzeptiver, affektiver und kognitiver Prozesse beschreiben. In dieser Hinsicht setzt das Verstehen im Film zeitlich auf dynamischen Affizierungen in der Zuschauererfahrung auf.

Literaturverweis:
Das Zuschauergefühl – Möglichkeiten qualitativer Medienanalyse. (Verfasst von Hermann Kappelhoff und Jan-Hendrik Bakels). In: Zeitschrift für Medienwissenschaft, 5 (2), 2011. - S.78-96
(Online: http://www.zfmedienwissenschaft.de/index.php?HeftBeitragID=79, eingesehen am 23.04.2012)

Multimodale Metaphorik

Ein Konzept multimodaler Metaphorik, das Verkörperung und Bedeutungskonstitution in direktem Zusammenhang sieht, wurde in dem interdisziplinären Projekt Multimodale Metaphorik und Ausdrucksbewegung am Cluster Languages of Emotion von 2009 bis 2013 entwickelt, unter der Leitung von Cornelia Müller (Linguistik, Europa-Universität Viadrina) und Hermann Kappelhoff (Filmwissenschaft, Freie Universität Berlin). Dabei ist ein Ansatz entwickelt worden, der multimodale Metaphern als zeitliche Meaning-Making-Prozesse fasst. Untersucht wurden Aufzeichnungen von Alltagsgesprächen sowie TV-Nachrichten, klassische Hollywoodfilme und zeitgenössische deutsche Filme. Der Grundgedanke des Projekts ist dabei, dass die Verkörperungsprinzipien von Geste, Stimme und Mimik in der Alltagskommunikation mit solchen bei der Rezeption von audiovisuellen Bildern vergleichbar sind. Die ästhetische Gestaltung eines Films oder Videoclips ist aus dieser Perspektive ein essentieller Bestandteil bei der Entstehung von Bedeutung.

Im Zuge des Projektes sind folgende Dissertationen entstanden:
Dorothea Horst (Linguistik): Meaning Making and Political Campaign Advertising. A Cognitive-linguistic and Film-analytical Perspective on Audiovisual Figurativity (de Gruyter 2018, in Vorbereitung).
Sarah Greifenstein (Filmwissenschaft): Tempi der Bewegung – Modi des Gefühls. Expressivität, heitere Affekte und die Screwball Comedy (de Gruyter 2019, in Vorbereitung).
Christina Schmitt (Filmwissenschaft): Wahrnehmen, fühlen, verstehen: Metaphorisieren in der Kommunikation audiovisueller Bilder (de Gruyter 2019, in Vorbereitung).

Metaphoric Meaning Making

Der Aufsatz Expressive movement and metaphoric meaning making in audio-visual media resümiert das Ergebnis dieser Forschungsarbeit. Verknappt und vereinfacht lässt sich das Grundkonzept des Modells wie folgt fassen:
In alltäglichen Gesprächen sind es nicht nur abstrakte Informationen, die ausgetauscht werden. Vielmehr ist der ganze Körper Teil der Gesprächssituation: Mimik und Gesten sind essentieller Bestandteil des Kommunikationsverhältnisses und geben dem Gegenüber Aufschluss darüber, was wir denken und fühlen. Das gleiche Prinzip findet sich auch bei der Rezeption audiovisueller Medien: Stimmungen und Bedeutungen artikulieren sich in Filmen oder Nachrichtenbeiträgen – ebenso wie bei der Gestik in einem Gespräch – über sinnliche Qualitäten und Bewegungsmuster. Das multimodale Zusammenwirken filmischer Mittel wie Kameraführung, Mise-en-Scène, Bildkomposition, Schauspiel, Sound und Montage formt Bedeutungen als konkrete sinnliche und affektive Erfahrungen am Zuschauerkörper aus. Die Metapher ist stets als ein Verlauf zu verstehen, der den Akt des Zuschauens auf der Ebene von Erfahrung und Verstehen zu greifen sucht im Sinne von „understanding and experiencing one kind of thing in terms of another“ (Lakoff & Johnson).

Über die ästhetische Inszenierung wird der metaphorische Bedeutungsgehalt als ein verkörperter, dynamischer Prozess greifbar. Das Erfahren als affektiver Prozess begründet dabei aber erst das Verstehen. Beispielsweise wird in einem Tagesschaubeitrag während der Finanzkrise 2008 die deutsche Wirtschaft metaphorisch als Schiff erfahrbar. Doch nicht nur die Bereiche von Schiff und Wirtschaft werden in der audiovisuellen Metapher in eins gesetzt. Vielmehr geht damit eine körperlich-affektive Erfahrung einher, dass das Schiff (und so auch die Wirtschaft) schwierig zu steuern und in Bewegung zu halten ist. Die Metaphern sind als körperlich-sinnlicher Vollzug, als konkrete Erfahrbarmachung zu verstehen.

Literaturverweis:
Schmitt, Christina, Sarah Greifenstein and Hermann Kappelhoff (2014) Expressive movement and metaphoric meaning making in audio-visual media. In: Cornelia Müller, Alan Cienki, Ellen Fricke, Silva H. Ladewig, David McNeill and Jana Bressem (eds.), Body _ Language_ Communication: An International Handbook on Multimodality in Human Interaction Vol. 2. (Handbooks of Linguistics and Communication Science 38.2.), Berlin/Boston: De Gruyter Mouton.

Embodied Meaning Making

Der Aufsatz Embodied meaning construction. Multimodal metaphor and expressive movement in speech, gesture, and feature film (zusammen mit Cornelia Müller) zeigt, wie die Kooperation von Linguistik und Filmwissenschaft zu einer Vergleichbarkeit von Bewegungsmustern in face-to-face Kommunikation und audiovisuellen Medien geführt hat.

Die verkörperte Bedeutungsentstehung durch multimodale Metaphern sowohl in Alltagskommunikation als auch in audiovisuellen Medien fußt auf konkreten sinnlichen Erfahrungen von filmischen oder körperlich-gestischen Ausdrucksbewegungen (vgl. Zuschauergefühl und Affektpoetiken). Die Aktivierung multimodaler Metaphern entsteht erst durch das zeitliche Zusammenspiel unterschiedlicher metaphorischer Äußerungen, seien es Handgesten, die eine verbale Äußerung begleiten oder verschiedene gestenähnliche Bewegungsmuster in Filmen. Solche zeitlichen und multimodalen Prozesse in Alltagsgesprächen und im Film können als eine grundlegende Form der verkörperten Bedeutungskonstitution (embodied meaning construction) angesehen werden.

Literaturverweis:
Embodied meaning construction. Multimodal metaphor and expressive movement in speech, gesture, and feature film. (Verfasst von Hermann Kappelhoff und Cornelia Müller). In: Metaphor and the social world, 1 (2), 2011. – S. 121-153

„For the spectator, the opposition between the white society and the character Julie is not graspable at the level of the action, but at the level of the expressive movement units that the spectators experience. Figure 13 presents a schematic overview of our analysis. It shows how the expressive movement units analyzed above evolve and change over time, and how thereby one leading multimodal metaphor emerges that will become further elaborated over the unfolding time of the film: The society is experienced and understood as a static structure with a dynamic force inside it.“

Zeitgestaltung und Verkörperung in Melodrama und Komödie

Anhand eines Vergleichs zweier Szenen aus Magnificent Obsession und Adam’s Rib in Feeling Gloomy or Riding High: Timings of Melodrama and Comedy (zusammen mit Sarah Greifenstein) werden die Zeitlichkeiten von Melodrama und Komödie einander gegenübergestellt. Neben der unterschiedlichen Art, wie Melodramen und Komödien ihre Zuschauer affizieren, liegt ein weiterer Fokus auf den unterschiedlichen Verkörperungsstrategien, die den beiden Modi zugrunde liegen.

„The two forms of staging in melodrama and comedy can be linked back to the corporal forms of expression of laughing and crying in their temporal shaping, or described in temporal congruence with them. […] Both phenomena emerge from the fact of being confronted with something that one no longer knows how to react to, and as a consequence the body itself responds to the situation. The cinema produces multiple forms of affectedness. What the visual and perceptual modulations of cheerfulness and sadness, emotion and sensitivity have in common is that they are especially intensive forms of addressing spectators in their embodiment, of pushing them to the limits.“

Das eMAEX-System zur Analyse filmischer Expressivität

Das eMAEX-System ermöglicht es, empirisch-deskriptiv die expressive Dimension von audiovisuellen Bildern in ihrer zeitlichen Entfaltung zu erfassen, d.h., die ästhetische Gestaltung von audiovisuellen Bewegtbildern speziell im Hinblick darauf zu beschreiben, wie sie Zuschauer durch körperliche Adressierungen zu spezifischen Gefühlsregungen bringen.
Diese Analysemethode ist speziell darauf ausgerichtet, nicht nur einzelne Filme analytisch zu fassen, sondern ganze Filmgruppen und Genres im Verbund kollektiv bearbeiten zu können. Um differenziert Filme und ihre Affizierungsstrategien untereinander zu vergleichen, werden Filme auf drei unterschiedlichen Ebenen analysiert und die einzelnen Segmente in ihrem Zusammenspiel beschrieben und in Online-Datenbanken organisiert. Dabei stehen die entsprechenden Filmclips direkt neben den Analysetexten, sodass ein Arbeiten in Anwesenheit des Gegenstandes möglich ist.
Damit verbunden ist eine Reihe von unterschiedlichen Visualisierungs- und Kategorisierungsverfahren, die es Analysten ermöglicht, Filmsegmente oder Filme in ihrer Gänze miteinander zu vergleichen und so wiederkehrende Muster oder Abweichungen zu erkennen, zu dokumentieren und anderen Forschern zugänglich zu machen.

Das eMAEX-Analyseverfahren, das auf die differenzierende Beschreibung filmischer Affektdramaturgien abzielt (siehe auch Zuschauergefühl und Affektpoetiken), wurde anhand des klassischen Kriegsfilmgenres (siehe Forschungsschwerpunkt Genre, Geschichte und Gemeinsinn) entwickelt. Mittlerweile kommt es in verschiedenen Bereichen zum Einsatz und bildet u.a. auch die Grundlage für Analysen multimodaler Metaphern (siehe oben) in audiovisuellen Medien.

Die bestehenden Daten wurden auf eine Mediawiki-Plattform übertragen, um einen erweiterten Funktionsumfang nutzen zu können, wie z.B. das variablere Tagging einzelner Analysesegmente.