Mit dem eMAEX-System ("electronically based media analysis of expressive movement images") haben wir eine computergestützte mehrstufige Analyseroutine entwickelt, um audiovisuelle Ausdrucksmuster in ihrer zeitlichen und räumlichen Dynamik erfassen und beschreiben zu können. Den Kern dieser Methode bildet die systematische Unterteilung des audiovisuellen Materials in kompositorische Einheiten sowie deren deskriptive, qualitative Analyse – seien es Spielfilme, Dokumentarfilme, Nachrichtenbeiträge, Werbeclips, YouTube-Videos etc..

In der Analyse-Praxis ergibt sich daraus ein mehrstufiger Prozess, in dem der Film bzw. das audiovisuelle Material auf drei Ebenen segmentiert und analysiert wird:

1. Segmentierung und Analyse auf der Mesoebene

• Der Film wird in szenische Einheiten unterteilt, also in Szenen, die sich durch einen gewissen thematischen sowie kompositorischen Zusammenhang auszeichnen. (Idealerweise geschieht dies auf Basis unabhängiger Einteilungen durch drei Personen, deren Segmentierungen von einer vierten zusammengeführt werden). 

•  Hierbei wird bereits eine erste Qualifizierung der Szenen vorgenommen: Handelt es sich um einen Prolog oder Epilog? Wie steht die Szene thematisch, inszenatorisch und atmosphärisch zur vorhergehenden und nachfolgenden Szene? Gibt es Wiederholungsstrukturen? 

• Auf Grundlage dieser Einteilung kann bereits eine erste Analyse der inszenatorischen Struktur auf der Makroebene des Films erfolgen. Zeichnet sich etwa eine spezifische Dramaturgie oder eine Aufgliederung in Akte ab?

• Anhand dieser Makroanalyse werden einzelne oder mehrere Szenen identifiziert, die im nächsten Schritt einer detaillierten Mikroanalyse unterzogen werden sollen. Welches sind affektdramaturgische Schlüsselszenen? In welchen Szenen zeichnen sich inszenatorische Strukturen ab, die feingliedriger untersucht werden müssen.

 

2. Segmentierung und Analyse auf der Mikroebene

• Wurden Szenen zur Detailanalyse bestimmt, werden diese in sich erneut zeitlich segmentiert – in Ausdrucksbewegungseinheiten, kurz ABE. Diese Binnensegmentierung bildet bereits den ersten und wichtigsten Schritt der Detailanalyse: Die szenische Komposition wird auf ihr dynamisches, raumzeitliches Inszenierungsmuster hin untersucht, welches sich als Zusammenspiel der kleineren kompositorischen Einheiten (ABEs) entfaltet.

• Die Beschreibung der dynamischen Muster wird in unterschiedliche Gestaltungsebenen der Inszenierung gegliedert (für eine umfangreiche Systematik, die sich an diesen Gestaltungsebenen orientiert, siehe das Beschreibungsvokabular der AdA-Filmontologie): 

  • Kamera (beinhaltet z.B. Einstellungsgröße, -folge, Kamerabewegung und -perspektive, aber auch Montage und Montagerhythmus)
  • Akustik/Sound Design (beinhaltet z.B. Musik, Geräusche und Rede)
  • Gestik und Mimik (beinhaltet auch alle weiteren Aspekte des Schauspiels)
  • Figurenkonstellation (beinhaltet z.B. Choreografie/Konstellation von Figuren und Objekten im Sinne eines engen Verständnisses von Mise-en-Scène)
  • Bildkomposition (beinhaltet z.B. Kontrast- und Farbverteilung, Valeurs, visuelle Muster und Bildaufteilung genauso wie Dynamik im Bild)

• Ein effektives Werkzeug bildet die Identifikation dominanter und subdominanter Gestaltungsebenen und Beschreibung ihres Zusammenspiels innerhalb einzelner Ausdrucksbewegungseinheiten.

• Auf Grundlage dieser Analyse lassen sich die einzelnen Ausdrucksbewegungseinheiten sowie das daraus folgende dynamische Muster der Szene in ihrer affektiven Ausrichtung qualifizieren. Es geht dabei jedoch nicht darum, psychologisch bestimmte, distinkte Emotionen zuzuschreiben (Freude, Angst, Wut etc.). Vielmehr werden atmosphärische Stimmungen und Muster der subtilen sinnliche Zurichtungen der verkörperten Zuschauer*innen herausgearbeitet.

 

3.  Analyse auf der Makroebene

• Sind die relevanten Szenen beschrieben und qualifiziert, lässt sich aus ihrer Abfolge die affektdramaturgische Struktur des Films bestimmen.

Dieses analytische Grundgerüst lässt sich auf unterschiedlichste Gegenstände anwenden und kann je nach Forschungsinteresse und -perspektive adaptiert und weiterentwickelt werden.

Entwickelt wurde das eMAEX-System in einem Forschungsprojekt zum Hollywood-Kriegsfilm; in einem Projekt zur multimodalen Metaphorik wurde der Ansatz erstmals adaptiert. Ein Vergleich beider Forschungsdesigns zeigt, inwiefern die drei Analyseebenen je unterschiedlich fokussiert werden. So erfolgte die Systematisierung für die Genreforschung zum Hollywood-Kriegsfilm mit Blick auf die Makroebene. Das Metaphernprojekt hingegen hatte die expressive Dimension von Ausdrucksbewegungen auf Mikroebene zum Ausgangspunkt.

Den gemeinsamen Rahmen bildet das Forschungsvorhaben der Entwicklung einer empirischen Medienästhetik. Damit ist der Anspruch einer qualitativ-deskriptiven Empirie der Filmanalyse verbunden. Diese soll nicht nur genretheoretische, filmhistorische oder anderweitige Thesen am Gegenstand überprüfbar und nachvollziehbar machen. Sie bietet zudem eine Grundlage für vergleichende Analysen. Eine solche empirische Rekonstruktion von Bewegungsmustern und zeitlichen Verläufen kann sich auf den Einsatz von Videoannotationssoftware und Datenmanagement stützen. Die Software-(Weiter-)Entwicklung für eine systematisierte Annotation hat das Projekt "Affektrhetoriken des Audiovisuellen" im Zuge einer vergleichenden Korpusanalyse begründet.