Aufmerksamkeitsanalyse in Cinematic Virtual Reality mit ArcGIS

Virtual Reality (VR) hat in den letzten Jahren sehr an Popularität gewonnen. Nutzt man VR-Geräte zum Betrachten von 360°-Filmen, sieht der Zuschauer den Film nicht mehr von außen, sondern ist mitten im Film und hat ein immersives Filmerlebnis. Dabei kann er, wie in der realen Welt, seine Blickrichtung und damit den sichtbaren Teil des Films frei wählen. So kann es allerdings passieren, dass Details, die für die Geschichte wichtig sind, verpasst werden. Methoden der Aufmerksamkeitslenkung können helfen, das Filmerlebnis zu verbessern.

Um das Verhalten der Betrachter zu analysieren, untersuchten wir, welche Objekte im Film die Aufmerksamkeit der Zuschauer auf sich ziehen und zeichneten die Blickrichtung auf. Die dabei erhaltenen Raum-Zeit-Daten sind denen der Geo-Analyse sehr ähnlich. Das brachte uns zu dem Ansatz, die dort verwendeten Methoden auch auf unsere Daten anzuwenden.

Projektionen in Cinematic VR

Um das Sehverhalten der Zuschauer eines 360°-Filmes zu untersuchen, führten wir verschiedene Experimente durch. 27 Studienteilnehmer schauten Filme mit einem Head Mounted Display. Dabei wurden die Kopf- und Augenbewegungen der Teilnehmer getrackt. Genau wie Geodaten verfügen auch die von uns aufgezeichneten Daten über zwei Raumkoordinaten auf der Oberfläche einer Kugel (von -90 ° bis 90 °, von -180 ° bis 180 °, Abb. 1) und über eine Zeitkoordinate (Timecode des Films).

*Bild 1: Die Sphäre eines 360°-Filmes lässt sich in einem Koordinatensystem abbilden, wie es auch für Geodaten genutzt wird.*

Untersuchung verschiedener Methoden zur Aufmerksamkeitslenkung

In unserer Arbeit untersuchen wir, wie sich die Aufmerksamkeit der Zuschauer durch verschiedene kinematografische Hinweise wie Klänge und Bewegungen steuern lässt. Im Gegensatz zu traditionellen Filmen, bei denen die Kamera den Blick der Zuschauer lenkt, ist bei einem VR-Film nicht bestimmbar, ob ein Ton oder eine Bewegung im Bildausschnitt des Zuschauers liegen.

In unseren Experimenten haben wir das Sehverhalten bei Filmen mit räumlichem und nicht-räumlichem Klang miteinander verglichen. Uns interessierte, ob Sound die Aufmerksamkeit des Betrachters wecken kann und ob es einen Unterschied macht, einen Film mit räumlichem oder nicht räumlichem Klang zu sehen.

*Bild 2: Objekte mit drei Merkmalen zur Aufmerksamkeitslenkung: Lampe (Bewegung, Licht), Feuer (Ton, Bewegung), Uhr (Licht, Ton).*

Dazu haben wir zunächst ein Heatmap-Tool (Bild 3, links) implementiert. Um eine wissenschaftliche Aussage über den Einfluss von Klängen auf die Aufmerksamkeit der Zuschauer zu treffen, braucht es jedoch weitere statistische Methoden, die zeigen, ob ein Hotspot wirklich signifikant ist. Die dazu notwendigen Methoden der räumlichen Statistik, wie Space-Time-Cube Visualisierung und Hotspotanalyse mittels Getis-Ord Gi* Statistik, sind bereits in ArcGIS implementiert und ermöglichen eine komfortable Datenanalyse (Bild 3, rechts).

*Bild 3: Feuer und Uhr wecken die Aufmerksamkeit, nicht so die Lampe. Statistisch relevante Hotspotgebiete werden in ArcGIS rot gekennzeichnet (rechts).*

In einem ersten Schritt nutzten wir die in ArcGIS implementierte Space-Time-Visualisierung und stellten die getrackten Daten im 3D-Modus graphisch dar (Bild 4).

*Bild 4: Space-Time-Cubes für zwei untersuchte Gruppen mit signifikanten Hotspots (links: Film mit räumlichem Sound, rechts: Film mit Stereosound), es gibt eine Zeit- und zwei Raumkoordinaten.*

Um jeden Timecode genau zu analysieren, haben wir die Daten im 2D-Mode visualisiert und den dort angebotenen Zeitschieberegler genutzt (Bild 5). So konnten die aufgenommen Headtrackingdaten einfacher untersucht werden.

*Bild 5: Der Schieberegler (oben im Bild) erlaubt das Navigieren im Space-Time-Cube und ermöglicht die Visualisierung der Daten zu unterschiedlichen Zeitpunkten.*

Ergebnisse

Durch die verwendeten Methoden haben wir mehr über das Sehverhalten der Zuschauer in Cinematic VR erfahren. Die wichtigsten Ergebnisse im Überblick:

Es ist gerade zu Beginn einer Szene schwierig, den Blick des Zuschauers zu führen.
Nicht bewegte Lichter hatten in unseren Tests keine Auswirkungen.
Objekte, die mit Klängen verbunden sind, ziehen mehr Aufmerksamkeit auf sich als Objekte ohne Sound.
Der Ton kann die Blickrichtung ändern, auch wenn er nicht räumlich ist oder aus einer anderen Richtung kommt.
Bewegliche Objekte oder Lichter können die Blickrichtung steuern, auch wenn sie nicht mit einem Geräusch verbunden sind.

Ausblick

Die Untersuchungen haben gezeigt, dass die in ArcGIS implementierten Methoden der räumlichen Statistik die Analyse unserer Daten verbessern. Wir konnten feststellen, in welche Richtung die Zuschauer sahen und welche Objekte ihre Aufmerksamkeit auf sich zogen. Das hilft uns, neue Erkenntnisse zu gewinnen und auf dem Forschungsgebiet Cinematic Virtual Reality innovative Methoden zu entwickeln.

Gastbeitrag: Sylvia Rothe (Doktorandin LMU München, Medieninformatik)