GIS IQ Blog
  • Schule
  • Hochschule
  • Forschung
Kategorien
  • Forschung
  • Hochschule
  • Schule
Themen
ArcGIS Case Studies Digitale Bildung Dozierende eduGISchat Events GeoDev KarriereMitGIS Kartografie Lehrerhandreichungen Open Data Praktikum Projekte Ressourcen Schüler Smart Campus Smart Community Sommercamps Story Map Studierende Tutorial Unterricht Wettbewerb
  • Schule
  • Hochschule
  • Forschung
News
  • Forschung
  • Hochschule

Aufmerksamkeitsanalyse in Cinematic Virtual Reality mit ArcGIS

  • 19. Februar 2019
  • Team Education
Total
29
Shares
29
0
0
0
0
0

Virtual Reality (VR) hat in den letzten Jahren sehr an Popularität gewonnen. Nutzt man VR-Geräte zum Betrachten von 360°-Filmen, sieht der Zuschauer den Film nicht mehr von außen, sondern ist mitten im Film und hat ein immersives Filmerlebnis. Dabei kann er, wie in der realen Welt, seine Blickrichtung und damit den sichtbaren Teil des Films frei wählen. So kann es allerdings passieren, dass Details, die für die Geschichte wichtig sind, verpasst werden. Methoden der Aufmerksamkeitslenkung können helfen, das Filmerlebnis zu verbessern.

Um das Verhalten der Betrachter zu analysieren, untersuchten wir, welche Objekte im Film die Aufmerksamkeit der Zuschauer auf sich ziehen und zeichneten die Blickrichtung auf. Die dabei erhaltenen Raum-Zeit-Daten sind denen der Geo-Analyse sehr ähnlich. Das brachte uns zu dem Ansatz, die dort verwendeten Methoden auch auf unsere Daten anzuwenden.

Projektionen in Cinematic VR

Um das Sehverhalten der Zuschauer eines 360°-Filmes zu untersuchen, führten wir verschiedene Experimente durch. 27 Studienteilnehmer schauten Filme mit einem Head Mounted Display. Dabei wurden die Kopf- und Augenbewegungen der Teilnehmer getrackt. Genau wie Geodaten verfügen auch die von uns aufgezeichneten Daten über zwei Raumkoordinaten auf der Oberfläche einer Kugel (von -90 ° bis 90 °, von -180 ° bis 180 °, Abb. 1) und über eine Zeitkoordinate (Timecode des Films).


Bild 1: Die Sphäre eines 360°-Filmes lässt sich in einem Koordinatensystem abbilden, wie es auch für Geodaten genutzt wird.

Untersuchung verschiedener Methoden zur Aufmerksamkeitslenkung

In unserer Arbeit untersuchen wir, wie sich die Aufmerksamkeit der Zuschauer durch verschiedene kinematografische Hinweise wie Klänge und Bewegungen steuern lässt. Im Gegensatz zu traditionellen Filmen, bei denen die Kamera den Blick der Zuschauer lenkt, ist bei einem VR-Film nicht bestimmbar, ob ein Ton oder eine Bewegung im Bildausschnitt des Zuschauers liegen.

In unseren Experimenten haben wir das Sehverhalten bei Filmen mit räumlichem und nicht-räumlichem Klang miteinander verglichen. Uns interessierte, ob Sound die Aufmerksamkeit des Betrachters wecken kann und ob es einen Unterschied macht, einen Film mit räumlichem oder nicht räumlichem Klang zu sehen.

Bild 2: Objekte mit drei Merkmalen zur Aufmerksamkeitslenkung: Lampe (Bewegung, Licht), Feuer (Ton, Bewegung), Uhr (Licht, Ton).

Dazu haben wir zunächst ein Heatmap-Tool (Bild 3, links) implementiert. Um eine wissenschaftliche Aussage über den Einfluss von Klängen auf die Aufmerksamkeit der Zuschauer zu treffen, braucht es jedoch weitere statistische Methoden, die zeigen, ob ein Hotspot wirklich signifikant ist. Die dazu notwendigen Methoden der räumlichen Statistik, wie Space-Time-Cube Visualisierung und Hotspotanalyse mittels Getis-Ord Gi* Statistik, sind bereits in ArcGIS implementiert und ermöglichen eine komfortable Datenanalyse (Bild 3, rechts).

Bild 3: Feuer und Uhr wecken die Aufmerksamkeit, nicht so die Lampe. Statistisch relevante Hotspotgebiete werden in ArcGIS rot gekennzeichnet (rechts).

In einem ersten Schritt nutzten wir die in ArcGIS implementierte Space-Time-Visualisierung und stellten die getrackten Daten im 3D-Modus graphisch dar (Bild 4).

Bild 4: Space-Time-Cubes für zwei untersuchte Gruppen mit signifikanten Hotspots (links: Film mit räumlichem Sound, rechts: Film mit Stereosound), es gibt eine Zeit- und zwei Raumkoordinaten.

Um jeden Timecode genau zu analysieren, haben wir die Daten im 2D-Mode visualisiert und den dort angebotenen Zeitschieberegler genutzt (Bild 5). So konnten die aufgenommen Headtrackingdaten einfacher untersucht werden.

Bild 5: Der Schieberegler (oben im Bild) erlaubt das Navigieren im Space-Time-Cube und ermöglicht die Visualisierung der Daten zu unterschiedlichen Zeitpunkten.

Ergebnisse

Durch die verwendeten Methoden haben wir mehr über das Sehverhalten der Zuschauer in Cinematic VR erfahren. Die wichtigsten Ergebnisse im Überblick:

  • Es ist gerade zu Beginn einer Szene schwierig, den Blick des Zuschauers zu führen.
  • Nicht bewegte Lichter hatten in unseren Tests keine Auswirkungen.
  • Objekte, die mit Klängen verbunden sind, ziehen mehr Aufmerksamkeit auf sich als Objekte ohne Sound.
  • Der Ton kann die Blickrichtung ändern, auch wenn er nicht räumlich ist oder aus einer anderen Richtung kommt.
  • Bewegliche Objekte oder Lichter können die Blickrichtung steuern, auch wenn sie nicht mit einem Geräusch verbunden sind.

Ausblick

Die Untersuchungen haben gezeigt, dass die in ArcGIS implementierten Methoden der räumlichen Statistik die Analyse unserer Daten verbessern. Wir konnten feststellen, in welche Richtung die Zuschauer sahen und welche Objekte ihre Aufmerksamkeit auf sich zogen. Das hilft uns, neue Erkenntnisse zu gewinnen und auf dem Forschungsgebiet Cinematic Virtual Reality innovative Methoden zu entwickeln.

Gastbeitrag: Sylvia Rothe (Doktorandin LMU München, Medieninformatik)

Total
31
Shares
Share 29
Tweet 0
Pin it 2
Team Education

Wir sind das Team Bildung Wissenschaft Forschung von Esri Deutschland und sind verteilt über die Standorte Kranzberg, Hannover, Berlin, Münster und Zürich.

Voriger Artikel
Photo by Ben White on Unsplash
  • Schule

Digitale Bildung: 5 Geotech-Trends für 2019

  • 21. Januar 2019
  • Daniela Wingert
Weiterlesen
Nächster Artikel
  • Forschung
  • Hochschule
  • Schule

„Wir wollen die Stadtplanung revolutionieren“ – Software-Entwicklerin Lisa Stähli im Interview

  • 20. März 2019
  • Denis Heuring
Weiterlesen
Dir könnte auch gefallen
Weiterlesen
  • Hochschule
  • Schule

Komm mit in den Nationalpark Wattenmeer -Sommercamp für Lehramtsstudierende 2023

  • Team Education
  • 16. März 2023
Header für den Beitrag zu den Analysen im neuen Map Viewer
Weiterlesen
  • Hochschule
  • Schule

Neuer Map Viewer in Lehre und Unterricht – jetzt auch mit Analysen

  • Klaus Nakel
  • 1. März 2023
Weiterlesen
  • Hochschule

Für Studierende: WWF Mapathon Berlin (28.-31. März 2023)

  • Daniela Wingert
  • 27. Februar 2023
Titelbild der Esri MOOCs
Weiterlesen
  • Forschung
  • Hochschule

Esri MOOCs – erweitern euren GIS-Horizont

  • Team Education
  • 9. Februar 2023
Weiterlesen
  • Forschung
  • Hochschule

Geoinformatik Ingenieure – Computer Vision richtig lernen!

  • Team Education
  • 31. Januar 2023
Weiterlesen
  • Hochschule

„Digital Twins“ und GIS in der Hochschullehre? Das sind die Gründe dafür!

  • Daniela Wingert
  • 10. Januar 2023
Weiterlesen
  • Hochschule

Wettbewerb: Esri Young Scholar Award 2023

  • Team Education
  • 10. Januar 2023
Weiterlesen
  • Hochschule

Praktikum bei Esri: Python und ArcGIS

  • Gastautor
  • 15. Dezember 2022
GIS IQ Blog
  • Über uns
  • Impressum
  • Datenschutz
Lernen. Forschen. Entwickeln. Mit GeoIntelligenz!

Gib dein Suchwort ein und drücke Enter.