Virtual Reality Live Acting Experience
Für PETA entwickelten wir EyeToEye, eine weltweit einmalige emotionale Virtual Reality Experience, die es Nutzern durch innovative Technologie wie Motion-Capturing und Live Acting ermöglicht, in Echtzeit in den Dialog mit einem virtuellen Tier zu treten und die Welt aus seinem Blickwinkel zu sehen.
Ein völlig neuer Use Case in VR
Gemeinsam mit Kolle Rebbe konzipierten wir Idee und Use Case und entwickelten eine immersive Virtual Reality Anwendung, die ihresgleichen sucht. Das Erlebnis sollte Menschen nicht nur erreichen und sensibilisieren, sondern sie in einer neuen emotionalen Tiefe involvieren und in die Rolle ihres Gegenübers versetzen. Für PETA, die weltweit größte Tierrechtsorganisation, eröffnete sich so ein neuer, aufmerksamkeitsstarker und überzeugender Kanal, um Menschen anzusprechen, die sich bisher wenig oder gar nicht mit dem Thema Tierrecht beschäftigt haben. Und das in einer Erfahrung, die nicht belehrend, sondern auf Augenhöhe mit den Nutzern stattfinden.
Durch Technologie verstehen lernen
Die Kernidee ist einfach: Ein Gespräch bewirkt Wunder. Und ein Dialog mit einem Tier bietet für PETA eine nie dagewesene Kommunikationsplattform. Die Qualität, sich vollständig in die Perspektive und Lebenswirklichkeit von Tieren zu versetzen, wurde dabei durch eine detailtiefe Virtual Reality-Anwendung in Echtzeit ermöglicht. Aus der Kommunikation mit dem Gegenüber wird erst durch die immersive Erfahrung das Verstehen des Gegenüber.
Live Acting in Virtual Reality
Die Einfachheit für den Nutzer wird durch ein komplexes technologisches Setup geschaffen: Ein Motion-Capture-Setup überträgt Stimme, Mimik und Gestik eines Schauspielers in Echtzeit auf ein 3D Modell – in dieser Anwendung in Persona eines Hasen, der die menschlichen Eigenschaften des Darstellers widerspiegelt. Dessen Stimme wird in die virtuelle Welt übertragen und nimmt unmittelbar auf die Entwicklung des Dialoges mit dem jeweiligen Nutzer Einfluss. Das Besondere: Die Nutzer wissen nicht, dass ihr Gegenüber von einem Darsteller gesteuert wird und nehmen das Gespräch zwischen Mensch und virtuellem Tier als zutiefst echt wahr. Durch diesen Ansatz erlangt die Anwendung nicht nur höchste Detailtiefe, sondern wird eine für jeden Nutzer einmalige, non-lineare Erfahrung.
Entwicklung eines einzigartigen Touchpoints
Die Kombination aus konzeptionellem und technologischem Ansatz bietet für PETA einen komplett neuen Touchpoint, um überzeugend und deutlich auf Tierrechte aufmerksam zu machen und dabei gleichzeitig dem Anspruch der Organisation gerecht zu werden.
Real-Time-Framework in Unreal
Um dies zu erreichen, setzten wir ein in der Game-Engine Unreal entwickeltes Real-Time-Framework auf und explorierten eine Vielzahl möglicher Lösungen in der Kombination aus Face- & Bodytracking, Realtime-3D-Animation und binauralem Sounddesign.
Einzigartiges Setup
Das in sechs Monaten entwickelte Setup sollte dabei einzigartig sein, gleichzeitig aber auch performant und stabil genug für den Einsatz auf Festivals und Live-Events mit einer Vielzahl von Nutzern.
Komplexes Body- und Facetracking
Die Experience wird durch eine Vielzahl technischer Komponenten ermöglicht, die sowohl Konzept und Creative Engineering als auch unsere 3D Artists vor neue Herausforderungen stellte und eine dedizierte Explorationsphase voraussetze. Im Kern steht neben VR das Face- und Body-Tracking. Mittels einer Gesichtserkennungs-Software wird die Mimik des Darstellers erfasst und in Echtzeit auf das 3D Modell des virtuellen Tieres übertragen. Der Hase als Dialogpartner steht stellvertretend für das Leid aller Tiere und greift das Logo der Tierrechtsorganisation auf.
Environment-Design in Unreal
Für die Umgebung wurden in Konzept und Modeling fünf Welten entwickelt und in der Unreal-Engine umgesetzt. Abstrakte Themen, wie Wert des Lebens, Freiheit, Tierversuche und der Umgang mit Tieren in der Ernährungsindustrie werden so in Szenarien erlebbar gemacht. Der Nutzer wird von der virtuellen Persona dabei auf einer individuellen Route durch die Szenarien geführt. Besonders nachdrücklich wird die Immersion durch ein minimalistisches Setdesign, das sich auch in der virtuellen Welt wiederfindet und so einen absolut fließenden Übergang zwischen echter und virtueller Realität schafft. Konzeptionell wurde bewusst auf User Interfaces verzichtet, da es die Anwendung nur artifizieller hätte wirken lassen.
Perfektion in 3D-Design und Animation
Der Look and Feel der Szenarien, wie auch des Charakters, wurde im Laufe des Projektes fortwährend weiterentwickelt. Der Fokus lag dabei auf Erzeugung maximaler Aufmerksamkeit und eines authentischen, tiefen Realismus, um den Dialog zwischen Nutzer und virtuellem Charakter so überzeugend und langanhaltend wie möglich zu führen. Die Anwendung soll cineastisch wirken, aber absolut bidirektional und offen. Der Charakter des Hasen wurde von uns hierzu von Grund auf gestaltet und in den Mittelpunkt gestellt. Eine Anforderung war dabei, dass er Bewegung und Mimik des Schauspielers detailgetreu abbilden kann. Vom Skelett, dem Rig für Bewegungen, über die Mimik, den Blendshapes bis hin zu einem größtmöglichem Level of Detailgenauigkeit an Haut, Augen, Haaren und zahlreichen Wesensmerkmalen erschuf unser Team aus 3D Artists und Art Direction in 500 Arbeitsstunden eine Figur und Persona, die in dieser Form höchste Standards setzt.
Immersion durch Sounddesign für VR
Maßgeblich für ein immersives Virtual Reality Erlebnis ist, neben visuellen Komponenten auch ein dynamisches und binaurales Sounddesign, das durch das Tonstudio German Wahnsinn realisiert wurde. Im Nutzer-Setup führt eine auditive Isolation von der Außenwelt und der vollständig durch die Anwendung bestimmte 3D Sound zum kompletten Eintauchen in die Szenarien. Unser Team erfahrener Toningenieure legte dazu hohen Wert auf die Kombination echter Tiersounds und auf die Technologie und den Use Case angepasste Soundeffekte, die mit dem Entwicklungsteam und im User Testing stetig erweitert und verfeinert wurden. Nicht zuletzt, da die Anwendung auf Festivals und bei weiteren Events erlebbar sein wird, ist die Kombination aus Schallisolation des Setups und durchdachten, präzise ausgearbeiteten SFX essentiell.
Mobile VR – vom Tour Truck bis zum Smartphone
Die Installation hat ein einzigartiges Setting: In einem mobilen Truck sind Schauspieler und Nutzer gemeinsam involviert, ohne einander zu begegnen. Das perfekte Zusammenspiel aller Elemente, wie Tracking des Schauspielers, Live-Rendering des Charakters und Soundeffekten entscheidet maßgeblich über den Erfolg der Anwendung. Bei zahlreichen Veranstaltungen, wie der re:publica und Festivals, zieht die Live-Installation als Besuchermagnet große Aufmerksamkeit auf sich. Eine auf dieser Basis angepasste WebVR Anwendung für Smartphones erzielt im Anschluss weitere Reichweite und macht das Thema auch weltweit für Nutzer erlebbar.
Ergebnisse
Die Anwendung setzt Maßstäbe – nicht nur für Virtual Reality, oder das Agenda Setting von NGOs. Ein einzigartiges Tool, das als Dialogplattform einer völlig neuen Art genutzt werden kann: Jedes Mal wird eine neue, individuell auf den Nutzer zugeschnittene Story erzählt. Bereits in den User Testings betrug die Verweildauer im Schnitt über 10 Minuten – eine, auch für VR, neue Benchmark.
