Game- en filmcomponist Sage Lewis zegt dat niemand begrijpt wat schrijven voor VR is

Voor de klassiek geschoolde muzikant Sage Lewis vormt technologie een uitdaging. Hoewel zijn composities zijn verschenen in advertenties voor Google, Facebook en Nintendo, blijft Lewis standvastig met akoestische geluiden. "Er is iets met het strijkkwartet en de belangrijkste akoestische instrumenten, die zoveel emotie uitdrukken," zegt hij over de telefoon. "Dat kun je niet op dezelfde manier uitdrukken met elektronische muziek."

Maar misschien is hij erachter gekomen. Op South by Southwest, de meest recente scores van Lewis - het technodrama operator met in de hoofdrol Martin Starr (Siliconen vallei) en Mae Whitman en de VR-thriller De surrogaat - aanpakken van ons steeds veranderende begrip van menselijke interactiviteit met baanbrekende technologie. De scores van Lewis, een combinatie van elektronica en akoestiek weerspiegelen deze seismische verschuivingen.

Geregisseerd door Logan Kibens, operator volgt een computerprogrammeur die een klantenservicebot bouwt met behulp van zijn vrouw als sjabloon voordat hij een obsessioneel, destructief pad neemt dat is gebouwd op liefde. De surrogaat is ondertussen een VR-ervaring van een first-person view die een ontredderd huwelijk blootlegt. Genomineerd voor de Interactive Innovation Award op het festival, De surrogaat "Problematiseert de notie van fysieke aanwezigheid en weerspiegelt … culturele angsten en kwellingen in het digitale tijdperk."

Voor het Austin-festival sprak Lewis omgekeerde en vertelde ons hoe hij een van de verborgen parels van SXSW componeerde en hoe de regels voor het componeren van VR nog steeds worden geschreven.

Bij SXSW heb je dit jaar operator en De surrogaat. Wat kun je me vertellen over je begrip van de twee projecten?

Het is spannend, het zijn twee films die vergelijkbaar zijn in hun verhalen, maar heel anders in vorm en de manier waarop ze worden ervaren. Beide hebben te maken met technologie, een relatie met en hoe deze zich in onze persoonlijke levens in werkelijke relaties mengt. Ze gaan over kunstmatige intelligentie en waar we naartoe gaan in de toekomst.

Technologie en menselijke relaties zijn populaire thema's, die blijken uit dingen als Haar en Zwarte spiegel. Hoe heb je je score benaderd voor operator ?

Technologie bemiddelt steeds meer in onze communicatie, maar waar we naartoe zouden kunnen gaan, is dat onze relaties niet alleen zijn met een ander mens, maar met een algoritme. Het was leuk om muzikaal aan deze thema's te werken, de partituur heeft een kamerensemble met een strijkkwartet, piano, akoestische gitaar, drumstel en percussie. Dan is er een hele elektronische kant, elk elektronisch instrument stemt rechtstreeks af op de andere van de akoestiek. We hebben ze vanaf nul opnieuw gecreëerd met een modulaire synthesizer. Dat creëerde een score die deze emoties elektronisch kon uiten.

Als je in aanmerking neemt hoe deze films zo cruciaal zijn voor technologie, waarom heb je dan natuurlijke en klassieke geluiden toegevoegd? operator ?

Voor mij ging het om twee co-existerende werelden, één virtueel en één natuurlijk, en hoe ze naast elkaar bestaan ​​in harmonie en tegenstrijdig, vecht over dezelfde ruimte. Het was belangrijk om stukken te hebben. Als je echter twee dingen tegen elkaar hebt ingesteld, maakt dit elke speler krachtiger. Elektronische muziek klinkt meer elektronisch wanneer het in de context van akoestische muziek is. De kwaliteit van iets dat natuurlijk is, kan zelfs natuurlijker klinken als je het tegen iets heel onnatuurlijks plaatst.

Waar was je favoriete deel van operator scoren?

Er zijn een aantal prachtige scènes van Lake Michigan, waar het personage, Joe, elke dag hardloopt. Hij meet zijn gezondheidsgegevens, gaat naar Lake Michigan en maakt een foto. Er is een scène waarin ze zeiden: "Dit is een van de belangrijkste stukjes uit de film. Dit is alles wat je doet, Sage. "De muziek moest ook eenvoudig zijn, hij vertelde niet veel gebaren. Het was maar een paar minuten van een paar gebaren die eenvoudig te plaatsen waren en je echt in het hart konden raken. Dat was het meest opwindende voor mij.

Hoe componeer je een subjectieve ervaring in VR versus een film zoals operator ?

Het is opwindend omdat niemand begrijpt hoe het moet. Je kunt het nergens bestuderen, zelfs niet om andere VR-projecten te bekijken om te zien wat ze hebben gedaan, omdat het nog steeds niet zo toegankelijk is. Er is veel aan jezelf te doen. We hebben onze eigen Oculus-headsets die we hebben gebruikt om dit te ontwikkelen. Soms gaan we naar VR-conferenties om andere inhoud te bekijken, maar voor het grootste deel is het een product dat nog niet op de markt is verschenen.

Wat dacht je van videogames waar je aan hebt gewerkt - en ook een subjectieve technologische ervaring?

In sommige opzichten lijkt het op videogames, maar de ervaring is anders. De surrogaat is geen spel, maar een 'interactieve film', die het heel goed deed om nieuwe territoria van VR uit te vinden. Het is 12 minuten lang, het is bolvormig, in plaats van een 16x9-kader waar je in de film zit, overal waar je kijkt, achter je, omhoog, omlaag, je kunt rondlopen. Het is deze hybride van CG-opname met een bolvormige camera, met echte karakters. Geen avatars.

Terwijl je rondgaat, wordt een deel van de muziek de hele tijd gebruikt om het verhaal te ondersteunen. Er is een ander type in spaties. Als je naar die ruimte gaat, zul je het horen, maar als je dat niet bent, doe je het niet. Er is veel dat je moet communiceren wanneer je in een film zit om het verhaal te laten werken, zodat mensen geen belangrijke onderdelen missen, maar in VR heb je geen controle over de gebruiker. De gebruiker kan overal rondlopen.

De score in VR helpt de emotionele boog te communiceren, of ze nu aandacht besteden aan de uitvoering of niet. Je moet de score gebruiken om dingen bij elkaar te brengen omdat je geen controle hebt. Dit is interessant voor mij omdat intern, in het personage waarin je je bevindt, het een psychologische thriller is voor dat personage in hun lichaam en geest, maar in de buitenwereld niet. Het zijn mensen die rondlopen en praten, geen reguliere thriller met actie.

Camerahoeken in films communiceren verhalend en thematisch, waardoor de muziek intenser wordt. In VR lijkt het alsof muziek al het werk doet.

Het is moeilijk om erachter te komen, want als ik aan het componeren ben, kan ik het niet ervaren. Ik kan het niet demonstreren omdat je niet kunt componeren met de headset ingeschakeld. In een film kun je het bekijken, de muziek erin zetten en het opnieuw bekijken en een stel mensen samen gaan zitten en erover praten.

VR is eigenlijk vergelijkbaar met theater. Sommige mensen hebben goede zitplaatsen, sommige mensen hebben slechte zitplaatsen. Ze kijken naar alle hoeken. Vanuit muzikaal perspectief weet je hoe dingen gaan synchroniseren. Je hoeft niet te raden hoe ze zich op het podium zullen voelen als je eraan werkt. In VR vermoed je, verbeeld je het in gedachten, materialen waar je naar verwijst, die je helpen te informeren hoe de dingen eruit moeten zien en voelen aan het einde.

Het is nooit af. Het blijft maar veranderen. De surrogaat, we zijn net klaar met de nieuwste update. Dan zullen we er lang aan blijven werken op basis van wat we leren. Dingen zijn langzamer omdat je op programmeurs vertrouwt, dingen breken voortdurend in het systeem. Het is zo anders.

Hoe lang denk je dat het zal duren voordat componisten het ritme vinden voor muziek in VR?

Uitzoeken hoe je muziek voor VR schrijft, duurt net zo lang als het uitzoeken van de andere elementen. Ik denk dat het drie tot vijf jaar duurt voordat het zover is dat het werkt en deel uitmaakt van ieders leven. Dit jaar gaat VR naar de markt. Het zal waarschijnlijk jaren duren om het prototype te verbeteren en erachter te komen hoe je inhoud kunt creëren, maar ik zie het gebeuren rond 2020, wanneer het een goed ontwikkelde vorm is. Film duurde ook lang. Er waren vanaf het begin geweldige films, Charlie Chaplin en dergelijke dingen, maar om die technologie te ontwikkelen, duurde het lang voordat het gouden tijdperk was bereikt. Daar zijn we nog ver vanaf, maar het gebeurt nu. We gaan het dit jaar gaan zien. Het is opwindend.