Voor DIFFER, een 4D comic pop band, heb ik verschillende visuals mogen maken. In hun albums laat het comic personage DIFFER de beschaving achter om een utopische stad te bouwen. Zowel de muziek als de beelden van het project weerspiegelen de onvermoeibare hoop dat mens en natuur vreedzaam naast elkaar kunnen bestaan.
Live Interactive Visuals
Voor het DIFFER project ben ik in contact gekomen met frontman Fredi Erdmann, een student van de pop academie in Amsterdam, die een idee had waarin hij een ander, 3D fictioneel karakter zou aannemen op het podium. Tijdens een samenwerkingsweek van school, waarin studenten van het conservatorium samen met studenten van Immersive Media een Proof of Concept uitwerken. Deze samenwerking en begin van het concept beviel hem zo goed dat, toen hij een concert gepland had staan in Dusseldorf voor een Battle of The Bands, hij vroeg of ik het concept verder uit kon werken en de visuals kon verzorgen voor het hele optreden.
Voor deze fictionele wereld had Fredi al enkele tekeningen gemaakt om te communiceren wat hij voor zich zag. Het was aan mij om aan de hand van deze tekeningen een complete 3D wereld op te bouwen waar het verhaal zich in zou afspelen.
Een van de voornaamste eisen die Fredi had was dat het een cartoon wereld zou zijn. Dit houdt o.a. in dat er ‘harde’ schaduwen gebruikt worden, weinig tot geen verloop in kleuren en een zwarte rand om alles heen. De handigste oplossing om dit zo consistent en snel mogelijk voor elkaar te krijgen was een cel shader maken in Unreal Engine.
Ik had nog niet eerder zelf een shader opgebouwd dus heb vooral de basis uit verschillende tutorials online gehaald en ben daarna naar eigen behoefte alles gaan aanpassen tot het aansloot bij de wensen van Fredi. Hieronder een voorbeeld op een auto model met en zonder de shader in zijn vroegste stadium, naarmate de rest van de elementen in de wereld geplaatst werden hebben we hier en daar nog wat instellingen aangepast en features toegevoegd.
Om de rest van de wereld op te vullen moesten er ook allerlei 3D modellen gemaakt worden. Van een aantal dingen had ik de tekeningen van Fredi die ik als basis kon nemen, anderen vroegen om wat meer eigen input. Hieronder een aantal voorbeelden van modellen die in de wereld voorkomen.
Het verhaal van het eerste album speelt zich af tijdens de reis die frontman Differ en toetsenist, een karakter genaamd Drio, maken op aarde op zoek naar een utopische stad. Ze leggen hier een lange weg af door verschillende omgevingen beginnend in een stad. Een van de nummers speelt zich hier ook af dus moest de stad vormgegeven worden met een daktuin waar Differ met zijn band optreed. Na dit nummer reizen Differ en Drio door op de Green Benzin Bike langs allemaal verschillende soorten begroeiing die ook allen met de hand gemodelled en getextured zijn.
Omdat alle leden van de band te zien zijn in de video’s moesten ze ook allemaal naar een 3D karakter gemaakt worden. Hiervoor hebben we bij alle karakters gekozen voor een meer 2D look, alsof ze uit een kartonnen doos zijn geknipt en tot leven zijn gekomen. Dit maakte het enerzijds een stuk makkelijker, vooral om de models te maken maar bracht in het riggen en de bewegingen kloppend laten lijken meer uitdagingen met zich mee.
De allergrootste uitdaging van het hele project was ook meteen wat het project zo uniek maakt. Namelijk real-time motion capture. Fredi wou graag dat het 3D karakter Differ zijn bewegingen live nadeed in de 3D wereld, om zo de connectie tussen hem en Differ te kunnen versterken. Hiervoor heb ik verschillende manieren geprobeerd voordat ik op een wijze kwam die het gewenste resultaat leverde. Dit was een plugin die de data van een Kinect meteen doorstuurde naar Unreal Engine waar in real-time de body tracking data op de rig van Differ gemapped werd.
Dit werkte out of the box al redelijk goed alleen kwam ik erachter dat de helft van het lijf gespiegeld werd doorgestuurd, dit dacht ik toen in overleg met een coach op te lossen door de bones 180 graden te draaien, maar dit verhielp het niet helemaal. Uiteindelijk kwamen we erachter dat een van de bones in de rechterschouder een andere rotatie had dan de bones eromheen en dat we die bone, om een tot op vandaag mysterieuze reden, alleen in een versie van Blender konden draaien die de coach op zijn computer had.
De tijd begon ondertussen aardig te dringen en in de trein naar Duitsland voor het concert kreeg ik nog de laatste versie van de rig toegestuurd. Uiteindelijk was het nog gepuzzel om de rest van de data goed op die rig gemapped te krijgen, maar 5 minuten voordat we opgingen leek het goed te werken.
Al dit harde werk was het wel dubbel en dik waard want uiteindelijk hebben we de wedstrijd ook gewonnen!
Music videos
Deze live visuals dienden tegelijkertijd als basis voor de muziek video’s van de nummers.
Voor deze muziek video’s heb ik verschillende camera’s aan de scenes toegevoegd die allen een eigen hoek filmden, waardoor ik voor mezelf een soort meercamera registratie had gemaakt. Hierdoor had ik dus het hele nummer lang altijd een geschikte camera om naartoe te knippen.
Ook moest het hoofdkarakter Differ vervangen worden. Tijdens de shows beweegt die namelijk in real-time mee met frontman Fredi, deze bewegingen moesten dus in animatie nagebootst worden om te renderen. Hiervoor heb ik gebruik gemaakt van Mixamo animaties, deze heb ik uitgezocht op de mimiek van de zanger. Daarnaast heb ik ze in timing aangepast en geblend om beter bij de muziek te passen.
Als laatste heb ik voor enkele nummers ook credits toegevoegd in de 3D space en de songtekst aan de video toegevoegd.
Social Content
Terwijl we met de muziek video’s bezig waren wilde de band ook nog verschillende foto’s en video’s van Differ in de digitale wereld om hiermee de band en hun album te promoten. Hiervoor heb ik destijds ook wat extra hulp gehad van Thijs Smeele, een klasgenoot die ook veel met Unreal werkte en daarmee ook mijn workflow kon helpen verbeteren zodat we in recordtijd een bak aan content hebben kunnen maken voor de band.
