In Helleveeg wordt je getransporteerd naar het jaar 1596 en stap je in de schoenen van Odilia. Als dochter van Sijbrand, de alchemist van een klein Limburgs dorp, is het aan jou om het dorp te helen terwijl hij zich elders bevindt. Maar, dit blijkt geen lichte taak.
Tijdens mijn afstudeerjaar aan de Nederlandse Filmacademie kreeg ik de ruimte om een eigen afstudeerproject te bedenken en uitwerken. Dit liep allemaal los van de reguliere producties en was het eerste afstudeerproject van zijn soort; een interactieve immersieve installatie. Bij Helleveeg gebruik je fysieke flesjes om de digitale wereld aan te sturen, wat een magisch gevoel opwekt bij de bezoeker.
Hieronder zal ik door het proces heen lopen hoe Helleveeg tot stand is gekomen.
Tijdens mijn stageperiode in de zomer vóór het afstudeerjaar was ik al volop aan het brainstormen over wat ik als afstudeerproject wilde maken. Hier was nog geen concreet antwoord uitgekomen, maar ik had een aantal opties voor mezelf met als voornaamste uitgangspunt dat het iets met heksen ofwel de heksenvervolgingen uit de 16e eeuw te maken had.
Aan het begin van het schooljaar ging ik dan ook deze opties doorspreken met o.a. Thijs Smeele, een klasgenoot die vooral veel met Unreal Engine en Virtual Production werkt. Thijs bleek zo enthousiast te zijn over het idee dat hij graag wou meewerken, hierdoor konden we het net wat groter aanpakken. We namen een van mijn basis ideeën en zijn dit verder uit gaan werken tot het volgende concept:
een interactieve installatie die door het publiek aangestuurd wordt door middel van fysieke flesjes en een fysieke ketel
Nu wisten we hoe we het verhaal wilden vertellen, maar wat dit verhaal was stond nog niet helemaal vast. Ik ben samen met onze Production Designer, Timouch Ben Amar, en Scenarist, Maud Coense, onderzoek gaan doen naar heksen. Tijdens dit onderzoek kwam ik erachter dat ik vooral de onmacht die de vrouwen tijdens de heksenvervolgingen gevoeld moeten hebben een interessant gegeven vond. Het nieuwe doel werd om dat gevoel van onmacht bij de bezoekers op te kunnen wekken. Hier is dan ook een verhaal uit gekomen met als thema:
Hoe angst en bijgeloof in een patriarchale gemeenschap leiden tot het onderdrukken van vrouwen die afwijken van de norm
Tijdens de ontwikkeling van dit scenario was het ook tijd om te beginnen met de ontwikkeling van de technologie die we nodig zouden hebben voor de installatie. Hierbij moesten we natuurlijk nadenken over hoe we een schenk beweging konden uitmeten en een gyroscope leek hier het beste voor te zijn. Een gyroscope is een sensor die de X,Y en Z-rotatie uitmeten, daar kunnen we berekeningen mee doen en doorsturen naar Unreal Engine.
De flesjes wilden we graag draadloos hebben om dat magische gevoel te behouden. Om dit voor elkaar te krijgen hadden we nog een paar extra dingen nodig. Het flesje heeft natuurlijk voeding nodig, dus een batterij en een manier om die op te laden, maar ook zit er een dip switch op elk flesje om aan te geven welke ingrediënt het is. Op deze manier zorgen we er voor dat de flesjes makkelijk verwisselbaar zijn en we maar 2 multi inzetbare back-up flesjes nodig hadden in plaats van voor elk ingrediënt een back-up.
Er zit ook op elk flesje een LED-lampje om aan te geven wat de status van een flesje is. Zo knippert de LED elke 4 seconde even groen als hij verbonden is met de receiver maar niet gebruikt wordt, knippert hij snel groen als hij schenkt en dus zijn data doorstuurt naar de receiver, knippert hij snel rood als de batterij bijna leeg is en blijft hij rood branden als er geen verbinding is met de receiver.
Hierboven de eerste gesoldeerde versie van alle elementen in het flesje in de zelf ontworpen 3D geprinte binnenkant die in de flesjes te schroeven is.
Daarnaast wilden we ook de ketel een extra elementje geven, en dat doen we door middel van een LED-ring en Mist modules. De LED-ring veranderd van kleur wanneer er met de flesjes geschonken wordt, elk flesje heeft ook een eigen kleur die enigszins aansluit bij het soort ingrediënt dat het representeert. Op het moment dat er met twee flesjes tegelijkertijd geschonken wordt, draaien de twee kleuren naast elkaar door de LED-ring. Ook gaan de Mist modules aan op het moment dat er geschonken wordt, hierdoor heeft de bezoeker meteen feedback op zijn handelingen en wordt de ketel een actief onderdeel van de ervaring.
Ondertussen was Thijs bezig met het opbouwen van de 3D wereld in Unreal Engine, heeft hij een begin gemaakt aan de game logic en MetaHumans uitgewerkt voor alle personages op basis van kenmerken die Maud en ik doorgaven. De game logic is in de essentie een systeem dat bijhoudt hoe ver de bezoeker in de ervaring is, welke ingrediënten zijn gebruikt en welk recept er dan is gevolgd en op basis van deze informatie verschillende sequenties met elkaar blend.
Omdat de ervaring zo’n 20 minuten duurt hadden we aardig wat animatie data nodig voor alle karakters, we hebben er dan ook voor gekozen om dit met motion capture op te nemen. We hadden via de academie toegang tot de mocap pakken en software en hier hadden we ook eerder al eens mee gewerkt. Om dit soepel te laten verlopen hebben we een aantal testdagen gehad waarbij iemand uit het team zich in een pak hees, we een korte opname draaiden en deze in Unreal Engine zette om te kijken of het werkte zoals we voor ogen hadden.
Met gebrek aan een vaste producent hebben we veel zelf moeten regelen voor de draaidagen, zowel de ruimte en techniek als de acteurs. Voor dit laatste hebben we dan ook veel mails uitgestuurd naar allerlei mensen waarvan we dachten dat ze wellicht geïnteresseerd zouden zijn. Uiteindelijk hebben we toch een aardige sterrencast bij elkaar geraapt met o.a. Egbert-Jan Weeber, Bert Geurkink en Judith Noyons. Allen waren ze erg enthousiast over het verhaal en het gebruik van deze innovatieve technieken bij een afstudeerproject. We hebben alles in 4 dagen opgenomen, waarbij elke dag 1 of 2 acteurs langs kwamen om hun deel op te nemen. We hebben elk karakter dus apart van elkaar opgenomen en later bij elkaar geplakt.
Dit zorgde wel voor wat extra uitdagingen tijdens het draaien en regisseren. Gelukkig had Thijs nog een real-time preview kunnen regelen waardoor ik tijdens het draaien de karakters al kon zien bewegen in de digitale wereld en zo een goed idee had van hoe het eruit kwam te zien. Echter kijk je dan nog niet naar een compleet beeld maar slechts een onderdeel hiervan, daarom was het ontzettend belangrijk om vóór het draaien een goed beeld te hebben van wie zich waar bevind en waar ze op reageren. Op sommige plekken had ik dit en op anderen nog niet helemaal, maar er ontstond af en toe een magisch moment op set. De acteurs speelden het dan op een bepaalde manier en brachten het karakter zo tot leven dat je meteen weet; dit past hier of dit kan ik daar neerzetten. Eigenlijk begin je dan op set al met het aan elkaar knopen van al die losse elementen.
Buiten dat de real time preview een handige tool was voor ons om de techniek en het spel goed te kunnen beoordelen gaf het ook een kans aan de acteurs om kennis te maken met hun personages.
En dat aan elkaar knopen van al die losse onderdelen is ook nog een hele uitdaging. Eerst moest namelijk alle mocap en facial capture data geprocessed en in Unreal ingeladen worden. Daar hebben we het sync gelegd in level sequences, en deze level sequences hebben we dan in een master sequence gebruikt om het verhaal aan elkaar te plakken.
Klinkt simpel genoeg, maar elke opname heeft zijn eigen rotatie en locatie, dit betekent dat ook deze waardes geanimeerd en geblend moesten worden. Hieronder een voorbeeld waarbij alleen de locatie en rotatie zijn aangepast om enigszins te matchen die daarna de geblende versie laat zien. Het uitgangspunt was uiteindelijk: als het niet opvalt/afleidt is de blending goed genoeg.
Na weken lang editen was het Unreal gedeelte klaar en werd het tijd om de fysieke set op te bouwen, de laatste props af te maken en alles op elkaar aan te sluiten.
Onze andere production designer, Max Driest, heeft een wand gebouwd waar een TV in past en als raam fungeert. Een aantal andere lichting genoten hebben pagina’s getekend volgens een basis schets voor de verschillende ingrediënten en recepten die de bezoeker kan gebruiken tijdens de ervaring. Daarnaast hebben we nog een tafel en ketel gescoord via marktplaats die de set helemaal afmaakten.
Verder zat er ook nog wat extra techniek in de set, zo was er een 5.1 speakerset die geïnstalleerd moest worden, verschillende LED lampen die door de digitale wereld aangestuurd werden waaronder ook een spot die de ketel oplichtte op het moment dat er een recept gemaakt kon worden.
Om deze ervaring overzichtelijk te houden voor de operator, ook wanneer deze weinig of geen technische kennis heeft, heeft een andere klasgenoot, Mervin van Brakel, een operator monitor voor ons gemaakt. In het kort is dit een extra scherm op de PC die de status van de flesjes, een Unreal feed, een camera feed van in de set en het verloop van de ervaring laat zien. Zo kan de operator in 1 oogopslag zien wanneer er iets mis gaat en waar het (waarschijnlijk) aan ligt.
Voor een volledige uitleg van de operator monitor verwijs ik jullie graag naar dit artikel op Mervin’s eigen site.
Helleveeg heeft 5 dagen op de Nederlandse Filmacademie gestaan en 4 dagen in Eye Filmmuseum als onderdeel van het Keep An Eye Festival 2025. Tijdens deze dagen ontvingen we een divers gezelschap: medestudenten, medewerkers van de academie, ouders en bezoekers van Eye die nieuwsgierig waren geraakt. Wat ons opviel, was dat de kern van het verhaal bij iedereen binnenkwam. Misschien nog wel belangrijker: het zette mensen aan het denken.
Sommigen verlieten de ruimte vol ideeën en ingevingen, terwijl anderen juist stil en in zichzelf gekeerd naar buiten stapten. Enkele weken later kregen we van meerdere mensen terug dat ze er nog steeds aan dachten, dat het verhaal was blijven hangen en hen had doen stilstaan bij nieuwe perspectieven.
Precies dát is wat deze manier van maken zo leuk en interessant maakt: die bewustwording creëren en een blijvende indruk achterlaten die mensen meedragen, lang nadat ze de deur zijn uitgegaan.
