Na 2 dagen deze Summit meegemaakt te hebben kan ik al wel concluderen dat het niveau van de inhoud en de sprekers zeer hoog is. En dat ik graag ook bij volgende Summits aanwezig ben. In 3 dagen zoveel leren en geïnspireerd raken overkomt me niet vaak.
Revealing XR – cost efficient XR experiences for cultural preservation
Neal Hartman (Science Gallery Venice) begint zijn verhaal met een uitleg over wat de Science Gallery is. Omdat ik het begrip nog niet ken is dat wel handig. De Science Gallery in Venetië is de Italiaanse vestiging van het Internationale Science Gallery Netwerk.
Er doen 8 landen mee, over 4 continenten, met 9 locaties. Zij zoeken naar nieuwe manieren waarbij jonge mensen (15-25 jaar) zich verbinden aan de uitdagingen van deze wereld en de toekomst waar zij onderdeel van zijn.
De Science Gallery is anti-disciplinair. Zij gaan bewust over grenzen tussen domeinen heen. In Venetië hebben zij de focus op duurzaamheid, toegankelijkheid en inclusie en op cultureel erfgoed.
Neal neemt ons mee naar twee projecten. Zoals het NETCHER project – een netwerk en sociaal platform voor het verbeteren en herbouwen van cultureel erfgoed. Zij onderzoeken bijvoorbeeld hoe digitalisering kan helpen om erfgoed te beschermen. Vier kunstwerken werden uitgekozen.
Dit zijn beroemde werken maar hebben ook allemaal een verborgen verhaal in zich. Met deze werken werd een tentoonstelling ingericht met onder andere AR (want fysiek was niet mogelijk tijdens de pandemie).
De website is heel traditioneel met tekst en audio bij de kunstwerken. Voor mobiele devices werd een AR experience ontwikkeld om thuis te gebruiken met 3D objecten op Instagram. Voor de fysieke plek waar de twee schilderijen zich bevinden hebben ze een AR experience on site gemaakt.
Om de kosten binnen de perken te houden ontwikkelden zij een AR filosofie:
Ze hebben AR echt ingezet voor het verborgen verhaal en niet groter of ingewikkelder gemaakt dan dat. Bijvoorbeeld bij het Klimt portret laten ze een röntgenfoto zien om aan te tonen dat de dame op het schilderij eerder een hoed op had.
Het tweede project heet AQUA GRANDE – een plek voor de gezamenlijke herinnering en het archief van media en data voor de overstroming van Venetië in november 2019. Ze vroegen de gemeenschap om data en informatie aan te leveren en zochten op internet naar beelden, tekst en video’s. Met AR bouwden ze een getijden simulator om te laten zien wat het betekent als het water zo hoog staat.
Wandelend door Venetië kun je met de app zien tot hoever het water heeft gestaan en tot hoever mensen in het water stonden. Omdat het voor veel mensen voor te stellen is werd het zo heel concreet. Ook mensen buiten Venetië kun je de app gebruiken om meer begrip te krijgen van hoogwater.
Met AR wilden ze het virtuele met het fysieke verbinden. Het fysieke object en de fysieke plek is altijd het uitgangspunt van de communicatie. Ze hebben het simpel, uniek en tastbaar willen houden en vanuit de realiteit iets willen toevoegen (of weghalen) van een verhaal dat niet zichtbaar is in de werkelijkheid maar zeker wel iets toevoegt aan het begrip over het object of de plaats. De AR filosofie heeft ze hierbij heel goed geholpen.
Augmenting small museum exhibitions
Ik viel halverwege in de presentatie van Lisa Jones (Queensland Police Museum) en Peter Mills (Freelance Developer) en vond het erg humoristisch, alhoewel het onderwerp – een plaats delict van een moord – dat niet was. Het Queensland Police Museum is ondergebracht in het politiebureau dus voor bezoekers is dat soms een beetje gek om naar binnen te stappen.
Voordat zij AR hadden was er een fysieke plaats delict met een dode mannequin. Dit was een plek die moeilijk schoon te houden was en de kinderen die de plaats bezochten konden wijzigingen aanbrengen en dat was ook niet wenselijk. Een virtuele plaats delict was de oplossing. Zij kozen voor AR omdat je dan geen dure brillen hoeft te kopen en de bezoekers kunnen hun eigen device gebruiken. Het museum wil met de app accurate informatie geven en bezoekers iets leren over hoe je een moord oplost. Dus experts maken de inhoud en techneuten zijn benaderd voor de techniek. Het budget was beperkt en met meer geld was het zeker weten mooier geweest maar zoals het nu is is het geschikt voor het doel.
Wat het soms lastig maakt in gebruik is dat sommige scholen in Australië de kinderen aan het begin van de dag hun mobiel laten inleveren. Als ze dan bij het museum aankomen hebben ze hun mobiel niet bij zich en kunnen ze de opdracht niet maken. Om de opdracht te maken heb je minstens een half uur nodig. Je moet er echt even voor gaan zitten om zoveel mogelijk punten en dus een mooi cijfer te halen. Maar ook al gebruik je de app maar voor 10 minuten dan leer je al voldoende over het proces.
Het museum lanceerde de app tijdens de lockdown online zodat je hem ook thuis kan gebruiken. Ze krijgen nog niet veel feedback op de app. Ze krijgen wel vragen over hoe de app werkt terwijl Lisa aangeeft dat de instructies in de app heel duidelijk zijn dus daar kijken ze de komende tijd naar.
Developing Augmented Reality storytelling platform
Alweer zo’n inspirerend voorbeeld. Het project Every Place has a Story (EPHAS). Henrik Söderlund (Ericsson) en Sander Jürisson (Estonian Maritime Museum) vertellen erover.
Veel verhalen zijn nog nooit vertelt en met de komst van 5G zijn de mogelijkheden eindeloos, denk maar aan AR. Ericsson wilde graag een tool ontwikkelen voor musea om die verhalen te kunnen vertellen. Zodat verhalen beschikbaar kunnen worden gemaakt voor consumenten. En er een eenvoudige en toegankelijke manier is voor musea voor immersieve verhalen te vertellen.
Ericsson ziet en enorme meerwaarde van EPHAS voor de waarde van musea omdat je bezoekers meer betrokken maakt, zowel binnen als buiten het fysieke gebouw.
Om dit te kunnen testen werd een pilot museum gezocht en dat is het Estonian Maritime Museum. Momenteel zitten er 20 verhalen in het platform. Het museum is uitermate geschikt om verhalen te vertellen. Zij hebben heel veel (modellen van) schepen die een rol hebben gehad in de wereldgeschiedenis.
Als kind bezocht Sander het museum het liefste elke maand, zo’n groot fan was hij van de scheepsmodellen. Maar er staat heel weinig tekst op de bordjes bij de modellen terwijl er zulke mooie verhalen zijn. Met de mogelijkheden van EPHAS wil het museum graag jongeren bereiken die normaal gesproken het museum niet bezoeken.
De bezoeker heeft een tablet vast voor de AR app maar ziet ook onderdelen van AR op de vitrines.
De verhalen zijn kort. De optimale lengte is 3-4 minuten. Je wilt veel verhalen vertellen maar aan de andere kant wil je niet dat de bezoeker keuzestress ervaart omdat er teveel verhalen zijn.
Het project is nog niet af en wordt nu getest met familie van medewerkers. Waarschijnlijk wordt het platform gelanceerd in het najaar.
Considering VR? Learn What We Learned From Our Projects & Visitors!
Drie musea, drie verschillende manieren om VR in te zetten. Elaine Charnov (Intrepid Museum) werkt in een museum dat weinig objecten in bezit heeft en waar de ruimte niet geklimatologiseerd is. En wat doe je dan? Dan zet je VR in om de bezoeker toch de experience te geven die je wilt.
Ze gebruiken de Oculus technologie, dus consumenten technologie. Vier mensen tegelijk kunnen de experience bezoeken. Normaal duurt deze een uur maar door enorme populariteit worden bezoekers na 10 minuten gevraagd om verder te gaan. Die populariteit zorgt er ook voor dat de spullen snel stuk gaan. Dus de headsets worden elke 6 weken vervangen. Iets om rekening mee te houden.
Silvina Fernandez-Duque (United States Holocaust Memorial Museum) had andere uitdagingen. Zij maakten bijvoorbeeld een VR experience rondom een melkvat. Een object uit de vaste collectie waar bezoekers niet gelijk onder de indruk van zijn. Dit melkvat representeert een bijzonder verhaal over het Joodse verzet in het getto van Warschau. Zij gebruikten het melkvat voor het bewaren van bewijs en verhalen. Door het melkvat te begraven kennen wij deze verhalen nu. In 2019 heeft het museum drie weken samengewerkt met een productiebedrijf en hebben zij 3 prototypes/ruimtes ontwikkeld. Nadat bezoekers de ruimtes hadden bezocht werden hen vragen gesteld over het gebruik van de techniek en hoe het verhaal werd verteld.
Zij leerden dat ze op deze manier op een respectvolle verhalen kunnen vertellen. Bezoekers dachten soms dat de ruimte naar werkelijkheid was ingericht en dat was niet zo. Dus moet je uitleggen waarom je bepaalde keuzes hebt gemaakt. De experience is in het museum en de bezoekers hebben de vaste expositie al bezocht dus een context. Maar wat als je niet in het museum bent, wat heb je dan voor context nodig.
Robin White Owen (MediaCombo) neemt ons mee naar de studio van de kunstenaars Pollock en Krasner die zij 1:1 nabouwden in VR (Tracing Paint). In de echte studie kun je de kunstwerken niet zien maar in de VR studio wel.
De schilderijen liggen in de VR experience op de vloer of hangen aan de muur en je hoort de kunstenaars vertellen over de gebruikte techniek en wat de werken betekenen.
Bezoekers moeten zich zelfverzekerd voelen in de ruimte dus wordt ze aan het begin uitgelegd hoe de experience werkt en wat je er kan doen. Vier personen tegelijk kunnen de experience ondergaan. De bezoekers lieten weten dat zij het gevoel hadden er bij te zijn toen de schilderijen gemaakt werden en vinden het een mooie manier om te verbinden met de kunstenaar. Het geld voor de experience kwam van een private investering. Bezoekers betalen ongeveer 10 dollar voor de experience, die zestien minuten duurt. In eerste instantie is de experience ontwikkeld voor het museum maar inmiddels vind je hem ook terug in de Oculus store.
AR as a mediation tool: adding value to collections and raising awareness
Deze AR experience is wel heel WOUW!! Zo cool om bedreigde en (bijna) uitgestorven dieren terug te zien in het Muséum national d’Histoire naturelle in Parijs.
Het begon allemaal met een idee van Jeremy Frey (SAOLA Studio), hij wilde bedreigde en (bijna) uitgestorven dieren weer tot leven brengen met AR. Hij wil dat je de experience kan delen met familie. De journey duurt 15 minuten en bevat 10 ruimtes in de vaste opstelling van het museum. Naast dat het super vet is om de experience te doen is het ook een bewustwording over hoe we met de aarde omgaan. Het zijn dus niet alleen grote dieren die je terug ziet maar ook kleine dieren en insecten. Ook wilden ze dat er een link was tussen de getoonde dieren en de dieren in de vitrines. SAOLA begon met het verhaal en pas later kwam de technologie in beeld.
Omdat het museum geen geld had om deze experience te laten maken is er voor gekozen om geld van private geldschieters te gebruiken en de inkomsten te delen tussen het productiebedrijf en het museum.
From storytelling to story-doing
Tim Powell (Freelance Producer) vertelt over een van zijn favoriete onderwerpen: storytelling. Hij vindt het jammer als nieuwe technologie op een oude manier wordt ingezet en wil daarom aandacht voor het nieuwe gedrag dat hoort bij de inzet van nieuwe technologie. XR zorgt er voor dat gebruikers op een radicaal nieuwe manier zich kunnen verbinden met verhalen. Waarbij traditionele storytelling ons laat kijken naar de wereld en hoe we andere mensen zien, zorgt XR ervoor dat wij op een andere manier naar onszelf kijken. En dus moeten organisatie niet alleen verhalen vertellen maar werelden bouwen waarbinnen story-doing een plek kan krijgen.
Tim gebruikt voor deze presentatie de definitie voor immersieve experience van Digital Catapult.
We denken vaak bij het XR-spectrum van AR die een laag over de werkelijkheid legt naar VR waarbij de gebruiker in een complete virtuele wereld staat. Met daartussen Augmented Virtuality waarbij objecten uit het echte leven in kaart zijn gebracht in een virtuele wereld voor fysieke interacties.
Veel immersieve technologie is gebaseerd op de zintuigen. Daar staan we even bij stil. Het kan ingedeeld worden in stimulans, sensatie en perceptie. Onze zintuigen zijn gericht op een fysieke stimulans. Ons brein registreert alleen verandering omdat we anders een overload aan zintuigwaarnemingen krijgen. Ons idee van de wereld wordt gevormd in ons brein, een model van de realiteit. En voordat een sensatie een perceptie wordt het vermengd met emoties en herinneringen en daarmee wordt het uniek en persoonlijk.
Tim gebruik traditionele storytelling niet om aan te geven dat het fout of verkeerd is maar om het verschil te kunnen duiden tussen de oude en de nieuwe manier. Verhalen vertellen hoort fundamenteel bij onze natuur en het begrip van de wereld. Traditionele verhalen zijn reizen in iemand anders hoofd om ze te leren kennen en begrijpen. Fundamenteel gaan verhalen over verandering, als de hoofdrolspeler van zijn idee van controle naar chaos gaat. Het gevecht tussen wat zij denken te willen en wat zij nodig hebben tot zij het antwoord geven op de vraag: wie ben ik? En daarmee weer controle over de wereld krijgen.
Immersieve werelden worden beleefd als onze eigen realiteit (en niet de wereld die wij zien door de ogen van de hoofdpersoon). Door VR modelleren we de wereld van het verhaal zoals we onze eigen wereld samenstellen. En daarmee gaat ons story-telling brein aan de slag met oorzaak en gevolg gezien vanuit onszelf als de hoofdpersoon. Het wordt een levenservaring, een herinnering, het is echt en uniek voor ons. En als het een goede experience is dan wordt onze kijk op onszelf veranderd. Dit wordt beschreven als story-doing.
Als je de wereld bouwt moet je nadenken over hoe je de gebruiker wilt benaderen en wat hun rol is. Zeker als het gaat om authenticiteit en een volledige experience. Denk daarbij dan aan:
- presence / embodiment – is de bezoeker een onzichtbare toeschouwer of aanwezig en kunnen zij dan aangesproken worden door andere karakters in de omgeving
- type of immersion – ruimtelijk, mentaal, strategisch of vertellende immersie.
- simulation / representation
- agency
- authored narrative / generative narrative
Uitdagingen voor storytellers: wie is de director, want de gebruiker heeft zijn eigen verhaal in plaats van een verhaal wat jij verteld. Verhalen worden op een collaboratieve manier gemaakt. Hoe gedraagt het publiek zich, voor de bioscoop of theater weten we dat maar hiervoor hebben we nog maar weinig ervaring. Ethische vraagstukken rondom persoonlijke grenzen. Kinderen zien bijvoorbeeld een VR experience als herinneringen die echt zijn.
Tim wil VR inbedden in het gehele museum. Als je een wereld bouwt kun je dit ook doen voor VR en fysiek (traditioneel) maar ook voor social media, etc. Hij noemt dat transmediale storytelling waar het verhaal over verschillende soorten media verloopt.
Tim vat het nog even samen:
Solving museums’ challenges with immersive experiences
Fabien Barati (Emissive) laat een aantal immersieve projecten zien die zij maakten voor onder andere het Louvre. Zij willen de bezoekers voor, tijdens en na het bezoek aan het museum laten participeren.
Zo maakten Emissive Beyond the Glass – Mona Lisa (8 minuten). In mijn blogpost van dag 1 zie je de video die meer uitlegt. Deze experience is gratis te downloaden, onder andere op steam.
Een ander project heet The Enemy. In deze omgeving lopen verschillende mensen tegelijkertijd rond in de ruimte. De experience duurt 45 minuten.
Fabien legt uit hoe de twee projecten bij kunnen dragen aan de bekendheid van het museum, de innovatiedrang en ze er geld mee kunnen verdienen. Schematisch ziet dat er als volgt uit:
Fabien is er van overtuigd dat virtuele experieces tentoonstellingen kunnen vervangen, zeker als deze geen doorgang kunnen vinden vanwege te hoge kosten of een pandemie.
Met Immersive Expeditions kun je nog een stap verder gaan.
Samen met vrienden of familie bezoek je Egypte, je gaat terug in tijd en leert over de geschiedenis. Je loopt samen rond in de ruimte en kan met elkaar communiceren. Het maakt niet uit waar je bent. De VR-bril brengt je waar je wilt zijn. Ze hebben ervoor gekozen om met bestaande avatars te werken omdat bezoekers anders te veel gefocusseerd zijn op hoe ze er uit zien in plaats van op de content.
Musea kunnen een bestaande expeditie kopen en finetunen of co-producer worden van een immersieve expeditie en daarmee geld verdienen. Het geeft ze inzicht in de mogelijkheden van immersieve technologie en helpt ze met innovatie.
Pandemic Prototyping & Augmenting the Art Gallery
Dit was ook al zo’n leuke en interessante sessie. Meredith Gregory (Norton Museum of Art) en Eric Mika (Local Projects) lieten ons zien hoe dit museum 6 kunstwerken inzet om de missie te bereiken.
Dit project is mogelijk gemaakt door een gift van de Anne Maria en Stephen Keller Foundation en heet Norton Art+.
De bezoekers gebruiken hiervoor een iPad zodat ze niets hoeven te installeren.
6 kunstwerken met 6 verschillende interacties.
Deze zes zijn gekozen vanwege hun plek in het museum en omdat ze zeker weten dat deze werken niet uit de vaste presentatie zullen verdwijnen. Ook hebben ze gekeken naar toestemming van de kunstenaars en de diversiteit van de werken.
Als je je naam het ingevuld in de app krijg je een plattegrond met de locatie van de kunstwerken.
Als je bij het kunstwerk bent moet je met de camera zo mikken dat een overlay van het kunstwerk op het fysieke werk past. Dan start de interactie.
drive the eraser to unlock a hidden message
Alle voorbeelden zijn even grappig en interessant. Ik heb bijvoorbeeld heel hard gelachen om de Soundsuit van Nick Cave. Waar je, als je de iPad op een bezoeker mikt deze de soundsuit aan krijgt.
Omdat het museum gesloten was hebben de familieleden van medewerkers en medewerkers zelf de app getest. De app kon ook thuis uitgeprobeerd worden met onderstaande test kit.
Deze app is een experiment voor het museum. Gelukkig wisten ze wel heel goed wat de (on)mogelijkheden van de techniek waren. De app is 700mb groot en dus is het fijn om zelf iPads te faciliteren. Ze willen een jaar de app uitproberen en dan uitbreiden.
Social XR: The Future of Museums
Paige Dansinger (Better World Museum en Horizon Art Museum) demonstreert (live!) Starry Night.
Het is even wennen waar je nu precies naar kijkt. Maar de voorbeelden die Paige geeft van games om in het museum te spelen zijn duidelijk en fun! Veel meer informatie vind je op de website van Paige.