• Storie in XR: Stephen Black e Sayuri Okayama

    Conoscete il progetto narrativo Storie in XR e social VR ? Nato lo scorso agosto con il fine di far conoscere i professionisti che lavorano e vivono nel Metaverso attraverso le loro storie parla di esperienze in XR e mondi immersivi, di tecnologia e di sperimentazioni. Oggi incontriamo due artisti in un’intervista duplice, Stephen Black e Sayuri Okayama. Ho seguito uno speech di Stephen Black in occasione di un panel organizzato da Katherina Ufnarovskaia per da VR/AR Association dal titolo: “Bubiko foodtour: at the intersection of art, AR and food”. Da allora siamo entrati in contatto e mi sono appassionata alla loro storia che parla di tecnologia, food e tanta arte.

    Nessuna descrizione alternativa per questa immagine

    Chi è Stephen Black / Who is Stephen Black

    Stephen Black è un artista e produttore in realtà aumentata, scrittore e regista in spatial film. – Stephen Black is an AR Artist/producer, writer and OARC’s 2022 spatial filmmaker.

    La duplice intervista è in lingua inglese. Enjoy!

    When have you approached AR? Do you remember your feelings? Please tell us your first experiences.

    SB: The first time I saw AR being used was at the National University of Singapore in about 2003. What I saw was very simple; when a tablet was held over a couple of colored blocks, some text appeared. It was explained to me that AR is something like a QR code, but with more possibilities.

    SO: I had heard about Pokemon Go, but never tried it. The first experience with Bubiko and AR took place in Chiang Rai, Thailand where we used a simple AR app byHewlett Packard and were assisted by a boy about 10 years old who was really clever.In Hong Kong and Shenzhen I saw other people’s projects, many of which were demos. But I would say that the 19 Crimes wine label and app was the first AR experience that really brought everything into focus as it was simple, impactful and easy to use.

    In 2012, Stephen worked with Eugene Soh on a project called SPOKEN, which was a virtual gallery. They showed the works of many artists and it seemed  very interesting. But it was short-lived and this made me feel a bit strange. There was so much work involved and so many interesting artists but so little public response. And there wasn’t any discussion at all about money. Now I see that it was ahead of its time, and how it connects with what is being called the metaverse. Now I understand about how AR and VR are examples of spatial computing, but I am not very good with technical topics.

    Is the XR useful for an artist to express his art? Do you prefer AR to VR?

    SB: Although I have a long career as an artist, and have been focused on AR since 2015, it was only last year that I could finally begin to work with GeoPose AR in a purely artistic and conceptual way.

    One project was simple: A Flock of Bagels, in which bagels swirl from the ground upwards, accompanied by a soundtrack by Antonello Arciuli.

    Another project, Snake Lighter, was a collaboration with Daniel Bainbridge, a New York-based sculptor. We experimented with scanning his sculptures and eventually settled upon a piece called Monkey Mop Boy, which was something like a mask. Once I had the 3D model, I used it to form patterns which then became part of a site-specific installation. I must mention the technical support we received from XR Masters, Augmented.City and Scandy. This leads me to information that answers your question: there are many technical issues to be resolved when making art with XR. 

    Is XR useful for artistic expression? Yes, most definitely.

    However the technical and financial aspects can be significant. VR is even more challenging. For me, the biggest challenge for both is that 3D models are required. I cannot yet make a simple 3D model, let alone a complex one. 3D model makers are artists, so my projects are always collaborative. And if the models are to move, there are artists who specialize in making motions. Again a collaboration!  I should mention that  with Bubiko we are using motion capture to make Bubiko’s motions more natural, and this is being done with the help of Mad Marker, building upon the work of Novaby who really helped us with the initial 3D realization of Bubiko.

    I read that you have been researching and testing spatial cinema ideas since 2016. How did you approach this technology?

    SB: I must mention that, from 2002-5 I was the creative director for an educational 3D game making startup in Singapore. So there I learned about spatial computing, which is the “parent” of VR, XR and AR. Unfortunately the CEO of that company, and my friend, passed away suddenly- on the day of our launch! Many possibilities vanished with his passing.

    To make a long story short, when the Oculus was released in 2015, I took that as a signal to enter into the world of spatial computing.

    But I am not a programmer. I began to act upon ideas for a VR startup that I had been developing. But when I looked at the production costs and numbers of users for VR, and then compared them to what was being planned for AR, it felt natural for me to ficus on AR. Everyone mobile phone in the world can display AR, and  because we use reality itself as a background, it can be much less expensive to create dynamic AR experiences.

    Initially, the only choice was to read, study, network and learn as much as possible about all kinds of AR. I knew that I wanted to tell stories using my background as a filmmaker, but was not sure how this would be possible. I also thought there would be interesting AR possibilities for dance and performance art.

    Let’s talk about Bubiko’s project. Bubiko was a co-creation between you and Sayuri Okayama. When and where did you meet and start working together? Can you explain your project?

    SB: Sayuri and I met in 2011, but we decided to become involved with AR in 2016. Although we were living in Bali, we suddenly encountered visa complications, and made the decision to become digital nomads, researching both the food of Southeast Asia and the possibilities of AR. We were in Kuala Lumpur when we made the first paper version of Bubiko and took her to a food fair. We photographed her as a way to visualize what it would be like when she was a proper 3D model being seen in AR. Eventually, our networking and collected knowledge led to a presentation at Sasin University in Bangkok. Some time after that I gave presentation and workshops at Hong Kong PolyU and in Shenzhen. In January 2019, the Bubiko project was invited to MIT for the first time.

    Bubiko in Blimp

    Now, thanks to the support of many people, Bubiko is an active pioneer in the world of GeoPose-based AR. She starred in historic short film made with GeoPose AR. She is still very “underground” but she is moving towards becoming a start of spatial cinema, with a strong connection towards healthy food oaf all kinds, especially those of Southeast Asia. And yes, she is experimenting with an NFT.

    SO: I decided to work on AR with Stephen because we were in a very unusual situation with a lot of uncertainty. AR seemed like it would be a constant, a goal. I thought that AR would be interesting when we thought of the Bubiko idea.

    Stephen had been speaking with a VC about a VR project and there was funding that was being seriously discussed. But then, unexpectedly, we had a visa issue to solve and when that was finally settled, Stephen started showing me information about AR. 

    It seemed like AR would become very popular as all that was needed was a phone. We decided that AR would be a better choice, because it seemed like it would be easier to create content  than VR, and for  a bigger audience. This was before ARKIT and ARCcore were released. When these two platforms were released we felt we made the right decision.

    My background is in hotels and travel so we decide to work with these ideas and Stephen combined his art background and experiences with Cartoon Network, and we just lept into the AR world with Bubiko Foodtour.

    We were very clear about an idea we called “tabletop cinema”. We envisioned Bubiko appearing on a table, combining education and entertainment. We weren’t exactly sure how this would be possible, but we just kept researching food and AR. You can see some of our progress on Bubiko’s Instagram account. At first we used paper dolls, then thanks to Novaby and Flamingo Filters, we were able to start putting Bubiko on tables and elsewhere.

    Chinatown mural
    Chinatown mural dim sum zodiac Bubiko

    I should say that Stephen and I have been apart because of Covid, which makes things very challenging as I cannot leave Japan. But still we were able to create Bubiko: First Flight, a short film in which Bubiko flies through Bari, Italy and a nice little cafe. The film has been called as historically signifiant as the world’s first website.

    We just take one day at a time. We have gone far with no funding. We are looking at NFTs. DAOs too. Bubiko is ideally positioned for the metaverse: AR and VR.

    What are 3 words you would use to describe Sayuri? Tell us why you choose them. And what’s about yourself?

    SB: I would say Sayuri is detail oriented, cautious and creative.

    Detail oriented: because she excels at planning our trips and projects.

    Cautious: because she is inherently shy as well as extremely concerned about preventing mistakes from happening. She does not automatically say “no” to new ideas, but will ask a lot of questions before she feels comfortable acting upon them.

    Creative: Sayuri’s creativity and sensibility have made Bubiko’s appearance and mannerisms believable and charming. As we begin to work more with photos, videos and edutainment projects her creativity will further be on display.

    For myself, I would say that I am lucky, hardworking and unexcitable.

    Lucky because my backgrounds as an artist, photographer, filmmaker, producer and writer are now interacting and being fully utilized as I explore the new worlds of AR and VR. I am also especially lucky toe surrounded by so many positive and supportive individuals, organizations and companies. Sayuri and I are not with a big company, nor associated with a university nor receiving grant money; we are self-funded in a world where that is extremely unusual.

    Hardworking: Sixteen hours a day, or more.

    Unexcitable. I cannot say I am truly patient. But whether things are going great or terrible, I think I still plod on. When things go well, hopefully that is the result of the hard work and planning. When something bad happens, I know that that is a part of life and should not be cause for prolonged unhappiness.

    In 2020 you created in Bari a spatial cinema experience called Bubiko: First Flight. “ and you worked with Augmented.City. How did this collaboration with Katherina Ufnarovskaia start?

    I was invited to speak at the 2020 VIEW Conference in Turin, which is a remarkable event devoted to animation and motion graphics. In order to really showcase the potential of GeoPose AR, I wanted to make an AR installation in the venue, the OGR, which is a renovated train station. The idea was to have Bubiko flying around signs, videos, balloons and festive, VIEW-related 3D models.

    However to do this, I needed technical support and more. I asked Jan-Erik Vijne, the Managing Director of the Open Augmented Reality Cloud, if he had any suggestions. He suggested Augmented.City, who are doing pioneering AR work in Bari, Italy. I first spoke with Vladimir Ufnarovskii, Katherina’s partner and soon we had a plan to prepare for the OGR.

    Turin menu
    Bubiko Turin menu

    However, Covid  caused a few complications, and the physical VIEW was cancelled. But I was already in Italy, and so the decision was made to create something with the brand new AR testbed that AC made. Suddenly I was learning how their AR system worked, storyboarding, working with Novaby to create a blimp  for Bubiko, looking at locations, and so much more. In less than two weeks we had  the basics of a short film made with AR, a film which has been said to be as historically important as the world’s first website. Have a look at this video.

    You wrote the “Bubiko Foodtour’s Unusual Guide to Augmented Reality” as an introduction to AR technology. Why did you decide to write a guide?

    I could talk at length about my writing and publishing experiences. But to keep it short, I wanted to create a publication that would allow me to connect to AR practitioners. I made it very clear that the book would be outdated almost immediately, and that anyone who bought it should contact me  for the latest version, the most recent update.

    Because I did not do marketing, I did not expect any sales. And this has proved to be correct!  This does not make me unhappy! It means that now, if anyone does buy  that book and writes to me, I will be forced to update it. And this  will make me happy, because it will mean that I can create a version which is based on both on my recent real life experiences, as well as the latest developments in all of AR, not just GeoPose.

    Next October VIEW CONFERENCE 2022 will return in Turin. If you were there which project would you present?

    If I would be invited, I would share the results of the following projects: Snake Lighter, Flock of Bagels, Soda Bread in Time and Space, and, the latest AR adventures of Bubiko.

    It would be wonderful to install these in the OGR.


  • Racconti di cibo: dal prodotto all’esperienza

    Il cibo non si racconta più attorno ad una tavola imbandita, ma nelle trasmissioni televisive, nelle conversazioni in rete. È diventato uno degli argomenti più dibattuti e spettacolarizzati tanto che qualche giorno fa il maestro Muti al Gazzettino.it ha sollevato una provocazione: «Basta cuochi, c’è bisogno di cultura». Se da un lato mi sento di appoggiare l’invito del maestro a proporre al grande pubblico palinsesti più culturali, dall’altro mi preme evidenziare che il cibo è cultura e tradizione profondamente radicata nella storia di un popolo.

    In Google la parola ‘food’ è ricercata 10 miliardi di volte in 0,89 secondi e ‘cibo’ 131 milioni. Come leggiamo nell’ultimo articolo pubblicato sul supplemento ‘Cook’ del Corriere della Sera del giornalista Giuseppe Antonelli,

    quello della cucina è diventato un codice comunicativo che unisce al di là dei confini.[…] Il mondo è ormai dominato dal foodtelling. Parola sconosciuta all’inglese; creata in Spagna nel 2012 sul modello di storytelling e rilanciata da noi all’epoca dell’Expo.

    Ma com’è cambiato il mondo del food e dei consumatori negli ultimi tempi? Non si parla più solo di cibo, di tradizione, ma soprattutto di esperienza che noi consumatori desideriamo vivere e che i ristoratori e produttori vogliono farci provare.

    Il racconto del cibo mi ha sempre affascinato ed è tema di studio e sperimentazione fin dai primi corsi che ho organizzato cinque anni fa con la community, StorytellingIta. Avevamo sperimentato una formazione innovativa che prevedeva una parte teorica e pratica – esperienziale con il coinvolgimento di produttori piemontesi come testimonial. Ai nostri corsi invitavamo, ad esempio, i responsabili dell’agriturismo Vallenostra, produttori di Montebore (formaggio storico prodotto nel basso Piemonte), il proprietario della gelateria Ottimo di Torino, Gianluca Morino di Cascina Garitina e molti altri per condividere le loro esperienze di comunicazione.

    Ho studiato come i produttori nazionali e internazionali si narrano sui social media, sui siti o blog, cercando d’individuare e suggerire le modalità più coinvolgenti. Per un cliente nazionale ho anche approfondito le tecniche di allevamento e di produzione, intervistando i responsabili dei processi produttivi e, partendo da ricerche storiche effettuate nella biblioteca dell’Università Bicocca di Milano, abbiamo scritto alcune novelle sul cibo. Al tema food ho dedicato gli speech che nel 2019 ho tenuto a SMAU nelle edizioni di Bologna e Milano, portando le mie esperienze di comunicatrice e narratrice.

    Food: alla ricerca dell’esperienza

    A SMAU Milano ho intitolato il mio speech: ‘Foodtelling, raccontare l’esperienza’ e mi sono soffermata sulle parole di uno chef che conosco personalmente e seguo da anni nelle sue sperimentazioni, Roberto Rollino del Ristorante La femme a San Bartolomeo al Mare:

    Ho introdotto delle coccole per i miei clienti oltre al menu, perché il cibo è esperienza e ti deve far pensare mentre assapori un nuovo abbinamento. Il cibo è sempre più un momento d’intrattenimento e d’esperienza.

    L’attenzione al cliente e il desiderio di coinvolgerlo hanno portato ad inserire esperimenti gourmet negli amuse bouche, a utilizzare materiali insoliti per le presentazioni, anche non propriamente da cucina.

    Negli ultimi tempi è profondamente cambiato l’atteggiamento dei consumatori: se da un lato hanno maggiore attenzione per la sostenibilità e tracciabilità dei cibi dall’altro sono disposti a pagare di più per un prodotto che risolva un problema e consenta di vivere un’esperienza.

    Food: un nuovo linguaggio

    Per comprendere meglio il nuovo linguaggio del food vi consiglio il libro di Carlo Meo dal titolo: ‘Food Marketing. Il food conquista la città‘ (ed. Hoepli, 2019). Come precisa l’autore il food è sempre più divertimento e un fenomeno urbano. Ormai i consumi fuori casa pareggiano o superano quelli in casa e i tempi dedicati al pasto in Italia si sono ridotti a circa 33 minuti.

    Cambia anche la destinazione dell’ambiente cucina che non vuole essere quello tradizionale della mamma, bensì un luogo tecnologico dove il frigorifero smart ci dice quali alimenti sono terminati e devono essere acquistati.

    Sicuramente avete letto il caso #FreeDorothy, la ragazzina inglese, che messa in punizione dalla madre era stata privata di ogni device tecnologico ed aveva iniziato a dialogare sui social con gli amici attraverso il frigorifero LG. La cucina si trasforma in un lounge dove si ricevono gli amici per sperimentare e improvvisarsi chef nei week end, per conversare e far serata.

    Nei grandi centri urbani si mangia a tutte le ore tanto che i locali si stanno attrezzando e propongono soluzioni ad hoc. Recentemente ho parlato con il proprietario di un locale a Milano che aveva scelto proprio questo tipo di proposta: cibo tipico italiano a qualsiasi ora, persino gli spaghetti a colazione. Ci si chiede in effetti se sia una richiesta del mercato o una semplice moda.

    Nuove soluzioni di ristorazione ed esperienze di gusto. Sul Gambero Rosso leggiamo della nuova iniziativa gourmet del dessert Bar Milano dello chef pasticcere Federico Rottigni che propone ogni sera un dessert dining show di un’ora e mezza in cui fa vivere ai partecipanti un viaggio nei sapori, viaggio nel quale hanno ruolo fondamentale anche musica e illuminazione.

    L’esperienza è però effimera, come ci ricorda sempre Carlo Meo nel suo libro, e come tale deve essere ‘concepita e disegnata perché abbia il maggior successo nel tempo più lungo possibile. […] deve essere comunicabile e fotografabile: è un elemento che sta diventando sempre più importante nella costruzione dell’esperienza, in un monso basato su immagine e media.’ Deve essere progettata con grande attenzione per poter rimanere nel ricordo ed essere ‘sostenibile economicamente per chi l’ha ideata e per chi la vive’.

    Food: quale narrazione

    In un periodo di infobesity, di frammentazione di contenuti e offerte così numerose e variegate come comunicatori poniamoci alcune domande:

    • come far comprendere la nostra unicità, la UVP (Unique Value Proposition / proposta unica di valore)?
    • come possiamo strutturare la nostra comunicazione online?

    Sicuramente la narrazione può venirci in aiuto, ma deve rispettare regole precise e, come ripeto sempre negli speech e nei miei corsi, non può essere rappresentata solo da una bella immagine da postare su Instagram o da un post accattivante su Facebook. Deve essere un mindset narrativo che decidiamo di adottare che deve coinvolgere tutta la nostra comunicazione dal sito al blog fino alle pagine social.

    Partiamo dall’ascolto, mettendoci nei panni del nostro pubblico e cerchiamo di capire meglio:

    • che cosa desidera in un’esperienza
    • in che momento della sua storia di vita si trova
    • qual è il suo immaginario
    • in quali valori si riconosce
    • dove si trova e comunica online

    Per iniziare un percorso di narrazione possiamo anche considerare alcuni semplici suggerimenti tratti dal neuromarketing:

    • il cervello intermedio tende a ignorare formule troppo conosciute, termini abusati per cui è preferibile scegliere concetti originali.
    • un linguaggio semplice, frasi lineari e metafore aiutano i lettori/utilizzatori a fare delle facili associazioni,
    • nella narrazione è utile evocare più stimoli sensoriali per tenere alta l’attenzione.

    Food: attivare i sensi

    In merito ai sensi possiamo trarre informazioni preziose dalle neuroscienze. Nel libro ‘Lo straordinario potere dei nostri sensi’ di Lawrence D. Rosenblum (ed.Bollati Boringhieri, 2018) leggiamo: ‘le influenze della vista, dell’ascolto, del tatto e dell’olfatto sulla percezione del gusto rendono quest’ultimo il più multisensoriale dei sensi. E si è scoperto che tutti i sensi condizionano il gusto non solo direttamente, ma anche indirettamente, in maniera da influenzarsi a vicenda.’

    Su quali sensi vogliamo puntare nel nostro locale: illuminazione, impiattamento oppure profumi, musica? Il nostro prodotto può distinguersi per caratteristiche: organolettiche, packaging, sostenibilità? Un prodotto non vive da solo, ma in un contesto ben preciso di consumo e soddisfa le esigenze e i bisogni di un pubblico. Lavoriamo quindi sulla nostra value proposition e cerchiamo di comprendere come evidenziare e trasmettere i nostri valori.

    Food: quali medium scegliere e che cosa comunicare

    Se il nostro pubblico si trova e discute su Facebook possiamo creare per la nostra pagina un piano editoriale coinvolgente con brevi video interviste a nostri produttori o clienti, aneddoti storici sul cibo, foto emozionali storiche, condividere pensieri e riflessioni.

    Se invece puntiamo sull’immagine possiamo creare dei post curiosi e coinvolgenti su Instagram, scegliendo un colore o un elemento che identifichi tutta la nostra comunicazione social.

    Importante è tenere presenti gli elementi di grammatica del racconto. Ricordate quali sono? Eroe, ferita, impresa, sfide, mentore, oggetto magico, tesoro o ricompensa. Per entrare in risonanza con il nostro pubblico dobbiamo rifarci allo schema narrativo canonico anche nelle narrazioni sui social media.

    Per approfondire vi invito a seguirmi per scoprire i prossimi corsi e speech!

    Foto: by Randy Tarampi on Unsplash