• Storie in XR: Cecilia Lascialfari

    Le storie in XR prendono il via nel 2023 con un incontro davvero interessante. Ho conosciuto Cecilia Lascialfari grazie al convegno AWE e ci siamo incontrate in LinkedIn. Affascinata dalla sua vena artistica e professionalità l’ho coinvolta come relatrice nell’evento ‘Metaverso…what?’ che ho organizzato lo scorso 28 settembre al coworking Toolbox a Torino. Una vera gioia conoscerla di persona e trascorrere un po’ di tempo insieme fuori dal web.

    Chi è Cecilia Lascialfari

    Cecilia aka ARea6DoF si definisce su LinkedIn: Creative Strategist Technologist |Researcher | XR | VR | AR | AI | Artist | Videomaker | Photographer | European Journalist | Community Manager |scripter, builder, Owner e Landlord su Second Life. In realtà un vulcano di creatività e di passioni.

    La storia di Cecilia

    Come sapete, nelle mie interviste cerco di conoscere i professionisti dal punto di vista umano e non solo lavorativo. Desidero andare oltre alla loro attività per scoprire specificità della persona ed aneddoti della loro vita. Con Cecilia è stato facile, perché è una ragazza solare ed eclettica.

    Scopriamo insieme i suoi primi passi nell’XR e nell’arte. L’ho intervistata per voi.

    L’intervista è in lingua inglese, perché farà parte della nuova edizione aggiornata ed ampliata del libro “Women in the metaverse” che sto ultimando con alcune nuove professioniste davvero eccellenti. Stay tuned.

    When did you approach the XR? Do you remember your first experiences?

    My first experience related to the world of immersive technologies was dated September 2018, when I decided to step out of my comfort zone, follow my instincts and take risks, taking my son who was only 11 years old to see the Ars Electronica Festival in Linz, Austria, one of the most innovative exhibitions in Europe, combining Art, Electronics, Music, Artificial Intelligence, New Technologies. It was a wonderful experience.


    My life has been difficult but I wouldn’t be here writing if everything that happened to me hadn’t happened to me. But it is so difficult to understand where to start, and above all “to be concise” as my English friends always point out to me, who deal with business constantly and to whom I always reply: “I’m Italian! We have so many words to use”.

    My first interest was Africa. At 22 years old, I fell in love with a Congolese boy and turned him into one of those Charming Princes who no longer exist. I owe my current ability to understand the cultural differences of the world to my curiosity about its culture, so different from that of Europe.

    In the fifteen years that I have been with him, I have studied the history of Africa, I wrote a thesis entitled “Contemporary African Art”, a study that had great success at University and Institutional level in 2002 (you can see my study online in pdf version) I learned French (and a little Lari and Lingala dialect) to be able to talk to my mother-in-law, I made a project to bring South African artist Esther Mahalangu and a group of Ndebele women to Florence of his tribe, to paint the external walls of the Nelson Mandela Forum in Florence (ex. Sports Hall) which was supported by the Nelson Mandela Foundation in South Africa, the Municipality of Florence and the Nelson Mandela Association of Florence (these murals are all ‘visible today), I got married and I had a beautiful son.

    “Only study and knowledge give you the opportunity to make choices.”

    In 2010 I attended a specialization Master at RAI in Florence, with the Faculty of Engineering and I specialized in Multimedia Content Design. It was the most fruitful path of my life, which helped me understand how creativity and art (my main course of study until then) could evolve using new technologies (which at the time were represented by graphics, photography, video, etc.).

    “You will get out of here and you will be able to produce multimedia video content, but you will also be able to converse with programmers.”

    In reality I came out of this Master’s and the first job I found was that of managing a website in html, so I had to learn not only to communicate with programmers, but also to write in code.

    Thanks to this master, I had found three jobs at the same time, two for publishing houses (production of video content and programming in html) and another for the University of Florence, which I did on weekends (always as a producer of video content).

    It was the time when the first social networks were born and my experiences on the net were made before courses in this sector were institutionalized.


    At the end of September 2012, I discovered that I have breast cancer.
    My whole life starts running. Visits, biopsies, urgent operations, family brainstorming on chemotherapy, hair loss but above all an abandonment by my husband who, instead of supporting me, leaves home.

    I could no longer find answers in religion and no longer had a chance to confront my husband. The poetry of love had crumbled into itself. There are no words to describe the difficulty of raising a son completely alone, to which you have to explain at the same time the reason why the mother can no longer take him on the neck and the father has left home. While your body does not support you, your hair is struggling to grow back, love seems to have completely evaporated in the air and make-up becomes your only defense against the world. Around that time I started making up my eyes with a very strong black line.

    People called me “The Egyptian”, because I tended to make up my eyes so much just to draw attention to a spot on my face that wasn’t my hairless head or my obvious wigs of so many different colors and types.
    I needed to find motivation in my life, which involved me as much as art had done in the first 30 years of my existence and gave me the hope that there could still be something beautiful to live.

    I had survived death, and I needed a new motivation.

    How could I reconnect my former life to the one I was living at that moment?

    I leave out the story of the difficult period between December 2012 and September 2018 (I’ll tell you about it in another moment) and I go back to Linz.


    I decided for the first time to take my 11-year-old son to take a night trip by train to Linz, to go and see one of the festivals I dreamed of so much “Ars Electronica Festival“.

    I promised my son that I would never abandon him and that I would always take him with me to every place in the world where I would go (even if I went there for work).

    It was an exciting journey,  a unique experience that made me glimpse a road, but I only understood it some time later. For the first time in many years, I tried to understand who I was and what I wanted from life.

    Cecilia Lascialfari – Ars Electronica Center/Ars Electronica Festival – LINZ 6-10 September 2018

    AWE EU 2019

    A few years later I discovered that in October 2019, a great EXPO called “AWE EU” was to be held in Munich on new technologies.

    I have always looked at Virtual Reality with distrust, because I consider it cold compared to the painting techniques I had learned at the Academy of Fine Arts. But I was curious to meet this world and Munich was a perfect opportunity.

    AWE EU Munich 2019 – with a preview of AWE USA 2020, a few months before the start of the Covid-19 pandemic

    I introduced myself to AWE EU Munich as a journalist’s apprentice. At the time I was writing and making videos for a small provincial newspaper with an attempt to enroll in the register of Italian journalists. AWE EU was a truly exciting experience. The approach with all these new technologies, the difficulty of the English language, the events that followed one after the other, and the possibility that the organization of AWE gave me when I told him that I would have my son with me (because I was alone and I could not leave him at home) made me understand that perhaps that was the right path to follow.

    The most particular anecdote of that experience was the interview with Ori Inbar. I hadn’t prepared anything and all of a sudden a spokesperson came to the press office announcing that Ori would soon be available for interviews.

    I prepared 5 questions at the speed of light, in terrible English, aided by Google Translate, and almost holding my breath, I took courage and put myself in the shoes of a real established journalist. At the end of the interview Ori asked me where I would publish that interview and when I told him that it would go to a provincial newspaper, he was a bit surprised and gave me two tips: he wanted me to write in a technology newspaper and that his video was dubbed in Italian and subtitled in Italian.

    You can see the interview with Ori Inbar from 2019 at this link: Realtà Aumentata e Virtuale: Cecilia Lascialfari intervista Ori Inbar durante l’AWE 2019 (Italian Version)

    Ori Inbar during AWE EU Munich 2019 – Photo by Cecilia Lascialfari

    Four years later I realized what Ori Inbar pointed out to me in 2019: ARea6DoF has just become a full-fledged newspaper.

    But it was a long way to get to where I am now. I never prove my age, and everyone attributes me to being about ten years younger. So they treat me as someone who has ten years less experience than me and that bothers me extremely.


    You are an organizer of AWE Nite Florence from 2022 and you were at last AWE USA 2022. I was delighted to see there there were many women among the speakers. More than 150 female speakes. Did you find it difficut to organize international events which today are in hybrid form?

    I had a lot of trouble starting to organize international events online. Back from Munich I tried to contact AWE to create a focus on new technologies in Italy. But there had already been an attempt to organize AWE Nite in Italy and for various reasons nothing had started. The previous organizer had moved abroad and I did not live in Milan, the reference city for the industry sector. I asked that the reference city of AWE Nite would become Florence which was my city, a cross between Rome and Milan, outside the industrial circuit and immersed in art, but there were initially many hesitations on the part of the organization.

    AWE Nite Florence – Poster of the events presented by Cecilia Lascialfari and Antony Vitillo

    I was able to involve Antony Vitillo as the organizer of AWE Nite with me. We both wanted AWE Nite to be an event at an Italian level and not geolocated on a single city, but the organization of AWE envisaged that there was a reference city. Italy is a small country compared to the USA. It is the size of a single US state. And the new technologies at the beginning of 2020 were not as widespread on the territory as in America. But the AWE Nite took the name and background of Florence and from there its success began. The art and the beauty have characterized this event all over the world. And each time, the organization of these events requires a lot of commitment from an organizational, graphic and online promotion point of view.

    AWE Nite Florence – Cecilia Lascialfari & Antony Vitillo

    The first AWE Nite Florence was built in January 2021 and to date we have made 9, all of them with great success. Over 30 Italian and foreign professionals were involved during the AWE Nite Florence. They were advertised in the AWE newsletters and published on the AWE youtube channel as well as within the AWE.live application. Find below the list of AWE Nite Florence with titles and reference links.

    AWE Nite Florence – A playlist by ARea6DoF Channel

    AWE Nite Florence continues to be “a work in progress”.


    Now we can work and attend events in virtual worlds using web apps on our mobile devices or headset. Doing so we are able to reduce CO2 emissions. Can the metaverse really be sustainable?

    During the last AWE USA 2022 Ori Inbar, he announced a prize for 2023 of $ 100,000 to those who will be able to present the best project in XR for the fight against climate change. Could it be a good incentive for the sector? Or will this be judged as a new publicity stunt?

    I am in contact with many people who are part of the XR community and we often talk about climate change and how much online conferences contribute to reducing the impact on the environment. Sometimes someone raises the question of organizing events in person versus online ones. Why do we continue to hold such expensive and environmentally polluting events in the presence, if they could all be done online, practically zeroing costs and with minimal pollution? I believe the answer to this question lies in the fact that new technologies have not yet made it to the mai stream. The communities that deal with this sector internationally are growing at an impressive rate (AWE, GatherVerse, Virtual World Society, VRARA, to name a few of the most well-known names), but still the common user does not have a headset at home that allows him to experience Virtual Reality in full autonomy. There is still a need to physically approach new technologies. It is not enough to turn into an avatar and join an online conference. We need to know the people with whom we make agreements online, or with whom we carry out projects online in reality and I believe that this necessity necessarily leads to the realization of events in presence. Let’s talk about business and perhaps, only later, about personal friendships.

    MMM GatherVerse.live
    – Opening by Cecilia Lascialfari – July 2022

    As for the “Metaverse” and the use that everyone is making of this word, I bring here a lesson that the web has given me. The word itself was coined by Neal Stephenson, who described it in his book “Snow Crash”, a science fiction novel published in 1992. It was adopted in an elite, nerdy, high-tech environment, but then it reached the mainstream through the Facebook social platform, and was therefore thrown into the hands of ordinary users, when Mark Zuckenberg decided to revive the fortunes of his company (overwhelmed by scandals such as that of Cambridge Analytica in 2018 )  by changing his name and taking the right to have half of the word “Metaverse” how his property.

    Like a hegemon, he announced to the world that “Meta” would be the new name of his group of companies. All this with the aim of improving the fortunes of a platform and of an entire company  declining. Did Mark Zuckerberg succeed in his goal?

    Communities weren’t happy with this announcement. And from that moment, the word Metaverse began to deviate from the golden path in which it was directed. And by the mere fact of not being a word that defined something physically or with strict rules, it was misunderstood and the mainstream started using it as if everything technological could be attributed this terminology.

    Great professionals in the sector immediately moved away from this definition which changed its way of use, finding the “wow” effect linked to advertising marketing and absolutely not wanting to associate this word with their work. But the Main Stream will still prevail.

    Now the word Metaverse is in common language and even if the uses made of it are often wrong, marketing will not give up this definition, as the presentation of something futuristic not well defined, which is linked to the future and to the communities of technology professionals.

    Since that moment the mainstream has known the word “Meta” and has wondered what the “Metaverse” was and a general chaos has begun on the meaning of this word. If “Facebook” is now called “Meta”, if “Meta ” derives from the word “Metaverse” and if I am a Facebook user, then the Metaverse is something close to me. And since there are no rules, the world has begun to attribute the definition of Metaverse to anything, to the irritation of the communities of engineers and developers, fathers of this “word”.

    To conclude this part on sustainability, I am sure that technology has a duty to seek sustainable solutions. We should start thinking differently from how we have always thought, breaking the mold, not looking for solutions to what cannot have solutions but significantly changing the way we approach these things or our way of life. But we should have such a detachment that only those who do not pursue money or the desire to become the “first” and best, will be able to find the solutions that the world needs.


    I read in your LinkedIn profile that you started a new project: “Flying into the metaverse through books & culture” with the aim to open a cultural channel in the metaverse. I’m following it and i find it very interesting. Can you please tell us something more? What the goals?

    “Flying into the Metaverse through books & Culture” is a project that was born in May 2022 in collaboration with AWE aims to highlight the cultural trend already present in the Metaverse, highlighting studies and research carried out by professionals in the XR field who have been working on the development of new technologies and have seen the evolution of the technology sector from when Virtual Reality was still something unknown, to get to the birth of the Metaverse and the approach of these technologies of the highest level, towards the mainstream.

    Flying Into The Metaverse Through Books & Culture – Presentation of the project by Cecilia Lascialfari

    Because if it’s true that technology goes very fast and that news as soon as it comes out on the market in a few seconds becomes something “old”, it’s also true that books and events have been written in this sector and the various communities around the world are developing more and more, with the aim of finally reaching a compromise with the public that still knows this world with.

    I realize that the book is static and the Metaverse is in constant motion, but now there is a part of the history of the XR world, which must be written in the books precisely because it is consolidated and outdated.

    If you think you have left important footprints in the XR sector, write to me in the form that you can see on https://area6dof.com/flying-into-the-metaverse-through-books-and-culture/  and present your research, your book, or your project. Because this is a space that wants to make each of you number one, at least for the duration of a video interview.


    GATHERVERSE with its big community joins the project “Flying into the Metaverse through books & Culture” in June 2022 and helps to guarantee the project.

    GatherVerse.Live – Channel of Cecilia Lascialfari



    What role could women play in the construction of the metaverse?

    Women play a great role in building the metaverse. Women have a different point of view of analysis, of vision, of concreteness compared to men. But even in this sector they suffer from an initial judgment that only highlights their aesthetics.

    Women must be women. Women don’t have to be afraid of being themselves.

    Cecilia Lascialfari at AWE USA 2022

    Women need not be afraid to show what they are. They don’t have to stop at aesthetic judgments about their beauty. They must not hide their beauty as women and must demonstrate that in addition to the attractive aspect of being a woman, there is a great work contribution to the XR world.

    There is this belief that the world of technology is made by men for men. Ada Lovelace Byron, Hedy Lamarr, Karen Spärck Jones, Katherine Johnson, Margaret Hamilton, Grace Murray Hopper, Adele Goldberg, Sophie Wilson, Helen Greiner, Anita Borg, Maria Gaetana Agnesi, Fabiola Giannotti, Linda Hill, Samantha Cristoforetti, etc. are just a few names of women who have helped technology get to where it is today.

    A very interesting movement is that of XR Women, born during the Covid 19 pandemic, a movement founded by women, with which I am currently in direct connection. What the women of XR Women are doing is a great job of organizing and helping the women who work in the Metaverse.

    This can be read on their website:
    In the fall of 2020, Karen Alexander, Sarah Klein, Sophia Moshasha, and Julie Smithson set out to fill a gap in the broader XR community.  After a brief planning period, they launched their first XR Women Meeting in November of 2020 in iLRN’s Virbela campus. Much to their surprise, an overwhelming number of women showed up. Those women have become core members and have invested their time, skills, and energy to helping this community grow. Nearly a year later, XR Women is one of the most active, far reaching women’s organizations within the industry. Membership and team continues to grow and they are honored to host an inclusive space for all in the metaverse.”

    There is a long way to go for women in XR, but movements like this certainly speed up the implementation of innovative ideas from women that would otherwise not emerge.


    Do you have any advice for women who wish to follow in your footsteps?

    The path that a woman must take to be able to express herself and emerge in society is not easy. The stereotypes of the culture within which we live must be overcome. The world is still a place where the will of men prevails over that of women. Where you fight for the affirmation of yourself and where the ambiguity of being a man or a woman is coming forward in an overwhelming way, in order to be able to break these archaic patterns. I struggled to be able to understand what my path was and above all what my role was. The XR sector is not the first major project in which I participate.

    For 15 years I had the opportunity to get to know Africa, in particular the French Congo (Brazzaville, Pointe Noire). I visited it and lived with my African family (both in Africa and in Italy), in a very empathetic way. I studied Africa during the years in which I deepened my studies in painting at the Academy of Fine Arts and graduated with a thesis that selected some of the best contemporary African artists known nationally and analyzed their art. A 2005 project of mine involved Esther Mahlangu and the Ndebele Women, and involved painting the exterior walls of the former Nelson Mandela Forum. Palazzetto of Florence. The project was carried out in 2005 with contributions from the Municipality of Florence and those of the Nelson Mandela Foundation in South Africa. Today the external walls of the Nelson Mandela Forum in Florence have the colors of South Africa.

    The in-depth knowledge of Africa, of African culture and all the experiences of struggle that I have lived in recent years (social affirmation of people whose diversity was mainly given by the color of their skin, wanting to share my life with an African man, l ‘having had a mulatto child, the little struggle with friends and relatives to affirm my points of view) have stimulated in me a great open-mindedness, free from preconceptions that sees the person for what he is and identifies the different culture as an added value and not as a difficulty.

    When during the pandemic of Covid-19, I realized that paths and possibilities hither to impossible to reach were opening up, (like going physically to America), I changed course and used my research and study experience in a new sector, that of new technologies.

    And I’m only starting to see the fruits of my work now in 2022 after years of work.
    I know people who have been working for over 10 years in this industry, which looks like it is going to explode and hit the mainstream at any moment, but even if this is happening, it happens very slowly and gradually.

    I believe that the right word to pursue in order to go further is “evolution”.
    Never stop, never think that the solution is to make situations static and still.
    Constantly trying to stay in balance helps you shape your knowledge and adapt it to what’s new in your life.

    The sector of new technologies has allowed me to seek an adaptation of my skills and abilities to something that always presents itself with a more advanced development.
    You don’t have time to learn how to use a certain type of technology that you have already passed it.

    So, my most heartfelt advice is not to recline and always have your backpack ready with the essentials to start a new adventure.
    At any moment of our life there can be earthquakes that revolutionize everything.
    But what can be born after an earthquake can be extremely beautiful, as nature itself shows us.

    For everything that happens there is an explanation and for everything that happens (good or bad) there is personal growth.

    Right now the XR sector is the one in which I feel most comfortable, but it is not necessarily the last in which I will stop. I’m definitely trying to learn everything I can, with a lot of respect and humility by comparing myself with professionals who have been studying and working on really important projects for a lifetime.

    I feel very fortunate to have had this growth opportunity.
    And I am grateful for my tumultuous life to be here today writing these words.

    So my advice for women who want to take new paths is just this:
    “Cry if you have to, Breathe, Take care of your interiority and your exteriority, Follow your instincts, Be grateful to your life for taking you where you never thought you’d be able to go (and think that maybe you’re just at the beginning!)”.



    My path is artistic and when I enrolled at the Academy of Fine Arts in Florence, I was given tools with which I could develop my creativity. And to do so, I went through all the manual phases of the artistic sector: drawing, painting, sculpture, engraving.
    After completing the Academy I had to find a job similar to what I had studied and graphics were the new means to give life to my creativity. The study of software, the mouse and digital pens were my new tools, together with the graphic tablets, my new canvases. 

    From Painting to Virtual Reality by Cecilia Lascialfari

    I didn’t fall in love with these new media and instead found a new tool for expression in video editing. The Italian culture that belongs to me is full of content, beauty, poetry and passion. The combination of multiple media with the visual movement of images, including music, led me to deepen the video aspect

    I got to know painting in Virtual Reality, but even today, I remain cold and detached from this medium, because I find that the viewer’s point of view changes.

    Traditional painting leads you to analyze something that the artist wants you to see from a specific point of view: the viewer in front of the painting. VR painting, on the other hand, allows the viewer to enter the painting and look at the image from points of view that were previously not possible. But the way in which the viewer experiences the emotion in looking at the painting is no longer guided by the artist.

    In VR painting the artist loses sight of the viewer who can get to see things that the artist didn’t even know he had created.

    Also, we would need the controllers, which replace brushes in VR, to have a more brush-like shape in reality as well.

    I find that a further step must be taken in the development of VR art before it can satisfy artists who get their hands dirty with colors in reality on a daily basis. But I do not exclude that it is possible to arrive at this too.

    If I enter the world of new technologies it is only because I am looking for a new method that allows me to express my creativity with the emotion that painting a picture in the real world gives me. The move to digital is necessary.

    We must follow the water of the river and experiment with new techniques, always looking for what can give us an extra emotion for our creativity, in the most beautiful and satisfying way possible.

    I don’t have the solution in hand yet, but I’m sure that where I am is an interesting way to go and to be grateful for.

  • Storie in XR: Stephen Black e Sayuri Okayama

    Conoscete il progetto narrativo Storie in XR e social VR ? Nato lo scorso agosto con il fine di far conoscere i professionisti che lavorano e vivono nel Metaverso attraverso le loro storie parla di esperienze in XR e mondi immersivi, di tecnologia e di sperimentazioni. Oggi incontriamo due artisti in un’intervista duplice, Stephen Black e Sayuri Okayama. Ho seguito uno speech di Stephen Black in occasione di un panel organizzato da Katherina Ufnarovskaia per da VR/AR Association dal titolo: “Bubiko foodtour: at the intersection of art, AR and food”. Da allora siamo entrati in contatto e mi sono appassionata alla loro storia che parla di tecnologia, food e tanta arte.

    Nessuna descrizione alternativa per questa immagine

    Chi è Stephen Black / Who is Stephen Black

    Stephen Black è un artista e produttore in realtà aumentata, scrittore e regista in spatial film. – Stephen Black is an AR Artist/producer, writer and OARC’s 2022 spatial filmmaker.

    La duplice intervista è in lingua inglese. Enjoy!

    When have you approached AR? Do you remember your feelings? Please tell us your first experiences.

    SB: The first time I saw AR being used was at the National University of Singapore in about 2003. What I saw was very simple; when a tablet was held over a couple of colored blocks, some text appeared. It was explained to me that AR is something like a QR code, but with more possibilities.

    SO: I had heard about Pokemon Go, but never tried it. The first experience with Bubiko and AR took place in Chiang Rai, Thailand where we used a simple AR app byHewlett Packard and were assisted by a boy about 10 years old who was really clever.In Hong Kong and Shenzhen I saw other people’s projects, many of which were demos. But I would say that the 19 Crimes wine label and app was the first AR experience that really brought everything into focus as it was simple, impactful and easy to use.

    In 2012, Stephen worked with Eugene Soh on a project called SPOKEN, which was a virtual gallery. They showed the works of many artists and it seemed  very interesting. But it was short-lived and this made me feel a bit strange. There was so much work involved and so many interesting artists but so little public response. And there wasn’t any discussion at all about money. Now I see that it was ahead of its time, and how it connects with what is being called the metaverse. Now I understand about how AR and VR are examples of spatial computing, but I am not very good with technical topics.

    Is the XR useful for an artist to express his art? Do you prefer AR to VR?

    SB: Although I have a long career as an artist, and have been focused on AR since 2015, it was only last year that I could finally begin to work with GeoPose AR in a purely artistic and conceptual way.

    One project was simple: A Flock of Bagels, in which bagels swirl from the ground upwards, accompanied by a soundtrack by Antonello Arciuli.

    Another project, Snake Lighter, was a collaboration with Daniel Bainbridge, a New York-based sculptor. We experimented with scanning his sculptures and eventually settled upon a piece called Monkey Mop Boy, which was something like a mask. Once I had the 3D model, I used it to form patterns which then became part of a site-specific installation. I must mention the technical support we received from XR Masters, Augmented.City and Scandy. This leads me to information that answers your question: there are many technical issues to be resolved when making art with XR. 

    Is XR useful for artistic expression? Yes, most definitely.

    However the technical and financial aspects can be significant. VR is even more challenging. For me, the biggest challenge for both is that 3D models are required. I cannot yet make a simple 3D model, let alone a complex one. 3D model makers are artists, so my projects are always collaborative. And if the models are to move, there are artists who specialize in making motions. Again a collaboration!  I should mention that  with Bubiko we are using motion capture to make Bubiko’s motions more natural, and this is being done with the help of Mad Marker, building upon the work of Novaby who really helped us with the initial 3D realization of Bubiko.

    I read that you have been researching and testing spatial cinema ideas since 2016. How did you approach this technology?

    SB: I must mention that, from 2002-5 I was the creative director for an educational 3D game making startup in Singapore. So there I learned about spatial computing, which is the “parent” of VR, XR and AR. Unfortunately the CEO of that company, and my friend, passed away suddenly- on the day of our launch! Many possibilities vanished with his passing.

    To make a long story short, when the Oculus was released in 2015, I took that as a signal to enter into the world of spatial computing.

    But I am not a programmer. I began to act upon ideas for a VR startup that I had been developing. But when I looked at the production costs and numbers of users for VR, and then compared them to what was being planned for AR, it felt natural for me to ficus on AR. Everyone mobile phone in the world can display AR, and  because we use reality itself as a background, it can be much less expensive to create dynamic AR experiences.

    Initially, the only choice was to read, study, network and learn as much as possible about all kinds of AR. I knew that I wanted to tell stories using my background as a filmmaker, but was not sure how this would be possible. I also thought there would be interesting AR possibilities for dance and performance art.

    Let’s talk about Bubiko’s project. Bubiko was a co-creation between you and Sayuri Okayama. When and where did you meet and start working together? Can you explain your project?

    SB: Sayuri and I met in 2011, but we decided to become involved with AR in 2016. Although we were living in Bali, we suddenly encountered visa complications, and made the decision to become digital nomads, researching both the food of Southeast Asia and the possibilities of AR. We were in Kuala Lumpur when we made the first paper version of Bubiko and took her to a food fair. We photographed her as a way to visualize what it would be like when she was a proper 3D model being seen in AR. Eventually, our networking and collected knowledge led to a presentation at Sasin University in Bangkok. Some time after that I gave presentation and workshops at Hong Kong PolyU and in Shenzhen. In January 2019, the Bubiko project was invited to MIT for the first time.

    Bubiko in Blimp

    Now, thanks to the support of many people, Bubiko is an active pioneer in the world of GeoPose-based AR. She starred in historic short film made with GeoPose AR. She is still very “underground” but she is moving towards becoming a start of spatial cinema, with a strong connection towards healthy food oaf all kinds, especially those of Southeast Asia. And yes, she is experimenting with an NFT.

    SO: I decided to work on AR with Stephen because we were in a very unusual situation with a lot of uncertainty. AR seemed like it would be a constant, a goal. I thought that AR would be interesting when we thought of the Bubiko idea.

    Stephen had been speaking with a VC about a VR project and there was funding that was being seriously discussed. But then, unexpectedly, we had a visa issue to solve and when that was finally settled, Stephen started showing me information about AR. 

    It seemed like AR would become very popular as all that was needed was a phone. We decided that AR would be a better choice, because it seemed like it would be easier to create content  than VR, and for  a bigger audience. This was before ARKIT and ARCcore were released. When these two platforms were released we felt we made the right decision.

    My background is in hotels and travel so we decide to work with these ideas and Stephen combined his art background and experiences with Cartoon Network, and we just lept into the AR world with Bubiko Foodtour.

    We were very clear about an idea we called “tabletop cinema”. We envisioned Bubiko appearing on a table, combining education and entertainment. We weren’t exactly sure how this would be possible, but we just kept researching food and AR. You can see some of our progress on Bubiko’s Instagram account. At first we used paper dolls, then thanks to Novaby and Flamingo Filters, we were able to start putting Bubiko on tables and elsewhere.

    Chinatown mural
    Chinatown mural dim sum zodiac Bubiko

    I should say that Stephen and I have been apart because of Covid, which makes things very challenging as I cannot leave Japan. But still we were able to create Bubiko: First Flight, a short film in which Bubiko flies through Bari, Italy and a nice little cafe. The film has been called as historically signifiant as the world’s first website.

    We just take one day at a time. We have gone far with no funding. We are looking at NFTs. DAOs too. Bubiko is ideally positioned for the metaverse: AR and VR.

    What are 3 words you would use to describe Sayuri? Tell us why you choose them. And what’s about yourself?

    SB: I would say Sayuri is detail oriented, cautious and creative.

    Detail oriented: because she excels at planning our trips and projects.

    Cautious: because she is inherently shy as well as extremely concerned about preventing mistakes from happening. She does not automatically say “no” to new ideas, but will ask a lot of questions before she feels comfortable acting upon them.

    Creative: Sayuri’s creativity and sensibility have made Bubiko’s appearance and mannerisms believable and charming. As we begin to work more with photos, videos and edutainment projects her creativity will further be on display.

    For myself, I would say that I am lucky, hardworking and unexcitable.

    Lucky because my backgrounds as an artist, photographer, filmmaker, producer and writer are now interacting and being fully utilized as I explore the new worlds of AR and VR. I am also especially lucky toe surrounded by so many positive and supportive individuals, organizations and companies. Sayuri and I are not with a big company, nor associated with a university nor receiving grant money; we are self-funded in a world where that is extremely unusual.

    Hardworking: Sixteen hours a day, or more.

    Unexcitable. I cannot say I am truly patient. But whether things are going great or terrible, I think I still plod on. When things go well, hopefully that is the result of the hard work and planning. When something bad happens, I know that that is a part of life and should not be cause for prolonged unhappiness.

    In 2020 you created in Bari a spatial cinema experience called Bubiko: First Flight. “ and you worked with Augmented.City. How did this collaboration with Katherina Ufnarovskaia start?

    I was invited to speak at the 2020 VIEW Conference in Turin, which is a remarkable event devoted to animation and motion graphics. In order to really showcase the potential of GeoPose AR, I wanted to make an AR installation in the venue, the OGR, which is a renovated train station. The idea was to have Bubiko flying around signs, videos, balloons and festive, VIEW-related 3D models.

    However to do this, I needed technical support and more. I asked Jan-Erik Vijne, the Managing Director of the Open Augmented Reality Cloud, if he had any suggestions. He suggested Augmented.City, who are doing pioneering AR work in Bari, Italy. I first spoke with Vladimir Ufnarovskii, Katherina’s partner and soon we had a plan to prepare for the OGR.

    Turin menu
    Bubiko Turin menu

    However, Covid  caused a few complications, and the physical VIEW was cancelled. But I was already in Italy, and so the decision was made to create something with the brand new AR testbed that AC made. Suddenly I was learning how their AR system worked, storyboarding, working with Novaby to create a blimp  for Bubiko, looking at locations, and so much more. In less than two weeks we had  the basics of a short film made with AR, a film which has been said to be as historically important as the world’s first website. Have a look at this video.

    You wrote the “Bubiko Foodtour’s Unusual Guide to Augmented Reality” as an introduction to AR technology. Why did you decide to write a guide?

    I could talk at length about my writing and publishing experiences. But to keep it short, I wanted to create a publication that would allow me to connect to AR practitioners. I made it very clear that the book would be outdated almost immediately, and that anyone who bought it should contact me  for the latest version, the most recent update.

    Because I did not do marketing, I did not expect any sales. And this has proved to be correct!  This does not make me unhappy! It means that now, if anyone does buy  that book and writes to me, I will be forced to update it. And this  will make me happy, because it will mean that I can create a version which is based on both on my recent real life experiences, as well as the latest developments in all of AR, not just GeoPose.

    Next October VIEW CONFERENCE 2022 will return in Turin. If you were there which project would you present?

    If I would be invited, I would share the results of the following projects: Snake Lighter, Flock of Bagels, Soda Bread in Time and Space, and, the latest AR adventures of Bubiko.

    It would be wonderful to install these in the OGR.


  • Storie in XR: Joris Jaccarino

    Le storie in XR continuano nel 2022 e ampliano gli orizzonti con nuove idee e sviluppi. Oggi si dedicano all’arte in realtà aumentata con un manager culturale, Joris Jaccarino che ho conosciuto grazie a LinkedIn. Era l’anno 2018 e il mio Google Day sull’XR organizzato a Google Italia grazie a Work Wide Women era alle porte. Per fare un po’ di promozione pubblicai un post sul seminario in LinkedIn, parlando della mia passione per la realtà estesa e dei casi studio che avrei analizzato con i partecipanti. Incuriosito dal mio post, Joris mi contattò per presentarmi MAUA – Museo di Arte Urbana Aumentata-.

    In quei giorni si trovava a Torino per avviare un nuovo progetto in AR ed organizzammo di trovarci alla caffetteria della GAM (Galleria Arte Moderna). Restammo a chiacchierare a lungo di AR, di cultura e di progetti in XR, sorseggiando un caffè. Rimasi affascinata dal MAUA non solo dal punto di vista artistico, ma soprattutto per l’impatto sociale che poteva avere sui giovani. Da allora non ci siamo più persi di vista.

    Chi è Joris Jaccarino

    Joris Jaccarino è regista, curatore e manager culturale. Laureato in Filosofia, ha unito le sue ricerche nei campi dell’arte e del linguaggio dell’immagine a metodologie partecipative di co-creazione, gestendo dal 2009 il laboratorio di sociologia visiva e del cinema per l’Università Statale di Milano. Nel 2014 co-fondatore di Bepart – the public imagination movement, che si occupa di realtà aumentata a favore dell’arte negli spazi urbani.
    Si occupa principalmente di ideare, sviluppare e curare progetti di arte pubblica e partecipativa.

    La storia di Joris

    Scopriamo insieme com’è nato l’amore di Joris per l’arte e la realtà aumentata. L’ho intervistato per voi.

    Foto di Joris artista

    Ciao Joris, mi puoi raccontare quando e come ti sei appassionato di realtà immersive e soprattutto di AR?

    Fin da piccolo ero stregato dalle immagini, mi affascinavano la fotografia e la sua capacità di raccontare ed evocare storie, il cinema e la sua forza di portarti in altri mondi e il teatro per il suo coinvolgimento fisico ed emotivo.
    Nella realtà aumentata e nelle tecnologie immersive ho visto in potenza molti di questi elementi e ho voluto provare a elaborare il linguaggio artistico e creativo di questi nuovi strumenti

    Ci sono degli episodi che hanno segnato il tuo percorso e che vuoi condividere?

    Sono figlio di una scultrice e un pittore, ho vissuto fino ai quindici anni in Argentina dove i miei genitori hanno fondato Willaldea con la Comuna Baires, una comunità teatrale che accoglieva attori e artisti provenienti dalla capitale, dall’Europa e dal Nord America. Ho frequentato le scuole argentine in un ambiente variopinto tra arte, pittura, natura e teatro.

    Joris in Argentina

    A 16 anni, nel ’95, siamo tornati a vivere in Italia, a Milano, a causa della crisi economica che ha colpito il paese sudamericano in quegli anni. Mi sono laureato in filosofia alla Statale di Milano; nel frattempo frequentavo corsi di
    fotografia e cinema e studiavo il linguaggio dell’immagine, creando una mia personale poetica visiva.
    A Istanbul ho creato video assieme ai ragazzi dei quartieri periferici; a Roma ho fatto l’assistente alla regia, a Milano ho fondato il Laboratorio di Sociologia Visiva all’Università Statale. Nel tempo ho curato la regia di cortometraggi e documentari.
    Nel 2014 ho fondato Bepart, che si occupa di realtà aumentata applicata all’arte negli spazi urbani, da lì ho iniziato a ideare, progettare, coordinare e realizzare progetti che combinano fisico e digitale, narrazioni, partecipazione e arte pubblica.

    Mi ha colpito il tuo percorso che dalla laurea in filosofia arriva alla realtà aumentata. Come si coniugano una materia classica con la tecnologia immersiva?

    Filosofia e tecnologia convivono in me come la ricerca di un “giusto” equilibrio tra l’umano e la tecnica. Con gli occhi speculativi della filosofia ho iniziato a guardare il fenomeno nella sua complessità e sopratutto ho imparato a progettare, ovvero a guardare in maniera strutturata e problematica verso il futuro.
    In parallelo, avevo la necessità di sperimentare, di “sporcarmi le mani” nel fare. Ho così portato avanti questo doppio binario: quello del “sapere” della ‘sofia’ e quello del “fare” della tecnica, l’uno e l’altro si sono intrecciati e
    scambiati linfa vitale. La visione d’insieme, complessa ed etica della filosofia si è scontrata con l’esperire e si è incarnata attraverso l’emozione, l’errore e la pratica. Questa ricerca è tutt’oggi viva quando creo o realizzo dei
    progetti, è una continua ricerca ansiosa e preoccupata di un equilibrio responsabile e sostenibile in cui al centro ci sia l’essere umano.

    Nel 2014 sei stato uno dei fondatori di Bepart – the public imagination movement, che si occupa di diffondere la realtà aumentata a favore dell’arte negli spazi urbani. Com’è nata l’idea?

    Eravamo un gruppo di amici provenienti da mondi differenti, con la voglia di metterci in gioco e di fare progetti artistici per le città. La AR ci ha affascinato per la sua natura interdisciplinare, in cui possono convivere la pittura, la scultura, la fotografie, il video e la narrazione legata a spazi e oggetti fisici, il tutto in un unico medium.

    Questo connubio ci ha permesso di sviluppare un nuovo linguaggio espressivo e di modificare i paradigmi delle esperienze di fruizione degli spazi urbani. L’ambiente percepito e quello digitale si sommano e convivono, permettendo utilizzi in differenti ambiti dall’educazione all’intrattenimento, dalla formazione alla progettazione; Bepart è questa voglia di sperimentare e provare… e creare comunità. Ad ogni progetto, infatti, si crea una comunità provvisoria che lascia in eredità delle relazioni forti.

    gruppo di Bepart
    Foto di gruppo Bepart

    Maua è un progetto di museo diffuso in città totalmente diverse (MAUA di Milano, Torino, ecc.) con un impegno davvero importante di coinvolgimento dei giovani dalla scelta delle opere da aumentare allo studio e alla realizzazione. Quale città ricordi con più piacere?

    Mi sono affezionato molto alle città e alle persone con cui abbiamo realizzato questi progetti. L’impegno per realizzare un MAUA – Museo di Arte Urbana Aumentata – è molto grande, richiede tempo, esplorazione, studio e il supporto di tanti partners locali. MAUA è una forma di museo in cui la città è il luogo d’esposizione, in cui la curatela è dei cittadini stessi, sono le persone che se ne prendono cura e si impegnano a portare bellezza e generare interesse negli spazi pubblici.

    Il MAUA è stato realizzato a Palermo, Milano, Torino e Waterford (Irlanda), ha coinvolto oltre 500 creativi e artisti che si sono occupati dell’ideazione e della realizzazione dei contenuti del museo. L’insieme delle opere di street art, delle opere digitali e dei territori tracciano nuovi “percorsi aumentati” prenotabili dal pubblico attraverso la piattaforma. Si tratta di un’esposizione che esce dal classico spazio museale e si addentra nelle strade di un paesaggio urbano che ha le sue storie da raccontare.
    Realizzare un MAUA significa dunque scoprire la città, conoscere tante persone e cercare l’origine delle storie dei muri e dei suoi cittadini. Mi è difficile sceglierne una, perché di ognuna mi porto nel cuore i volti, le sue opere e le sue atmosfere.

    vista dall'alto
    Vsta con drone

    Hai qualche episodio che desideri narrarci?

    Durante il workshop del primo MAUA di Palermo conobbi l’artista australiano Chips Mackinolty, un veterano della poster-art internazionale. In quel periodo stava lavorando a un grande progetto creativo nell’antico mercato della
    Vucciria, nel quale con dei poster riproponeva sui muri e sulle strutture delle bancarelle la frutta, la verdura e i prodotti tipici oramai spariti dal commercio.
    Le sue opere, analogiche e materiche, riuscivano però a richiamare e anticipare la realtà aumentata; guardare alcuni suoi lavori alla Vucciaria mi faceva pensare che lui fosse un antesignano di questa tecnologia.
    Partecipò al workshop di realtà aumentata con grande curiosità, ma ciò che veramente mi colpì fu che un uomo di sessant’anni decidesse di mettersi in gioco con la realtà aumentata riuscendo a collaborare con una giovane
    creativa. Era una situazione molto buffa, due mondi agli antipodi che si incontravano, tra analogico e digitale, giovane e anziano, emisfero australe e boreale. Avevano metodi e visioni molto differenti, ma erano attratti dalla differenza dell’altro e seppero ascoltarsi profondamente. Mi affascinano coloro che continuano ad avere il coraggio di mettersi in
    gioco, di non dare mai nulla per scontato, neppure di se stessi.

    artisti Bepart
    Gruppo di Palermo

    Parli spesso di arte o processi partecipati. Puoi spiegarci meglio?

    È una nostra cifra stilistica. Molti dei nostri progetti prevedono processi partecipati in cui i cittadini vengono coinvolti sin dalle fasi progettuali, facendo in modo che siano attori protagonisti. Per noi rappresenta un nodo importante per avvicinare maggiormente le persone alla cultura e all’arte, in questo modo l’appropriazione della bellezza della città avviene già in fase di creazione del progetto. Cerchiamo sempre di coinvolgere anche le fasce sociali più deboli o ai margini, per favorire la fruizione culturale di tutta quella fetta di popolazione che generalmente non frequenta i musei o spazi culturali.
    Il nostro intento è quello di dare la possibilità di un incontro reale, strutturando processi ragionati che coinvolgono attivamente e fanno discutere e riflettere. Nel prendere parte attiva alla creazione, si generano vere opportunità ‘di fare cultura’ e si legittima la capacità di sognare di ognuno di noi e di progettare il mondo in cui viviamo.

    Foto di Joris
    Joris e cupido

    Perché un giovane artista dovrebbe scegliere la realtà aumentata per esprimere la propria arte?

    L’AR crea uno spazio ibrido dove reale e virtuale convivono in un unico ambiente del quale è difficile definire i confini. Digitale e reale si fondono dando luogo ad una nuova sintassi, una nuova struttura logica, nuovi schemi di pensiero e di associazioni di idee. In questo ambiente ibrido le leggi della fisica sembrano sparire e lo spazio viene gestito dalle logiche dell’emozione; il visivo non è più solo immagine, ha caratteristiche simile ai sogni o alle allucinazioni in cui reale e fittizio convivono nello stesso spazio visivo, sostanzialmente ha il potere di far emergere l’invisibile.
    Questa tecnologia è portatrice di un nuovo linguaggio e, come ogni linguaggio, possiede una sua grammatica e una sua struttura che crea pensieri. Come ogni tecnica possiede, utilizza e scopre le possibilità del linguaggio che sperimenta, diventa cioè un modo di indagare il reale e di “sognare” il futuro del presente.

    Che cosa significa diventare un ‘bepartist’?

    Gli artisti e i creativi di oggi utilizzano sempre di più questo linguaggio ibrido tra fisico e digitale. Noi mettiamo a disposizione le nostre applicazioni e il nostro team di sviluppo per programmare e realizzare le tecnologie secondo
    le esigenze progettuali o degli artisti. In questo modo gli artisti possono concentrarsi maggiormente sulla loro opera ed essere affiancati da un team di professionisti per lo sviluppo dell’infrastruttura tecnologica.

    Quali sono i progetti futuri di Joris?

    Stiamo iniziando un progetto molto interessante e ambizioso in collaborazione con il Museo Nazionale della Scienza e della Tecnologia Leonardo da Vinci: ora stiamo chiudendo la prima fase che è coinvolgere nuovi artisti. Abbiamo appena pubblicato una call for artists che scade tra pochi giorni, qui il link e le modalità per applicare.
    A questo seguirà una residenza artistica per la produzione di una mostra diffusa in realtà aumentata sui temi e le opere di Leonardo.

    Progetto la visione di Leonardo
    Progetto la visione di Leonardo

  • Storie in XR: Artematiko

    Le storie in XR e social VR proseguono con un artista, Settimo Marrone, aka Artematiko, che ho conosciuto agli incontri di Pyramid Cafè in AltspaceVR. Vi ho già parlato del founder, Francesco Spadafina e degli eventi MagicFlute Show. Un giorno Francesco mi contatta in chat, dicendo di essere stato invitato da Artematiko come speaker a un evento della Cappella Orsini di Roma e di volermi coinvolgere. Spesso si pensa che i mondi di social VR siano legati solo al gaming, a mondi effimeri e poco concreti. In realtà posso dimostrarvi che mettono in contatto artisti, professionisti, sviluppatori, ecc., creando connessioni e legami reali e di grande interesse.

    Telefonate, chat e due speech in modalità phygital si sono susseguiti. In quei giorni alla Cappella Orsini di Roma si svolgeva una doppia mostra – virtuale e reale- con la partecipazione delle opere in realtà aumentata di Artematiko dal titolo: ‘Dalle Maschere Rituali a quelle Virtuali‘. 

    Il 10 febbraio abbiamo tenuto in forma ibrida il primo speech dal titolo ‘Comunicazione virtuale e stili di vita‘. Ecco una schermata dell’evento a cui ho avuto il piacere di partecipare.

    Evento alla Cappella Orsini dal titolo ‘Comunicazione virtuale e stili di vita’

    La collaborazione nel mondo reale è continuata con un secondo speech, sempre alla Cappella Orsini, dal titoloCosa c’è oltre Zoom. Modalità efficaci per la comunicazione online‘. Colgo quest’occasione per ringraziare Artematiko e il dr. Roberto Lucifero, antropologo e direttore artistico della Cappella Orsini.

    Dopo questa premessa, nella quale vi ho narrato com’è entrato nella mia vita professionale Settimo, veniamo alla storia che desidero condividere con voi.

    Chi è Settimo Marrone aka ARTEMATIKO

    Settimo ama presentarsi nella sua biografia come: un artigiano dello spettacolo, che produce spettacolari contenuti visuali, video e audio.Potrei definirlo uno sperimentatore o se preferite, facendo riferimento agli archetipi junghiani, un ‘esploratore’.

    La storia di Artematiko

    Scopriamo insieme com’è nata la passione di Artematiko per la realtà aumentata e perché ha scelto questo nickname. Una storia che risale al lontano 2009, ma non vi anticipo nulla di più, perché vi lascio all’intervista. Troverete spunti davvero interessanti, perché dietro gli avatar e le opere in extended reality (XR) si celano artisti e professionisti di grande spessore.


    Artematiko raccontaci quando ti sei avvicinato per la prima volta alla realtà aumentata.

    Grazie per quest’occasione di raccontare un tipo di arte così effimera eppure così pervasiva ed emozionante.
    Ho cominciato ad approcciarmi alla Realtà Aumentata intorno al 2009. In quel periodo di traslochi continui, accedere a internet era problematico. Usavo il cellulare con i 3 Giga mensili o meglio una pennetta wifi collegata ad un cavo usb di un paio di metri, per posizionarla dove potessi captare i rari segnali wifi liberi intorno a me. A volte ho anche costruito piccole parabole in cartone e fogli di alluminio, per poter meglio ricevere i segnali.

    Il bisogno aguzza l’ingegno.

    La rete mi offriva letteratura varia sulla realtà virtuale e comprenderla per impiegarla in ambito artistico e poetico era prioritario. Dopo la tesi di qualche anno prima, sul piccolo museo degli automi, realizzata con la tecnologia vrml (Virtual Reality Modeling Language) volevo saperne di più. Nella tesi ho sostenuto che con la vrml chiunque potesse costruire il proprio spazio tridimensionale online, il proprio personaggio e socializzare con altri.

    Qualche tempo dopo, in effetti, nel 2003 in America viene lanciato il primo social network sviluppato in un mondo tridimensionale online, Second Life, e sappiamo il successo di questa piattaforma che divenne un fenomeno pop.

    Nelle mie ricerche mi imbattevo in articoli piuttosto generici, che descrivevano come alcune aziende o sfruttassero le animazioni tridimensionali “appiccicandole” su dei marcatori bidimensionali (ARtags) in bianco e nero e sfruttandole per dimostrazioni pubblicitarie.
    Quella che mi colpì di più fu un’animazione della General Electric Company (GE). Bastava andare sul loro sito, inquadrare con la webcam un particolar marcatore nero su un foglio bianco (non avendo la stampante ho dovuto disegnarlo a mano su un A4), e dal disegno usciva letteralmente fuori una mini centrale elettrica solare o eolica, come un popup.
    Questa cosa la trovai magica e divertente e, visto che questa è sempre stata la linea dei miei progetti e delle mie ricerche, mi conquistò totalmente.

    animazione della General Electric Company
    animazione della GE

    Con il tempo ho fruito di applicazioni sempre più complesse, giochi come quelle prodotti per la psp della Sony: Eyepet era sicuramente la più divertente perché era possibile interagire nell’ambiente reale, con un cucciolo simile ad una piccola scimmia da accudire.

    gioco della Sony: Eyepet
    gioco della Sony: Eyepet

    Ho entrambi i dischi di Invizimals, un altro gioco per psp in cui bisogna scovare e addomesticare creature particolari, ma dopo la fase di ricerca, mi sono stufato presto: non ho mai amato addomesticare e far combattere fra di loro qualunque tipo di creatura. Sì anche quelle virtuali.

    Invizimals, gioco per psp

    Nel 2012 la Nokia diede uno scossone nel campo delle applicazioni in Realtà Aumentata utilizzando il gps del cellulare per riconoscere l’ambiente reale. Quando usci l’app chiamata semplicemente City Lens, ne fui strabiliato. Con il Lumia 920, puntando la fotocamera intorno a me, potevo riconoscere i punti d’interesse, con recensioni, distanza, altezza del piano ecc. Quindi, ristoranti, negozi, musei e quant’altro.

    City Lens- Nokia

    Solo grazie alla compagnia Autonomy della HP, sono riuscito a fare i miei primi esperimenti come creatore di contenuti in AR. La compagnia aveva creato un App nel 2011 per device mobili chiamata Aurasma (In seguito chiamata Hp Reveal), e uno studio raggiungibile da browser del computer Aurasma Studio appunto, per applicare video, immagini o animazioni ad una qualunque immagine (visual trigger) da visualizzare poi con l’app di cui sopra. Ho cominciato ad usarla seriamente solo nel 2019, insieme ad altre piattaforme per creare contenuti in AR. Purtroppo il progetto HP Reveal ha chiuso i battenti nel 2020, anche se usato come strumento educativo in alcune scuole italiane.

    Sempre nel 2019 mi sono orientato su altre due piattaforme per creare contenuti in AR, Arize e Artivive, preferendo quest’ultima con la quale collaboro ormai ancora oggi.

    Artivive è particolarmente orientata ad artisti, illustratori, eventi museali e per poter fruire del servizio di creazione di contenuti, durante l’iscrizione, bisogna presentare un portfolio con le proprie opere. Una volta iscritti, l’azienda offre la possibilità di creare tre progetti gratuiti e poi di acquistare altri. Non ricordo il costo di ogni “progetto” perché collaborai con loro per la creazione di un video tutorial in italiano e l’azienda mi offri la possibilità di realizzare ben quindici progetti.
    Ovviamente l’app per smartphone e tablet è scaricabile gratuitamente: serve solo a riconoscere le illustrazioni (i visual triggers) su cui sono applicate animazioni in AR.

    Che cosa significa per te ‘aumentare la realtà’?

    Prendo spunto dal significato ufficiale di AR, una tecnologia con la quale è possibile rappresentare una realtà alterata e non percepibile grazie ai nostri sensi, ma solo grazie a device elettronici come speciali visori. Nel mio caso basta uno smartphone o un tablet.

    Personalmente l’uso che ne faccio è quello di creare un’anima di un’opera che racconti una storia silenziosa, nascosta, che non è percepibile con i sensi, ma per scoprirla è necessario un medium, uno strumento elettronico.

    La ricerca artistica che porto avanti da tanti anni è sempre poggiata su quattro pilastri, il gioco, la poesia, l’arte e la tecnologia. Poter creare dei dipinti che, grazie alla Realtà Aumentata, riescano a mostrare la propria anima musicale in movimento, è un processo che mi ha entusiasmato e commosso.

    Volevi diventare un artista fin da bambino? In che misura ti ha influenzato la famiglia o un mentore, se ne hai avuto uno?

    Mi considero più un artigiano e da bambino dicevo di voler diventare scienziato. Da quanto ricordo, la creatività e la curiosità mi hanno sempre contraddistinto. Mi è sempre stata riconosciuta una forte propensione alla pratica dell’arte sia dai miei che da chi mi è stato intorno, con i pro e i contro.

    Ero comunque quello strano del paese. L’artista bravo, ma che comunque progettava cose inutili. Inutili come l’arte, la poesia, la letteratura, il cinema,il teatro, la musica. Insomma quelle cose inutili che poi diventano necessarie e assolute durante una pandemia mondiale o per sostenere una nazione come l’Italia che siccome “non è che la gente la cultura se la mangia” (cit.), trascura tutto il suo patrimonio artistico e culturale, riconosciuto inestimabile, ricercato e conteso da tutto il mondo (ancora per poco se continua così – vedi la trascurata Roma).

    Imparare tecniche, imparare a progettare e a esprimermi è stato un processo che non è mai finito. Non sono più bravo di altri. Ho solo una visione differente e cerco di esprimerla attraverso gli strumenti artistici che scopro o che ho adattato alla pratica dell’arte. Volta per volta acquisisco esperienze professionali in ambiti tra i più disparati, dall’artigianato al mondo del web, dalla pittura all’illustrazione digitale, dal video making alla costruzione di manufatti.

    Non ho avuto mentori che mi abbiano seguito, ma sono certo di aver avuto stima e provato entusiasmo per tantissime figure artistiche viventi o meno. Con il tempo le figure di riferimento si sono moltiplicate e gli ambiti in cui tento di esprimermi sono tanti e spesso si compenetrano: arte, musica, gioco, poesia.

    Per esempio: essendo anche scenografo ed affascinato dal virtuale, mi sarebbe sempre piaciuto collaborare alle scenografie di un video game d’avventura. Forse anche per questo nel 2000 circa ho progettato il piccolo museo virtuale d’automi e co.

    Ingresso museo degli automi
    Ingresso museo degli automi

    Probabilmente sarò un artista e anche se ci vuole molto coraggio riuscire a condividere arte con la collettività in un posto come l’Italia, non potrei fare altrimenti.

    Qual è stata la tua prima opera in realtà aumentata?

    A marzo del 2019 fui invitato a partecipare ad una collettiva, da Roberto Lucifero il direttore artistico della Cappella Orsini, una galleria d’arte di Roma. La mostra avrebbe avuto come tema Roma e i suoi Inganni a Dicembre dello stesso anno. Così ho cominciato ad elaborare il mio piano per ingannare il pubblico.

    Fu un lavoro molto intenso e ci misi tantissimo ad elaborare un idea che mi soddisfacesse. Ricordo che ad Agosto stavo ancora progettando quella che poi avrei chiamato La Cupola.

    La cupola- opera in AR
    La cupola – opera in realtà aumentata

    L’idea è stata quella di creare una sintesi illustrata della cupola di San Pietro a Roma e animarla a tempo di musica, come un meccanismo ad orologeria.

    In effetti finora, nelle opere che ho progettato, la musica fa da regia. Suggerisce e determina la maggior parte delle cose che vengono raccontate dalle Anime delle opere e mantengono il ritmo della storia.

    Una volta terminata l’illustrazione con Illustrator e Photoshop, è stata scomposta in singoli elementi e poi animati in un Vegas pro, un editor audio video. Con la cupola, scelsi anche di farne una versione a bassorilevo e trovai un artigiano che a settembre, riuscì a tagliarmi tutti pezzi con il laser, ma ho dovuto ridisegnarli per poterli poi adattare. Il risultato fu incredibilmente d’effetto. Unico problema è che il tipo di tecnologia che usa Artivive è basato sul riconoscimento di immagini complesse. Il bassorilievo crea ombre differenti a seconda dell’ambiente e proprio queste ultime vengono riconosciute come parte integrante dell’immagine. Ecco perché tutte le volte che riposiziono questa versione dell’opera devo “rimarcarla”.

    Com’è nata l’idea dell’opera ‘Sampietrini’?

    Le opere che progettato finora sono tutte degli elogi della bellezza e della meraviglia, suggeriti per la maggior parte da luoghi di Roma che mi hanno colpito ed emozionato. Tra questi posti, ci sono anche i sampietrini che creano texture incredibili.
    Fino a prima di Sampietrini, le anime musicali si sono sviluppate sempre in parallelo ai dipinti. Volevo quindi che una di loro avesse una forte connotazione verticale, spirituale, effimera come l’attimo in cui si assiste a qualcosa di bello. Quindi un illustrazione da esporre in orizzontale, magari al livello del terreno.

    Nell’opera vediamo alcuni sampietrini bagnati da luci gialle e blu e in un interstizio, un piccolo punto rosso: un seme.

    Ora ti racconto.

    Contavo di terminare le opere per marzo 2020, quando le avrei esposto per la prima volta. Ormai avevo velocizzato i processi di realizzazione, ma dopo il blocco di febbraio ho compreso che questa cosa non sarebbe successa.

    Mi sono quindi messo a curare i dettagli di ogni opera e in particolare a curare l’intera realizzazione di Sampetrini che però è durata circa 4 mesi. Questo perché l’intero processo di crescita dello stelo della pianta è disegnato fotogramma per fotogramma, è un cartone animato. Solo per realizzare la pioggia che cade a tempo di musica, ci ho impiegato un mese.

    Durante la realizzazione di quest’opera è diventato palese che Sampietrini sarebbe diventato il manifesto dei miei processi artistici: il seme cresce e si sviluppa in un ambiente particolarmente difficile e non dà importanza a quello che succederà, il suo unico scopo è diventare fiore, condividere energia e bellezza fino al momento di sparire nel nulla.

    È l’idea che sta alla base in particolare di questa operazione in AR. Belle ed effimere, basterebbe un piccolo problema elettrico per far sparire per sempre le anime di queste illustrazioni.

    Il pubblico è stato fin ora eterogeneo, ma ha dimostrato di comprendere benissimo l’intera operazione, l’idea che c’è alla base di Sampietrini, delle mostre. Si è divertito ed emozionato.

    Il brano che fa parte dell’opera è di Charlie May, un dj produttore che stimo tantissimo a cui ho mostrato la mia prima opera. Mesi prima lo avevo contattato chiedendogli il permesso di usare due suoi pezzi, ma senza sapere bene come li avrei usati. Il secondo fa parte dell’opera che omaggia il teatro.

    Ho letto che per la realizzazione delle tue opere hai sempre una fase di studio e progettazione molto lunga. Ci spieghi il motivo?

    È vero! Sono di quelli che pensa che imparare richieda tempo ed esercizio, come imparare ad amare.

    Quello che comunemente si pensa su chi pratica arte, è che abbia il talento innato, una sorta di magia con la quale basta pensare una cosa e automaticamente si avvera. La realtà è che per ottenere un risultato il più possibile vicino al tuo pensiero, c’è bisogno di tanto studio, documentazione, esercizio, lavoro.

    Ho sempre ritenuto che chiunque possa imparare a disegnare e lo dimostra il fatto che esistono persone molto più brave e accurate di me nel disegno, ma che usano un piede o la bocca. Possiamo raccontarci la favola del talento anche per loro, ma la verità che ogni qualità e azione umana va esercitata e studiata costantemente. Alcune persone hanno delle agevolazioni fisiche e/o intellettuali rispetto ad altri, ma tutto qui.

    Se, come nel mio caso, le mie ricerche sono autofinanziate, il tempo cresce, perché per sostenere quello che dovrebbe essere il mio lavoro, devo fare altri lavori.

    Chi sceglie di fare ricerca scientifica in Italia, sa che avrà pochissimi sostegni. Non parliamo di chi come me voglia fare ricerca artistica e condividerne i risultati.

    Prima di presentare qualcosa che per me abbia valore, che possa chiamare opera d’arte, devo essere sicuro che per primo io sia meravigliato di ciò che ho prodotto. Esercitare la meraviglia, su di sé e sugli altri, per quanto mi riguarda, necessita di approfondimenti su tecniche e modalità espressive.

    Comprendere come utilizzare uno strumento e come utilizzarlo ai fini di emozionare e meravigliare, necessita di tempo, ed essendo uno spirito eclettico, spesso gli strumenti non sono convenzionali.

    Devi sapere che ho cominciato ad esporre tardissimo, la mia prima mostra è avvenuta alla fine del 2018 e ho esposto per la prima volta un’opera che avevo iniziato circa vent’anni prima. Era un lavoro su diapositive sviluppate, ma non impressionate, quindi nere. Tramite processi di micro incisioni con un sottile ago e colorazioni ottenute, esponendo le pellicole a piccole quantità di acidi, ho realizzato delle micro illustrazioni.
    I mini quadri di luce esposti sono più di 50, ma realizzati effettivamente sono molto di più. Mi piacerebbe mostrarteli dal vivo, purtroppo in foto non rendono.

    Solo pochissime persone avevano visto i risultati meravigliosi, ma solo nel 2018 dopo varie prove negli anni, sono riuscito a realizzare come esporle. Sono retro illuminate e osservabili grazie ad una lente posta sul davanti che ne esalta colori e crea un effetto tridimensionale. Queste opere sono poi state esposte sia al primo Bright Festival di Firenze che al Macro di Roma con il nome M.A.E.

    Quali sono i criteri per cui scegli le opere da ‘aumentare’?

    Per ora l’idea è stata quella di creare opere che fossero degli omaggi. Per esempio alla bellezza, al teatro, alla musica, alla danza, partendo da illustrazioni di luoghi romani, ma non ho idea se continuerò con questa linea. Magari progetterò delle opere completamente slegate da luoghi o tributi. Credo che continuerò comunque a voler raccontare mini storie silenziose.

    Descriviti con 3 parole chiave

    Ne basta una: Artematiko, è il nome che mi sono scelto che unisce Arte e Matematica (quindi tecnica e tecnologia).

    Perché, a tuo parere, la AR esalta l’arte e come si potrebbe fare cultura?

    Augmented Reality potrebbe esaltare l’arte, animando, per esempio, dipinti di altri o Murales preesistenti.

    Io non la uso così. La considero uno strumento e in quanto tale può essere impiegato per creare opere completamente nuove, tridimensionali e fruibili come percorsi meravigliosi, grazie all’uso del gps. La realtà aumentata è paragonabile ad un pennello, ai colori: il risultato sta nelle mani di chi la usa e delle sue competenze.

    Ti faccio un esempio che mi sarebbe piaciuto realizzare. Non vinco mai concorsi, ma per uno di questi mi è stato chiesto di progettare un’opera da posizionare in un ambiente urbano. Rimovibile e poco impattante per un borgo medievale vicino Roma. Quale modo migliore di sfruttare la Realtà Aumentata?

    L’idea che ho proposto è stata una vera e propria installazione scenografica con cambi scena, animazioni, suoni e musica. Chiunque avrebbe potuto visualizzarla, senza alcuna difficoltà, scaricando un’app gratuita semplicissima da usare: si scarica e si inquadra. Nessun materiale fisico avrebbe sfiorato i muri del borgo. Una scenografia animata visibile solo tramite telefono o tablet.

    Un arco cieco in pietra e muratura si sarebbe trasformato in un vero e proprio portale, attraverso cui il tempo e lo spazio avrebbero danzato a tempo di musica, offrendo al pubblico la visione di un paesaggio fantastico e suggestivo. Magari raccontando senza parole eventi avvenuti in quel luogo.

    Come ho detto, la Realtà Aumentata è uno strumento molto potente, che può esaltare la cultura di un borgo medievale, raccontarla, renderla immersiva e comprensibile, meravigliosa.

    Ora immagina di essere in un parco di una città. Passeggi su quel sentiero che ti piace tanto e in cui vedi correre puntualmente alcuni runner che vogliono tenersi in forma. Accendi il telefono, avvii un’app e inquadri il paesaggio intorno. Magari indossi anche le tue cuffie preferite.

    Sullo schermo del telefono di colpo ti ritrovi a camminare tra i corridoi fantastici di un luogo meraviglioso, ricco suoni incredibili, di animazioni tridimensionali e opere d’arte. Corridoi in cui il parco viene raccontato, la città ti viene illustrata, artisti stanno esponendo le loro opere o band musicali virtuali si stanno esibendo per farti ascoltare il loro ultimo brano.

    Tutto questo grazie alla realtà aumentata che sfrutta il gps del telefono.

    Quali sono i tuoi progetti futuri?

    Prendendo spunto dall’idea del borgo medievale, sto pensando di usare le facciate dei palazzi per creare Street Arte in AR, senza dipingere nulla sulle facciate, ma usando le peculiarità dei palazzi per creare opere in Realtà Aumentata.

    Ovviamente è un’operazione che richiede come al solito, tempo, documentazione, test, lavoro. Quindi non ho idea di quando potrò mai realizzare la prima.

    Sai che mi occupo anche di ambiti che non riguardano il virtuale. Alcuni progetti riguardano la produzione audio immersiva, in particolare di podcast. La produzione audio la trovo incredibilmente affascinante e poter lavorare sui suoni per produrre scenografie sonore lo trovo esaltante quanto costruire scenografie teatrali.

    In ogni caso sui vari social di Artematiko pubblico aggiornamenti e scoperte.

    Chi desidera sostenere il mio lavoro e miei progetti può farlo attraverso la pagina Tipeee di Artematiko.

    Grazie Simo, un abbraccio e spero di vederti presto.

  • Je t’aime moi non plus: AI e le relazioni interpersonali

    Sicuramente ricordate le parole d’amore della famosissima canzone  ‘Je t’aime moi non plus’ di Serge Gainsbourg e Jane Birkin. Ma se al posto di uno dei due amanti ci fosse un chatbot? 

    L’Intelligenza artificiale sta diventando sempre più parte integrante della nostra realtà quotidiana, dagli assistenti personali come Alexa, Google Home al riconoscimento facciale ormai utilizzato dalle aziende del beauty. Se da un lato l’IA facilita la nostra vita dall’altro guida e condiziona molti aspetti delle nostre esperienze. Alcune ricerche stanno indagando l’impatto dell’IA sulle relazioni interpersonali e amorose. In questa realtà distopica poniamoci una domanda:  può un robot provare empatia ed emozioni?

    L’impatto dell’AI sulle relazioni interpersonali

    Come potrà l’IA cambiare lo storytelling e i nostri mondi narrativi? Nella scrittura può già sostituirsi agli umani, partendo semplicemente da codici come nell’opera ‘1 The road’, creata da Ross Goodwin il primo libro scritto da una AI writing machine su una Cadillac in viaggio da New York a New Orleans o creare storie da immagini come realizzato da Ryan Kiros della University of Toronto.

    Le macchine potranno forse sostituire noi storyteller umani, ma non potranno esprimere sentimenti come l’amore. Nel mio studio dedicato alle nuove forme di narrazione nell’epoca post digitale ho letto dell’opera, ‘Lady Chatterley’s Tinderbot‘ , basata sull’utilizzo di Tinder, la famosa app d’incontri e ho deciso d’intervistare l’artista, Libby Heaney.

    Chi è Libby Heaney

    Artista e docente britannica al Royal College of Art dal 2014 con un background in quantum compting, Libby Heaney studia l’impatto delle tecnologie future. Il suo lavoro è stato presentato a Londra (Tate Modern, Victoria and Albert Museum e Christie’s), New York, Peru, e in Europa.

    Nel 2016 ha programmato Lady Chatterley’s Tinderbot, un touchscreen interattivo dove ha avviato una conversazione con ca. 800 utilizzatori anonimi di Tinder, inviando loro estratti tratti dal romanzo, “Lady Chatterley’s Lover” (David Herbert Lawrence – 1928). Un esperimento sull’AI e le relazioni interpersonali che è risultato davvero sorprendente ed è stato presentato in touchscreen in uno spettacolo dal vivo e raccolto in un libro.

    Lady Chatterley's Tinderbot

    Intervista sull’opera ‘Lady Chatterley’s Tinderbot’

    When and why did you decide to use a bot to study the human interaction about love and sex?

    In general I’m interested in how technology effects humans and how we see the world and vice versa. I wanted to make a piece that focused on technology and love and since I’ve used Tinder myself before, I decided to think about how Tinder has changed the way we find love and sex and intimacy. I was reading Lee MacKinnon’s Tinderbot Bildungsroman and Love Machines in e-flux journal, which inspired me to use a bot to explore human interaction with love and sex. After more research, I found out that Tinderbots were often gendered and used to in the aid of capitalism (‘hot women’ guiding people to porn sites and even a Tesco survey).

    How long did the study last? How many users were involved?

    I had three Tinderbots running on Tinder over the course of about a year 2016-2017. They spoke to just over 800 people mostly around the London area where I live, but also around Oxford & Berlin when I traveled there.

    Can human and machine come together to live a new form of love?

    My work was about how romantic codes are shifted due to various technologies disseminating the codes. I how love and sex function in a pre-digital technology – the literary novel – and the same with a post-digital technology – Tinder. I created three Tinderbots based on characters from Lady Chatterley’s Lover, Lady Chatterley, Mellors (the game keeper who LC has an affair with) and Clifford (Lady Chatterley’s husband who she cheats on). These agents spoke to people on Tinder using only dialogue from the novel. The human’s on Tinder were either surprised, played along or ignored this unusual style of messaging. I wasn’t really looking for a new form of love in the work, but rather wanted to point out the resonances and dissonances between old and new romantic codes that are propagated through technology.

    What’s the funniest answer you received?

    There’s lots of funny answers. You can see the pdf of some responses on my website. The point is that while the work is funny in part, it can also shows humanity as being lonely, sad and vulnerable.

    What do you think about the future of love and sex? Will we meet just online? 

    I think there as with most actions in life now, there will be a hybrid online/offline approach. It might be that we all have a bot based on our data from other websites (like FAcebook) that sits on dating apps and initiates contact with other people’s bots on our behalves. Perhaps when our bot finds someone who we might really like or fancy, it will alert us and then the humans will step in.

    L’AI potrà cambiare la nostra narrazione e le relazioni interpersonali? Sicuramente sta avendo un impatto importante in settori innovativi e tradizionali: dal customer service al recruiting e tutto il settore delle risorse umane. Quanto impatterà sull’amore? Difficile dirlo al momento.

    Nota: Articolo originariamente pubblicato in ‘Narrability Journal’ Semestrale di divulgazione scientifica sulle Scienze della Narrazione dell’Osservatorio di Storytelling.


    sito http://libbyheaney.co.uk/

    Link utili

  • Il codice umano e l’AI

    L‘intelligenza artificiale (AI) può avere un impatto significativo sulle attività sociali come la musica oppure sulla scrittura e sull’arte, da sempre considerate esclusive dell’uomo, definito ‘codice umano’ da Marcus Du Sautoy ?

    Ho iniziato ad interessarmi alle applicazioni dell’AI fin dal 2016, quando, dopo aver ascoltato allo IAB lo speech del professor Giuseppe Riva, Direttore di interazione comunicativa e nuove tecnologie dell’Università Cattolica di Milano dedicato all’AI dal titolo “Intelligenza artificiale: l’intelligenza nella realtà”, avevo approfondito casi studio inerenti la musica. Avevo scritto un articolo e citato, ad esempio, MusicNet, un software realizzato da ricercatori dell’Università di Washington e gli esperimenti condotti all’interno del progetto ‘Google Brain’ creato da Google.

    Nel tempo sono stati fatti molti progressi e, come ci dice il matematico Marcus Du Sautoy nel suo libro ‘Il codice della creatività’ (ed. Rizzoli), oggi viviamo a stretto contatto con le macchine.

    Le nostre vite sono completamente dominate dagli algoritmi. Ogni volta che cerchiamo qualcosa su Internet, pianifichiamo un viaggio con il GPS, scegliamo un film raccomandato da Netflix o prendiamo un appuntamento online, siamo diretti da un algoritmo. Gli algoritmi sono la nostra guida nell’era digitale, ma pochi sanno che esistono da migliaia di anni prima dell’avvento dei computer e che stanno al cuore dell’essenza stessa della matematica. ‘ (p.698)

    L’AI non ha sostituito l’uomo, timore che spesso emerge nei convegni e negli articoli che vengono pubblicati nell’ultimo anno, ma lo ha supportato sempre più in attività complesse.


    Secondo Du Sautoy ‘l’ambito dove gli algoritmi di scrittura danno il meglio di sé è la trasformzaione di dati grezzi in articoli di giornale.

    L’intelligenza artificiale non prenderà il posto del giornalista o dello scrittore, ma svolge già oggi quei compiti nei quali l’uomo è meno efficiente, come analizzare fonti e verificarle proprio per la sua capacità di processare un numero infinito di dati e scrivere una grande quantità di articoli in tempi molto contenuti.

    Molte redazioni stanno usando gli algoritmi, come leggiamo in ‘Journalism AI – new powers, new responsibilities‘, il rapporto di Polis, think tank della LSE ( London School of Economics and political sciences) e Google News Initiative nel 2019. Si parla di giornalismo automatizzato o robotico. Di che cosa si tratta esattamente? In un articolo di Matteo Monti, ricercatore della Scuola Superiore Sant’Anna, pubblicato a marzo 2019 dall’agendadigitale.eu ho letto una definizione molto semplice ed esaustiva che condivido con voi:

    Questo nuovo metodo di produzione di news è basato sulla tecnologia NLG (natural language generation), che permette, in generale, la creazione di giornalismo testuale a partire da un insieme di dati strutturati digitalmente. Una tecnologia, questa, che prevede che un algoritmo raccolga e analizzi i dati in modo indipendente e poi scriva un articolo dagli e sugli stessi. (1)

    Il giornalismo automatizzato opera sia scrivendo e pubblicando autonomamente articoli di cronaca senza l’intervento di un giornalista, sia “collaborando” con un giornalista che può essere incaricato di supervisionare il processo o fornire input per migliorare l’articolo. (2)

    Tornando al rapportoJournalism AI’ di Polis che è stato condotto in 71 agenzie stampa in 37 nazioni emerge che:

    ‘artificial intelligence (AI) is a significant part of journalism already but it is unevenly distributed. AI is giving journalists more power, but with that comes editorial and ethical responsibilities.

    Quali sono i task nei quali l’AI può supportare il giornalismo in futuro? Nel report sono stati evidenziati questi dieci punti:

    Abbiamo parlato di giornalismo, ma quanto l’AI può influenzare anche la musica o l’arte e la scrittura?


    Nel campo musicale mi ha incuriosita l’esperimento condotto da Damien Riehl , un legale specializzato in copywright e Noah Rubin, un programmatore. Hanno creato un algoritmo che compone melodie:

    ‘by brute force all mathematically possible melodies and write them to MIDI files. We provided the application with various parameters to mathematically exhaust every popular melody that has ever been — and are mathematically possible. When those MIDI files were written to disk, they were copyrighted automatically. We have also designated all newly created files (to which we have legal rights) to the Creative Commons CC0.

    Il loro obiettivo è quello di proteggere i musicisti ‘from being sued for copying songs they don’t remember hearing.’

    Su Wikipedia leggiamo che MIDI è l’acronimo per:

    Musical Instrument Digital Interface e si indica il protocollo standard per l’interazione degli strumenti musicali elettronici, anche tramite un computer.

    Se desiderate potete vedere il video dello speech che Damien Rieh ha tenuto al TEDx di Minneapolis alla fine dello scorso gennaio e consultare il sito.


    Proprio in questi giorni ho letto un articolo su Leganerd.con in cui si parla di Paidon, manga scritto e disegnato da un’intelligenza artificiale. Makoto Tezuka figlio del famoso mangaka Osamu Tezuka, scomparso nel 1989, ha fatto studiare all’AI sessantaquattro opere del padre per creare una storia totalmente ispirata al suo mondo. Ha poi completato il lavoro, i dialoghi e le illustrazioni personalmente.


    E se le poesie fossero scritte dall’intelligenza artificiale? Ho provato un interessante esperimento dell’artista e scenografa londinese, Es Devlin che ha realizzato e messo online nel 2019 PoemPortraits, progetto che combina poesia, intelligenza artificiale e design, creato in collaborazione con Google Arts e Culture e il programmatore Ross Goodwin. Leggiamo sul sito:

    An experiment at the boundaries of AI and human collaboration. Donate a word to become part of an ever evolving collective poem and create your own POEMPORTRAIT.

    Mi sono divertita a giocare con l’algoritmo e ho scelto la parola ‘love’, digitandola nel campo indicato. L’AI ha elaborato ‘on over 20 million words of 19th century poetry is generating your unique POEMPORTRAIT.

    Nello step successivo l’applicazione mi ha chiesto se desidero attivare la fotocamera per realizzare un selfie oppure proseguire con solo testo.

    Foto 1

    Avendo optato per solo testo questa è la poesia creata per me dall’algoritmo. Il verso può essere salvato in .png (foto 2) e scaricato oppure entrare a far parte di un poema collettivo (vedi foto 3)

    Foto 2
    Foto 3

    Ho provato anche a scegliere l’altra opzione ossia a scattare una foto. I versi sono apparsi sul mio ritratto in stile video mapping 3D e lo sfondo poteva essere nei toni del rosso o del blu in modo random.

    Siete curiosi e desiderate provarlo? Ecco il link al sito e di seguito il video su YouTube in cui viene descritto il progetto.

    PoemPortrait era stato presentato già nel 2018 come installazione al Summer Party delle Serpentine Galleries di Londra e aveva riscosso molto successo tanto che, come abbiamo visto, nel 2019 era stato deciso di renderlo disponibile sul web. Potete trovare maggiori informazioni nella video-intervista su YouTube.

    Fonte: https://youtu.be/e-NUHIqmgUI

    Sempre nel 2018 la collaborazione tra il programmatore Ross Goodwin e l’artista Es Devlin aveva dato vita ad un’altra installazione molto particolare come ‘Please Feed The Lions’. Era una scultura interattiva posta in Trafalgar Square a Londra commissionata dal London Design Festival, Google Arts & Culture e The Space. Il leone, realizzato in un rosso fluorescente, ruggiva e, grazie a un algoritmo di deep learning sviluppato da Ross Goodwin, componeva una poesia collettiva generata dalle parole digitate su un tablet dai passanti.

    Perché un leone proprio a Trafalgar Square? Nel 1867 quattro leoni sono stati posti alla base della colonna di Nelson come icone britanniche e Trafalgar Square è stata da sempre considerata un luogo simbolo per meeting politici e raduni. La prima manifestazione importante si tenne nel 1848, con il raduno dei cartisti che chiedevano il suffragio universale.

    Fonte: by karyne.barwick – Instagram

    Come funzionava l’installazione? I passanti erano invitati a dar in pasto al leone una parola a loro scelta digitata su un tablet. Immediatamente il leone ruggiva con la voce ‘imprestata’ dalla vocalist Jade Pybus, mentre sullo schermo posto all’interno delle fauci appariva una strofa generata dalla parola stessa. Come leggiamo nella pagina del sito Google Arts and culture:

    The poetry is generated by an artificial neural network model that has learnt to write by reading millions of words of 19th century poetry. The specific algorithm is known as a long short-term memory (LSTM) recurrent neural network (RNN), and it works by learning to predict the next text character (letter, space, or punctuation) over and over again…’

    Durante il giorno la strofa appariva su uno schermo posto all’interno della bocca del leone e alla sera il poema collettivo veniva proiettato sul leone stesso e sulla colonna di Nelson grazie al video mapping.

    Quale sarà il futuro dell’AI e della scrittura? Riprendiamo ancora il pensiero del matematico Marcus Du Sautoy:

    Il Grande scrittore automatico resta ancora una fantasia umana. […]Ci sono talmente tante storie da raccontare che scegliere quelle degne di essere ascoltate è ancora una sfida; solo un creatore umano comprenderà per quali ragioni un’altra mente umana potrebbe volerlo seguire nel suo viaggio creativo. Senza dubbio, i computer ci assisteranno nel nostro viaggio, ma saranno i nostri telescopi e le nostre macchine da scrivere, non i narratori. ‘ (pag. 4504)

    Nel frattempo le sperimentazioni continuano e sempre più artisti, scrittori e designer realizzano e studiano nuove opere co-create con l’AI o realizzate dall’algoritmo in autonomia. Non resta che stare a guardare come conviverà il codice umano con l’AI e dare un senso al futuro.

    Negli ultimi mesi ho continuato ad approfondire temi legati alla scrittura e all’intelligenza artificiale. Nei prossimi convegni esamineremo insieme altre case studies internazionali che mi hanno interessato e che desidero portare alla vostra attenzione.


    (1) (2) https://www.agendadigitale.eu/cultura-digitale/giornalismo-automatizzato-usi-e-rischi-dellintelligenza-artificiale-nelle-news/





  • Esperienze aumentate a Londra

    S e mi seguite sui social sapete che sono appassionata di esperienze immersive che coniugano narrazione e tecnologia. Cerco di sperimentare anche durante il tempo libero in occasione, ad esempio, di visite ai musei o di eventi per capire, valutare e consigliare i miei clienti.

    Quest’estate ho trascorso alcuni giorni di vacanza a Londra e ho pianificato una visita al Tate Britain Museum. Avevo letto un articolo in cui si annunciava l’accordo tra Facebook e il Tate per rendere più coinvolgente la visita con l’Instagram camera’s AR effect.

    Ho scaricato sullo smartphone l’app del Tate disponibile su Instagram e ho iniziato una ‘caccia al tesoro’ tra le sale permanenti.

    Solo otto opere sono state ‘aumentate’ grazie all’AR e vicino al quadro era posizionato un cartello che invitata il visitatore a scaricare l’app e a vivere l’esperienza.

    Devo dire che non era semplicissimo identificare le opere, in quanto il cartoncino non era ben visibile e l’esperienza in AR non era ben spiegata. Una volta individuati i quadri mi sono posizionata con lo smartphone e ho suscitato la curiosità di altri visitatori che non avevano colto l’opportunità.

    Un’iniziativa interessante, ma che avrebbe potuto essere gestita in modo più coinvolgente e soddisfacente per il fruitore. L’app non si caricava molto velocemente e a volte si perdeva il collegamento. Trattandosi di una prima esperienza frutto dell’accordo recentissimo tra Tate e Facebook , sarà sicuramente migliorata ed ampliata.

    Non ci resta che attendere nuove esperienze aumentate!

    Ecco i quadri che è possibile vedere in realtà aumentata:

    • Fishing upon the Blythe-Sand, Tide Setting In di Joseph Mallord William Turner
    • Amateurs of Tye-Wig Music (‘Musicians of the Old School’‘ di Edward Francis Burney
    • A Youth Relating Tales to Ladies di Simeon Solomon
    • The Cholmondeley Ladies di autore sconosciuto, Britain
    • Self-Portrait di Gwen John
    • Farm at Watendlath di Dora Carrington
    • Carnation, Lily, Lily, Rose di John Singer Sargent
    • Head of a Man (Ira Frederick Aldridge) di John Simpson

    Nel momento in cui si inquadra l’opera si attiva anche un’audioguida con testo scritto visibile sullo smartphone che fornisce informazioni sull’autore e sul quadro. Si unisce quindi l’esperienza immersiva una guida più classica.

    The Cholmondeley Ladies di autore sconosciuto, Britain.

    Tra i quadri più significativi come effetto immersivo:

    The Cholmondeley Ladies di autore sconosciuto, Britain. Il quadro ritrae due giovani donne che erano nate nella stessa data, si erano sposate e avevano partorito lo stesso giorno. Le ladies appaiono e ricompaiono quasi in una danza.

    Carnation, Lily, Lily, Rose di John Singer Sargent. L’esperienza in AR sottolinea il passaggio del tempo sugli oggetti e sulla scena: le lanterne si illuminano nella notte, i fiori appassiscono e scende il buio della sera. Improvvisamente il quadro diventa tutto scuro per indicare la notte e poi riappare la luce del tramonto. Molto coinvolgente.

    Head of a Man (Ira Frederick Aldridge) di John Simpson
    L’opera ritrae l’attore Ira Frederick Aldridge che, dopo aver lasciato gli Stati Uniti per Londra nel 1865, diventò il primo attore di colore a recitare le opere di Shakespeare in Inghilterra. Muovendo l’Instagram camera, lo sguardo si anima e ci segue e passa da drammatico a depresso.

    Self-Portrait di Gwen John. Un autoritratto della pittrice gallese che fece molta fatica ad affermarsi in un panorama artistico prettamente maschile. Nell’esperienza aumentata alcuni elementi della natura entrano ed escono dal quadro (un uccelino in particolare) e nell’opera appare la pittrice e in secondo piano il suo quadro.

    Ecco il link al video postato da Tate Britain sulla pagina Facebook e il video su Instagram.

    Ho approfittato della permanenza a Londra per visitare anche Kensington Gardens e Hyde Park e provare l’esperienza The Deep Listener. Creata dall’artista danese Jakob Kudsk Steensen che ha collaborato con il sound designer Matt McCorkle ci guida alla scoperta di cinque piante presenti nel parco rappresentate attraverso il suono.

    Sul sito si trova una mappa precisa e, dopo aver scaricato l’applicazione sullo smartphone, inizia l’esperienza visiva e uditiva. Le piante prendono vita e si trasformano in opere d’arte.

    Come leggiamo sul sito:

    The Deep Listener invites you to be guided on a journey to both see and hear the sights and sounds of five of London’s species: London plane trees, bats, parakeets, azure blue damselflies and reedbeds, that are part of the park ecosystem that might otherwise be ignored, intangible or simply invisible. […] Through these interactions, your own body becomes the mechanism to alter the environment around you and the technology becomes an active form of communication between the human and non-human actors in the park.
    Through The Deep Listener, Kudsk Steensen builds an experience for users to explore the sublime and vexing power of our ecosystem. The park becomes, as it has throughout history, the architectural backdrop to access the natural world that exists within the city

    Mappa delle piante aumentate con l’app The Deep Listener

    Ecco il link al video di presentazione su YouTube: https://youtu.be/_b_3NhudgO8

    Vi consiglio di provare queste due esperienze se vivete a Londra o avete l’opportunità di visitarla a breve. Sarebbe interessante anche avere uno scambio d’impressioni. Buona visita!




  • L’arte prende vita in AR: il museo MAUA a Torino

    La mia passione per la realtà virtuale e aumentata applicata alla cultura visuale e storytelling urbano è cresciuta negli anni. Ricordate sicuramente quando nel 2015 il New York Times magazine introdusse una nuova forma di comunicazione narrativa in VR, testata dal NYT stesso e regalò ai lettori i cardboard per poterne fruire. Nello stesso periodo avevo partecipato al convegno, ‘Urban Augmented Reality fra Arte, Gaming, Storytelling‘, organizzato dal professor Lughi dell’Università di Torino al Castello del Valentino, evento durante il quale vennero presentate alcune esperienze italiane e internazionali in realtà aumentata, racconti che avevano coinvolto il pubblico in un’esperienza indimenticabile. Potete approfondire su Pulse al link.

    A settembre 2018, mentre stavo preparando il Google Day dedicato alla realtà mediata (VR e AR) con Work Wide Women, ho ricevuto su LinkedIn un messaggio e una richiesta di contatto. Era Joris Jaccarino, regista, curatore e manager culturale di Bepart che aveva letto informazioni sul workshop e desiderava presentarmi MAUA, il museo di Arte Urbana Aumentata, realizzato a Milano nel 2017. Il nostro incontro è avvenuto alla GAM di Torino e in quell’occasione ho scoperto un progetto di grande fascino che unisce arte e realtà aumentata, in particolare street art resa viva dall’AR. Le opere escono dai muri e prendono vita davanti a noi. Una magia.

    MAUA – è una galleria a cielo aperto, fuori dal centro di Milano, che consta di oltre 50 opere di street art animate con altrettanti contenuti virtuali fruibili attraverso la realtà aumentata.

    Joris era a Torino ad organizzare il secondo MAUA italiano che stava nascendo proprio in quei giorni. I numeri del museo di Torino sono davvero interessanti. La città è stata mappata in 4 aree:

    • Lungo la Dora “Alla ricerca dell’ACQUA: le fondamenta della città
    • Verso Sud “Alla ricerca del FUOCO: le stanze della fabbrica
    • Verso le montagne “Alla ricerca dell’ARIA: le pareti delle montagne
    • Verso Nord “Alla ricerca della TERRA: i muri interiori

    Sono state fotografate 300 opere, svolte 82 ore di workshop e coinvolti 123 ragazzi/e sul territorio, 57 digital artist e 39 street artist con la creazione di 46 murales in realtà aumentata.

    Dopo mesi di intenso lavoro il MAUA TORINO verrà inaugurato il prossimo 6 e 7 aprile al Parco Aurelio Peccei di Piazza Ghirlandaio.
    È stato realizzato grazie a una rete di partenariato composta da Bepart, come capofila, insieme ad altre sei realtà: BASE Milano, Avanzi – Sostenibilità per Azioni, Terre di Mezzo, PUSH., Camera – Centro Italiano per la fotografia, Iur –Innovazione sostenibile e l’associazione SAT – Street Art Torino.

    46 opere di street art animate in realtà aumentata diventano l’occasione per esplorare zone meno conosciute della città. Si parte scegliendo il proprio percorso. Poi, arrivati sul posto, l’esperienza prosegue in forma digitale: ogni opera, inquadrata con lo smartphone, ne genera una nuova e si trasforma in un lavoro di digital art, appositamente creato per il museo grazie a tecnologie di realtà aumentata.

    Vi chiederete che cosa mi abbia affascinato di questo progetto. Oltre alla tecnologia che amo, sicuramente lo scopo sociale di inclusione e di formazione. Un’opera partecipata e co-creata con il coinvolgimento di street artist, ragazzi, programmatori e i cittadini che possono fruire delle opere, partecipando ai tour organizzati o pianificando il proprio percorso. Un’opera educativa che mira a formare i più giovani alle nuove tecnologie e che promuove la riqualificazione delle aree meno conosciute delle città.

    Queste finalità sono state ampiamente illustrate da Giovanni Franchina, fondatore ed amministratore di Bepart, al convegno Narrability, che avevamo organizzato come Osservatorio di Storytelling lo scorso dicembre a Base Milano.

    In occasione della prossima inaugurazione del museo di Torino ho voluto fare una chiacchierata con Joris Jaccarino ed ecco l’intervista che desidero condividere con voi. Buona lettura!

    Ciao Joris ci racconti com’è nata l’idea di coinvolgere i giovani nel progetto MAUA?

    Mi è sempre piaciuta l’idea di creare arte in maniera partecipata. Per me il processo di creazione artistica deve essere democratico, condiviso, inclusivo. Ho cominciato durante gli anni dell’università, organizzai un laboratorio di cortometraggi per i ragazzi del mio quartiere, il Giambellino. Ogni fase era discussa e realizzata in gruppo, dalla sceneggiatura, alle riprese ed infine al montaggio. E’ un’esperienza che si è declinata in varie forme, dal laboratorio di Sociologia Visiva che ho tenuto alla Statale di Milano fino a MAUA.

    A valle delle due esperienze a Milano e a Torino, quali sono le maggiori difficoltà incontrate dai ragazzi durante lo svolgimento del progetto?

    Al di là delle problematiche strettamente tecniche, direi che la parte più difficile è quella di creare un’opera su una già esistente. L’artista digitale si trova a dover interpretare l’opera di un altro artista, con tutte le incertezze del caso. Proprio per questo motivo, a Torino abbiamo voluto fortemente coinvolgere più street artist possibili, facendoli interagire con i digital artist durante il workshop. Il confronto tra di loro ha dato vita a interessanti scambi di idee e narrazioni inaspettate. E’ stata un’esperienza arricchente per tutti.

    Una domanda tecnica: quali piattaforme utilizzate?

    Bepart è un cocktail di tecnologie che abbiamo assemblato, con lo scopo di fornire la migliore esperienza possibile della AR per l’utente. L’app permette di fruire contenuti in AR semplicemente inquadrando l’opera con la fotocamera del device. Si possono vedere questi contenuti anche non in presenza, ovvero inquadrando una foto come quelle del catalogo o delle cartoline. Inoltre è dotata di una mappa delle opere, cliccando sul pin si vede un’anteprima del contenuto digitale, i credit e una breve descrizione.  

    Quali caratteristiche devono avere i murales per entrare nel MAUA? Esiste una regola o solo la narrazione e la creatività guidano la scelta?

    Uno dei concetti alla base del progetto MAUA è quello della curatela partecipata. Per questo coinvolgiamo associazioni di quartiere attraverso cui dare vita a laboratori con gli studenti. Sono questi ultimi a mappare le opere di street art e a scegliere quelle che trovano più interessanti, basandosi non solo sul loro valore artistico intrinseco, ma anche sul valore esperienziale ed affettivo.

    Come funzionano i workshop attraverso cui prende forma MAUA?

    I workshop prendono l’avvio da una open call nazionale, un vero e proprio invito a prendere parte al progetto. Sono rivolti ai giovani dai 13 ai 35 anni. Vogliamo che MAUA non abbia valore solo come prodotto finale, ovvero il museo aumentato, ma anche come processo tramite cui i giovani possono acquisire competenze professionali specifiche e spendibili sul mercato del lavoro.

    Quali sono i momenti che ricordi con maggior intensità?

    Amo i momenti di esplorazione della città per cercare e mappare le opere. È come tornare bambini e giocare alla caccia al tesoro, scoprendo la città con occhi diversi. Magari sei in un posto abbandonato, ricoperto di cemento, senza nessuna attrattiva, giri l’angolo e ti trovi davanti a un bellissimo murales, colorato, vivo. C’è tutta la magia dell’infanzia e della scoperta.

    Quali sono i vostri progetti futuri e la prossima città di MAUA?

    Stiamo creando un progetto turistico per valorizzare e raccontare l’Oltrepo mantovano attraverso l’archeologia. Realizzeremo delle installazioni in AR lungo percorsi slow, ecosostenibili per favorire un turismo più consapevole.

    Per quanto riguarda MAUA, ci piacerebbe esportare il progetto ad altre città fuori dall’Italia, magari in America Latina. Buenos Aires, Rio? Vedremo.

  • Interpretare e raccontare l’arte

    Comprendiamo davvero il significato dell’arte e delle installazioni? Spesso ci soffermiamo appena e facciamo scorrere lo sguardo senza vedere realmente. La fruizione dell’arte si intreccia con la narrazione.

    In queste ore è in pieno svolgimento Artissima a Torino, la fiera d’arte contemporanea che vede coinvolte più di 200 gallerie a livello internazionale e artisti emergenti. Moltissimi visitatori percorreranno gli spazi espositivi, ma quanti davvero riusciranno a comprendere appieno il senso dell’arte?

    Un momento di approfondimento mi è stato offerto il 18 ottobre scorso quando ho avuto l’occasione di partecipare ad una open lecture dell’artista Paolo Inverni all’interno del corso di Interactive Storytelling del professor Giulio Lughi dell’Università di Torino.

    Di seguito qualche frase che ho ritrovato nei miei appunti su cui vorrei riflettere con voi.

    Il confine artista e autore non esiste più, costruisce mondi.

    La gestione dell’informazione è nelle mani dell’autore. L’autore sa ciò che lo spettatore non sa in partenza e decide quali informazioni offrire. Deve gestire l’informazione, dandola riorganizzata.

    Se l’autore genera mondi, la narratività è uno spaccato di mondi e il suo ruolo è quindi legato all’etica e alla morale. Seleziona le informazioni, decidendo i tempi e l’ordine oltre a quanto e come. Quante informazioni al mq è giusto offrire al lettore/fruitore, si chiede il relatore? Testo fitto o meno denso?

    L’artista ha portato l’esempio di un quotidiano degli anni ’50 a confronto con uno attuale per far comprendere quanto la percezione del lettore cambi a seconda dei tempi e della tecnologia. Quello che sembrava normale negli anni ’50 attualmente risulta troppo denso per una lettura efficace e senza gerarchia. Oggi si pubblicano testi meno fitti e densi. Dobbiamo tenere presenti due fattori fondamentali degli anni passati:

    • gli alti costi di stampa
    • la lettura era destinata ad un pubblico di nicchia.

    Nei quotidiani si è sentita influenza dell’hypertext, per cui si prediligono non testi interi, ma titolo, inserto e rimando a pagina interna. Neanche l’editoriale è più intero sulla prima pagina, ma leggiamo solo blocchi informativi che fanno riferimento alla pagina interna.

    Anche la convergenza tra immagini e informazioni testuali era differente, perché le tecniche di stampa erano diverse: le riproduzioni erano sempre in B/N e non sulla stessa pagina e spesso cambiava la carta (patinata per un’efficacia visiva maggiore). Oggi la convergenza è completa e un esempio perfetto è offerto dalle infografiche che sono spesso parte integrante, anzi sostituiscono in alcuni casi l’articolo. Una modalità narrativa che ha una grande efficacia ed impatto sul lettore.

    Da autore a progettista –> deve conoscere i limiti dei media e dei linguaggi per sapere come verrà applicato e realizzato. Deve controllare il risultato finale.

    Nell’arte contemporanea si possono applicare figure retoriche nello spazio e secondariamente nel tempo. Esiste un controllo totale dello spazio (luce, accessi, distanza dello spettatore, etc) utile per le installazioni.

    Il relatore si sofferma sulla Site-specific art dove l’opera d’arte non risolve il suo significato all’interno di una cornice, ma nello spazio.

    Se leggiamo su Wikipedia scopriamo che

    Site is a current location, which comprises a unique combination of physical elements: depth, length, weight, height, shape, walls, temperature.

    Ci porta anche l’esempio di una sua installazione, Fremito e ci fornisce gli elementi narrativi per comprenderla. Storytelling spaziale –> sviluppo narrativo nello spazio.

    Obiettivo dell’opera: mettere in discussione la staticità. Un lampadario, normalmente statico se non in presenza di fenomeni naturali quali un terremoto è stato dotato di un motorino interno che provoca una vibrazione delle gocce. L’artista ha studiato le vie di accesso: a 30 metri il visitatore vede un movimento quasi impercettibile e può pensare di avere la vista stanca, ma non appena si avvicina si rende conto che le gocce vibrano davvero. In sottofondo sente una musica di elicotteri che suscita una certa ambivalenza da una parte sicurezza (vegli su di me) dall’altra (pericolo e ansia).

    Sentimenti ed emozioni vengono vissuti in modo differente dagli spettatori.

    Nell’arte contemporanea il timing di fruizione non è imposto.

    A differenza del cinema ognuno può prendersi i propri tempi per la fruizione. Tornare e rivedere l’installazione e viverla in modo soggettivo.