• Storie in XR: Stephen Black e Sayuri Okayama

    Conoscete il progetto narrativo Storie in XR e social VR ? Nato lo scorso agosto con il fine di far conoscere i professionisti che lavorano e vivono nel Metaverso attraverso le loro storie parla di esperienze in XR e mondi immersivi, di tecnologia e di sperimentazioni. Oggi incontriamo due artisti in un’intervista duplice, Stephen Black e Sayuri Okayama. Ho seguito uno speech di Stephen Black in occasione di un panel organizzato da Katherina Ufnarovskaia per da VR/AR Association dal titolo: “Bubiko foodtour: at the intersection of art, AR and food”. Da allora siamo entrati in contatto e mi sono appassionata alla loro storia che parla di tecnologia, food e tanta arte.

    Nessuna descrizione alternativa per questa immagine

    Chi è Stephen Black / Who is Stephen Black

    Stephen Black è un artista e produttore in realtà aumentata, scrittore e regista in spatial film. – Stephen Black is an AR Artist/producer, writer and OARC’s 2022 spatial filmmaker.

    La duplice intervista è in lingua inglese. Enjoy!

    When have you approached AR? Do you remember your feelings? Please tell us your first experiences.

    SB: The first time I saw AR being used was at the National University of Singapore in about 2003. What I saw was very simple; when a tablet was held over a couple of colored blocks, some text appeared. It was explained to me that AR is something like a QR code, but with more possibilities.

    SO: I had heard about Pokemon Go, but never tried it. The first experience with Bubiko and AR took place in Chiang Rai, Thailand where we used a simple AR app byHewlett Packard and were assisted by a boy about 10 years old who was really clever.In Hong Kong and Shenzhen I saw other people’s projects, many of which were demos. But I would say that the 19 Crimes wine label and app was the first AR experience that really brought everything into focus as it was simple, impactful and easy to use.

    In 2012, Stephen worked with Eugene Soh on a project called SPOKEN, which was a virtual gallery. They showed the works of many artists and it seemed  very interesting. But it was short-lived and this made me feel a bit strange. There was so much work involved and so many interesting artists but so little public response. And there wasn’t any discussion at all about money. Now I see that it was ahead of its time, and how it connects with what is being called the metaverse. Now I understand about how AR and VR are examples of spatial computing, but I am not very good with technical topics.

    Is the XR useful for an artist to express his art? Do you prefer AR to VR?

    SB: Although I have a long career as an artist, and have been focused on AR since 2015, it was only last year that I could finally begin to work with GeoPose AR in a purely artistic and conceptual way.

    One project was simple: A Flock of Bagels, in which bagels swirl from the ground upwards, accompanied by a soundtrack by Antonello Arciuli.

    Another project, Snake Lighter, was a collaboration with Daniel Bainbridge, a New York-based sculptor. We experimented with scanning his sculptures and eventually settled upon a piece called Monkey Mop Boy, which was something like a mask. Once I had the 3D model, I used it to form patterns which then became part of a site-specific installation. I must mention the technical support we received from XR Masters, Augmented.City and Scandy. This leads me to information that answers your question: there are many technical issues to be resolved when making art with XR. 

    Is XR useful for artistic expression? Yes, most definitely.

    However the technical and financial aspects can be significant. VR is even more challenging. For me, the biggest challenge for both is that 3D models are required. I cannot yet make a simple 3D model, let alone a complex one. 3D model makers are artists, so my projects are always collaborative. And if the models are to move, there are artists who specialize in making motions. Again a collaboration!  I should mention that  with Bubiko we are using motion capture to make Bubiko’s motions more natural, and this is being done with the help of Mad Marker, building upon the work of Novaby who really helped us with the initial 3D realization of Bubiko.

    I read that you have been researching and testing spatial cinema ideas since 2016. How did you approach this technology?

    SB: I must mention that, from 2002-5 I was the creative director for an educational 3D game making startup in Singapore. So there I learned about spatial computing, which is the “parent” of VR, XR and AR. Unfortunately the CEO of that company, and my friend, passed away suddenly- on the day of our launch! Many possibilities vanished with his passing.

    To make a long story short, when the Oculus was released in 2015, I took that as a signal to enter into the world of spatial computing.

    But I am not a programmer. I began to act upon ideas for a VR startup that I had been developing. But when I looked at the production costs and numbers of users for VR, and then compared them to what was being planned for AR, it felt natural for me to ficus on AR. Everyone mobile phone in the world can display AR, and  because we use reality itself as a background, it can be much less expensive to create dynamic AR experiences.

    Initially, the only choice was to read, study, network and learn as much as possible about all kinds of AR. I knew that I wanted to tell stories using my background as a filmmaker, but was not sure how this would be possible. I also thought there would be interesting AR possibilities for dance and performance art.

    Let’s talk about Bubiko’s project. Bubiko was a co-creation between you and Sayuri Okayama. When and where did you meet and start working together? Can you explain your project?

    SB: Sayuri and I met in 2011, but we decided to become involved with AR in 2016. Although we were living in Bali, we suddenly encountered visa complications, and made the decision to become digital nomads, researching both the food of Southeast Asia and the possibilities of AR. We were in Kuala Lumpur when we made the first paper version of Bubiko and took her to a food fair. We photographed her as a way to visualize what it would be like when she was a proper 3D model being seen in AR. Eventually, our networking and collected knowledge led to a presentation at Sasin University in Bangkok. Some time after that I gave presentation and workshops at Hong Kong PolyU and in Shenzhen. In January 2019, the Bubiko project was invited to MIT for the first time.

    Bubiko
    Bubiko in Blimp

    Now, thanks to the support of many people, Bubiko is an active pioneer in the world of GeoPose-based AR. She starred in historic short film made with GeoPose AR. She is still very “underground” but she is moving towards becoming a start of spatial cinema, with a strong connection towards healthy food oaf all kinds, especially those of Southeast Asia. And yes, she is experimenting with an NFT.

    SO: I decided to work on AR with Stephen because we were in a very unusual situation with a lot of uncertainty. AR seemed like it would be a constant, a goal. I thought that AR would be interesting when we thought of the Bubiko idea.

    Stephen had been speaking with a VC about a VR project and there was funding that was being seriously discussed. But then, unexpectedly, we had a visa issue to solve and when that was finally settled, Stephen started showing me information about AR. 

    It seemed like AR would become very popular as all that was needed was a phone. We decided that AR would be a better choice, because it seemed like it would be easier to create content  than VR, and for  a bigger audience. This was before ARKIT and ARCcore were released. When these two platforms were released we felt we made the right decision.

    My background is in hotels and travel so we decide to work with these ideas and Stephen combined his art background and experiences with Cartoon Network, and we just lept into the AR world with Bubiko Foodtour.

    We were very clear about an idea we called “tabletop cinema”. We envisioned Bubiko appearing on a table, combining education and entertainment. We weren’t exactly sure how this would be possible, but we just kept researching food and AR. You can see some of our progress on Bubiko’s Instagram account. At first we used paper dolls, then thanks to Novaby and Flamingo Filters, we were able to start putting Bubiko on tables and elsewhere.

    Chinatown mural
    Chinatown mural dim sum zodiac Bubiko

    I should say that Stephen and I have been apart because of Covid, which makes things very challenging as I cannot leave Japan. But still we were able to create Bubiko: First Flight, a short film in which Bubiko flies through Bari, Italy and a nice little cafe. The film has been called as historically signifiant as the world’s first website.

    We just take one day at a time. We have gone far with no funding. We are looking at NFTs. DAOs too. Bubiko is ideally positioned for the metaverse: AR and VR.

    What are 3 words you would use to describe Sayuri? Tell us why you choose them. And what’s about yourself?

    SB: I would say Sayuri is detail oriented, cautious and creative.

    Detail oriented: because she excels at planning our trips and projects.

    Cautious: because she is inherently shy as well as extremely concerned about preventing mistakes from happening. She does not automatically say “no” to new ideas, but will ask a lot of questions before she feels comfortable acting upon them.

    Creative: Sayuri’s creativity and sensibility have made Bubiko’s appearance and mannerisms believable and charming. As we begin to work more with photos, videos and edutainment projects her creativity will further be on display.

    For myself, I would say that I am lucky, hardworking and unexcitable.

    Lucky because my backgrounds as an artist, photographer, filmmaker, producer and writer are now interacting and being fully utilized as I explore the new worlds of AR and VR. I am also especially lucky toe surrounded by so many positive and supportive individuals, organizations and companies. Sayuri and I are not with a big company, nor associated with a university nor receiving grant money; we are self-funded in a world where that is extremely unusual.

    Hardworking: Sixteen hours a day, or more.

    Unexcitable. I cannot say I am truly patient. But whether things are going great or terrible, I think I still plod on. When things go well, hopefully that is the result of the hard work and planning. When something bad happens, I know that that is a part of life and should not be cause for prolonged unhappiness.

    In 2020 you created in Bari a spatial cinema experience called Bubiko: First Flight. “ and you worked with Augmented.City. How did this collaboration with Katherina Ufnarovskaia start?

    I was invited to speak at the 2020 VIEW Conference in Turin, which is a remarkable event devoted to animation and motion graphics. In order to really showcase the potential of GeoPose AR, I wanted to make an AR installation in the venue, the OGR, which is a renovated train station. The idea was to have Bubiko flying around signs, videos, balloons and festive, VIEW-related 3D models.

    However to do this, I needed technical support and more. I asked Jan-Erik Vijne, the Managing Director of the Open Augmented Reality Cloud, if he had any suggestions. He suggested Augmented.City, who are doing pioneering AR work in Bari, Italy. I first spoke with Vladimir Ufnarovskii, Katherina’s partner and soon we had a plan to prepare for the OGR.

    Turin menu
    Bubiko Turin menu

    However, Covid  caused a few complications, and the physical VIEW was cancelled. But I was already in Italy, and so the decision was made to create something with the brand new AR testbed that AC made. Suddenly I was learning how their AR system worked, storyboarding, working with Novaby to create a blimp  for Bubiko, looking at locations, and so much more. In less than two weeks we had  the basics of a short film made with AR, a film which has been said to be as historically important as the world’s first website. Have a look at this video.

    You wrote the “Bubiko Foodtour’s Unusual Guide to Augmented Reality” as an introduction to AR technology. Why did you decide to write a guide?

    I could talk at length about my writing and publishing experiences. But to keep it short, I wanted to create a publication that would allow me to connect to AR practitioners. I made it very clear that the book would be outdated almost immediately, and that anyone who bought it should contact me  for the latest version, the most recent update.

    Because I did not do marketing, I did not expect any sales. And this has proved to be correct!  This does not make me unhappy! It means that now, if anyone does buy  that book and writes to me, I will be forced to update it. And this  will make me happy, because it will mean that I can create a version which is based on both on my recent real life experiences, as well as the latest developments in all of AR, not just GeoPose.

    Next October VIEW CONFERENCE 2022 will return in Turin. If you were there which project would you present?

    If I would be invited, I would share the results of the following projects: Snake Lighter, Flock of Bagels, Soda Bread in Time and Space, and, the latest AR adventures of Bubiko.

    It would be wonderful to install these in the OGR.

     

  • Storie in XR: Elisabetta Rotolo

    Le storie in XR e social VR incontrano Elisabetta Rotolo, Chief Executive Officer & Founder di MIAT. Ci siamo conosciute su LinkedIn ed in particolare grazie alla VR/AR Association. Ho seguito un suo speech tenuto all’interno di ‘Metaverse’, evento dello scorso dicembre e da allora sono una fedele lettrice dei suoi articoli pubblicati su Artribune.

    Chi è Elisabetta Rotolo

    Elisabetta Rotolo è CEO, Founder, Creative-Executive Producer and Artistic Director at MIAT (Multiverse Institute For Arts & Technology).

    La storia di Elisabetta

    Scopriamo insieme i primi passi di Elisabetta nell’XR. L’ho intervistata per voi. Su sua richiesta l’intervista è in lingua inglese.

    primo piano Elisabetta
    Elisabetta Rotolo

    What were your first experiences in the XR and your impressions?

    I started to take interest in emerging technologies and among them XR in 2016 after my MBA in the UK. I was undertaking a PhD because I was interested in understanding how serious games in VR could develop emotional intelligence to enable authentic and transformational leadership and how they could help creating and developing more and more Learning Organizations that are guided by authentic, widespread and shared leadership. From that moment I realized that XR technologies would become the next computing platform and that they would be disruptive across all industries, as well as transforming our lives: the way we learn, entertain, shop, experience, meet. For me it was immediately a very clear vision, as if what I saw, and had not yet developed, I already had at hand. It was natural.

    Subsequently I returned to Italy and instead of returning to work within a company, after 20 years as Global Chief Brand Innovation and Communication Officer, I wanted to deepen these issues even more and after researching and touring in different countries in order to understand what was happening in the world. Then I founded MIAT – Multiverse Institute For Arts & Technology, where we train the talents of the future and design and produce immersive experiences based on strong research and with an Artech approach.

    If 23 million jobs are expected in XR with a 2100% growth in 2030, as indicated in your ‘Metaverse’ speech, what could be the role of VR or AR and why? There will be a greater investment in AR (see probable launch of Apple’s smart glasses) due to the high costs of the viewers, the scarcity of VR content, etc. or will there be a change dictated by Meta?

    In recent years in the field of immersive technologies we are witnessing a real revolution dictated partially by the pandemic situation in which a large part of the world is pouring, but also by a change in attitudes and consumption that came with generational change and technological progress. In a short time, the major companies that produce VR / MR headset have reduced the size and costs of the latter, allowing the devices to reach both the homes and offices of companies.

    The growing awareness of the AR and VR sectors has led to an exponential market growth. For example, during the Christmas period, the most downloaded App in the Apple store was Oculus. Consumer habits are changing rapidly.

    Both AR and VR demand have reached new highs as, for example, the need for remote collaboration or participation in virtual events has begun to gain prominence in the commercial sector and new work habits. Meanwhile, the consumer segment continues to be driven by games as a primary use case, fitness has gained some traction within virtual reality, while media consumption remains popular within the consumer segment for the AR.

    According to IDC, shipments of AR and VR headsets reached 9.7 million units at the end of 2021 and are projected to grow to 32.8 million units by 2025 with a compound annual growth rate (CAGR). 45.9%. While VR headsets will undoubtedly lead, AR will face substantial growth from 2023 to 2025 and will acquire a third of the share by the end of 2025.

    Regarding the offer, 100% of the content productions are already made in digital contexts, pushing companies to redefine their business and digital offer, brand strategies, business, art and offer of cultural services. This has given rise to numerous new jobs and opportunities for both young people and individuals and companies who want to undertake up-skill programs. The jobs of the future that underpin the XR sector and the metaverse are of different genres such as: digital creators, directors for immersive content, XR producers and showrunners; XR developer, software engineers, UX / UI designers, Web developers, 3D artists, Animators, Motion Designers and VFX, creative technologists, blockchain engineers.

    The two key factors that have further accelerated this surge in product sales with XR technologies are certainly the shift to remote work during the Covid-19 pandemic and the announcement of Facebook’s rebranding in Meta, which put the concept of metaverse in people’s minds, further pushing the demand for XR products, both in terms of devices and in terms of multimedia content and applications, the various business sectors. From healthcare to precision mechanics, from logistics to real estate , from art to culture to entertainment, up to education and the military sector, all activities are approaching and developing business projects and strategies related to emerging technologies.

    To date, AR is more usable especially when you can experience it through devices such as smart phones or tablets. For example, the sectors in which AR is most popular and effective are numerous, for example:

    • Education: Games like ARchitect, a game that allows students to build 3D bridges, towers, and other structures while learning about strengths and materials, are just the beginning of a long list of opportunities for using AR in education. Inside and outside the classes.
    • Health: like the Eye4Care app, a platform that connects those in charge of home care with remote doctors (or nurses) by video.
    • Retail: with the try-on in AR adopted by global brands from Bulgari, Nike, Gucci.
    • Tourism, art and culture: with AR catalogs and AR tours of important monuments and points of interest such as on the KeyARt app or Google Arts and Culture AR, AcuteArt.
    • Entertainment: In the entertainment industry, it’s about building a strong relationship with your brand characters and the audience, as Niantic and Warner Bros did with Harry Potter Wizards Unite.
    • Repair and Maintenance: Repair and maintenance personnel are starting to use AR headsets and goggles as they go about their work to provide useful information on the spot.

    The panorama of multimedia content that can be used in VR is also in clear quantitative and qualitative growth and is applied to the same sectors, allowing for superior immersion and smoother operation supported by ad hoc performing hardware. VR has been used by large companies in the field of corporate training with programs for their employees and training on soft skills as PwC did. VR can be used in product design and retail as Adidas did, it is functional to education by remote thanks to platforms such as ClassVR and Virbela, and much more as to socialize in VRChat and obviously entertainment with the numerous film productions and documentaries that are found on different platforms such as that of Oculus.

    While VR is more immersive, AR today offers more freedom for the user and more possibilities for marketers because it doesn’t need to be a wearable headset.

    Last June MIAT (Multiverse Institute For Arts and Technologies) opened in Milan, of which you are founder and CEO. How did the idea come about?

    Last June we launched the first Immersive Storytelling Masterclass, which we will relaunch again this year and which is part of the offer of our immersive academy. The idea of MIAT, as I mentioned earlier, was born after an initial interest of mine in 2016 in order to understand the implications of these technologies in developing emotional intelligence and enabling authentic and transformational leadership.

    Then, after in-depth research, I had confirmation of the fact that these technologies would change our personal and professional world, but at the same time I noticed that internationally there were no high-level artistic-creative contents applied to these technologies, with whom I have always had a nerdy approach. I noticed there were no hands-on trainings led by international professionals who teach at a theoretical, practical, experiential level and with a creative development approach to becoming the ArTech of the future, also being able to connect students to the market. Hence MIAT was born which is the first creative and educational hub for the arts and technologies where we offer, produce immersive experiences, train the talents of the future all based on strong research.

    In MIAT we also have a creative center of immersive content, where we design and produce immersive, multi-platform experiences, including, for example, virtual worlds, NFTs, digital twins, immersive storytelling, documentaries and 360 videos, immersive projects to support marketing strategies. and communication, immersive art exhibition.

    foto del corso MIAT
    MIAT in Milan

    Our teams are international global-award winners, mainly Anglo-American, have a decade of experience in the immersive and metaverse sector, are digital creators, storytellers, XR developers, lead artists, filmmakers, immersive sound designers, 3D modellers, riggers, animators, producers creative and executive, digital curators, marketing, branding and communication experts.

    Our immersive Academy is the first in the world where here we train the talents, the ArTechs of the future, both individuals and companies, where e teach them how to develop, understand emerging technologies and their potential, strategic use in business but also develop an artistic mind, creative-technological and strategic and create projects and contents with these technologies. Finally we teach what the metaverse is, how it will develop and how to maximise the positioning of a brand within the metaverse and acquire the skills necessary to respond to these rapid changes in the market. We have a unique and cutting-edge methodology that combines theory, hands- on, experiential, and sensory workshops, and creative design thinking.

    Esercitazione al MIAT
    Student at MIAT

    Did you find it difficult to create this hub which includes an immersive studio and an e-tech Academy? How did you get over them?

    Yes, I have found considerable difficulties. Initially, no one understood what I was talking about. Companies, organisations, investors, friends found it very cool, but they saw it as an incomprehensible and very distant world. In the UK, for example, there is a strong ecosystem and public and private financial support. In Italy, the ecosystem does not actually exist and neither does financial support. The VR in Italy has the logic of small investments with very short exit requests. If we look overseas or even just in Israel, they truly invest in innovation, even in projects that are on paper with $ 1.5 million chips to get start-ups up and running quickly. The phrase I always heard from investors or organisations when they saw MIAT was that it is a visionary project at least 10-15 years ahead of the market and that clearly, I would open it in the UK or the US. Personally, however, I believe in Italy, in my country, a country where talent and creativity are fundamental assets, which is why I decided to open MIAT here.

    Nowadays we talk every day about the Metaverse that you defined as ‘multiverse’ in an article by Artribune. In the panel ‘Are we ready for MetaEducation?’ of the ‘Metaverse’ event organized last December by VR / AR Association you specified that: ‘The metaverse will be also an interoperable dynamic multi-user mirror world story-based & story-driven’. How would you explain it to the famous ‘housewife from Voghera’? What future can it have in the short term?

    The first thing I would do is to let the housewife live and experience the metaverse. The simplest way to describe the metaverse is as a virtual world parallel to the real, physical world, in which people in the form of 3D avatars (their digital counterpart) will be able to move, interact, and perform any activity: work, play, socialize, buy, all virtually. Let’s just take a simple example of one of the many things you can do.

    Imagine waking up one day: you start a virtual meeting with your colleagues or friends with your avatar, present your project or organise a visit to a museum. After the presentation or your visit, you will celebrate with your friends and colleagues at a party where a rock band will give their virtual concert, but before attending, run to your favorite shop and buy the dress or accessories for your evening. After you have chosen what best suits your Avatar, also based on your mood, you pay in cryptocurrency, which will be the currency of the metaverse where you are. After the party, you easily lend your outfit to a colleague or friend who wants to lend it to her daughter, happy to browse it during her concert on Roblox or Decentraland the following day.

    Since now even the housewives of Voghera have a Facebook account, just imagine that the famous social network does not appear only in the form of a blank page but that it is a virtual world, with buildings, streets, plants, and people in which to immerse yourself and live just like if you went out the front door, but with an infinite number of possibilities and without ever leaving home. Now, for example, neither virtual reality viewers nor augmented reality applications are needed, all you need is a stable internet connection and a sufficiently powerful computer or smartphone and access the platforms as you access any website or application. In the short term, VR / MR will develop more and more and these technologies together with other emerging technologies such as artificial intelligence or holograms, for example, will create a strong sense of presence and interactivity.

    Although in people’s minds the concept of metaverse is being consolidated, many platforms are already active and populated, so you don’t need to be a visionary to understand the potential. From a business point of view, it is already possible to access a virtual version of an office and interact with your colleagues just as if we were in the same room, it is possible to access a university campus or a digitally recreated classroom and actively participate to the lessons. Personally, I have several online meetings in a digital sea-like environment, when the temperature outside the home is below zero, it relaxes me, and they are often much more effective than continuous boring online meetings. As for social events, there are many events that have moved online due to the pandemic and in the metaverse instead of looking at a screen, you are immersed in first person.

    The possibilities are endless and for now we have only seen the tip of the iceberg, also because it must be considered that the technological infrastructures to take full advantage of these advantages are not yet universally available. But they are developing fast. AR via mobile in all forms and for any purpose, street navigation, games, social media. MR (Hololens, etc) will start first in industrial fields like the computer did by first entering the offices before becoming a “personal” computer. MR for consumer (“personal MR”) will take time. Only towards the end of the next 5 years will we begin to see sales numbers of MR glasses reaching those who have VR headsets today.

    Why should storytelling have a fundamental role in the metaverse? In your recent speech you said that ‘the metaverse needs to be conceived, designed and built by storytellers’.

    To be habitable and usable to its full potential, the metaverse must be a dynamic virtual space, full of characters who can interact with each other or who ultimately have a well- defined and recognisable identity and history. Just as cities, regions and geographic states in the physical world are loaded with symbolism, traditions and culture, the metaverse will also have to emulate the physical world and therefore it is necessary that storytellers tell the history and origins of the virtual spaces that we will live.

    There is an inherent need for interesting characters and meaningful virtual environments in which to immerse yourself. This brings new and complex narrative challenges:

    • Cities and environments: it is essential to give a history and a clear identity to the virtual environments in which users will immerse themselves, cities cannot be cold and distant, but intriguing and cohesive, to attract users and why not entertain them and arouse wonder and curiosity.
    • Engaging Learning Environments: Academics will find themselves replaced by AI teachers or become edutainers, working with developers, creatives and storytellers to create meaningful experiences for students to experience.
    • Immersive experiences: true, exciting, engaging, to also define how people will meet, live, share and socialise in the metaverse. The contents are not simply generated by storytellers: they also emerge from the interactions between users and favor the birth of entire communities with a precise identity. The storytelling approach to the metaverse is fundamental.
    • StoryBased Characters: With stories and values that can lead to interoperability in the metaverse. This will imply that people can move their Avatar from one platform to another, from one metaverse of origin to a completely different one.

    An ethical approach will be essential. Although the metaverse is an anthropocentric virtual world, it is important that it is created with accessibility, diversity, equality and humanity in mind.

    • Accessibility: The metaverse should be accessible to meet various social needs.
    • Diversity: With physical limitations (such as geography, language, etc.), the real world cannot integrate various elements in one place to meet the needs of different people. However, the Metaverse has a space of unlimited extension and one in which to integrate different communities in different environments and achieve true diversity, diversification and integration.
    • Equality: In the metaverse, everyone can control custom avatars and exercise their power to build a fair and sustainable society
    • Humanity: The Metaverse could be an excellent approach for communication and cultural protection. For example, the Metaverse can provide storage and protection of cultural milestones and relics (Ubisoft rebuilt Notre Dame de Paris as a digital 3D model in Assassin’s Creed Unity)

    There is a lot of talk about immersive education and universities are experimenting with the use of VR and AR. Last November Stanford University launched ‘Virtual people’, the first fully VR university course. In your opinion, what role can XR play in education and in the Italian school / university?

    Due to the post-pandemic educational context, both teachers and students have reached a new level of understanding of technology in the service of education. And this also means that we have learned strategies to cope with the constraints imposed by distance, especially during synchronous lessons.

    Immersive education has the potential to revolutionise education and modernise e educational processes which too often neglect the educational impact of non-traditional media. Immersive technologies allow you to take advantage of dynamic, interactive learning environments, to touch what you are learning with your own hands, complete with engaging experiences, all of which can be used intuitively via devices in both AR and VR.

    The learning environment is not defined as a single virtual place where students meet but as a decentralized place capable of providing different stimuli to students. It is also an interoperable place where students will “teleport” to virtually any historical place or moment, experiencing firsthand what tends to be studied only in books.

    Universities and educational institutions around the world are now on the same starting line. Obviously, there are realities that have infrastructures that are more ready and adapted to this technological transition, but I believe that it is necessary to innovate and experiment with new approaches and tools that can enable all types of activities possible with immersive technologies and above all that are for everyone. They should implement different technological experiences that promote the creativity and collaborative minds of students, increasing engagement and avoiding the risk of boring, ineffective frontal lessons. In Italy we must accelerate the digitisation processes and also the technological infrastructure.

    What do you think about the Metaverse?

    It is very important to me that those who will build the metaverse, individuals and companies adopt an ethical approach. We are facing a completely new anthropological moment in which having the ability to conceive and create immersive contents that is engaging, inclusive and that can inspire the human being and technologies that enable everyone to be able to experience them are central elements to be able to build a better future together.

  • Storie in XR: Katherina Ufnarovskaia 

    Le storie in XR si occupano oggi di realtà aumentata ed incontrano Katherina Ufnarovskaia che ho conosciuto grazie alla VR/AR Association. Avevo seguito alcuni suoi interventi in panel dedicati al turismo, in quanto ricopre il ruolo di Co-Chair VR/AR Travel&Tourism Committee.

    Chi è Katherina Ufnarovskaia 

    Katherina Ufnarovskaia è CEO e Business development alla start up Augmented.City e Co-Chair VR/AR Travel&Tourism Committee.

    La storia di Katherina

    Scopriamo insieme i primi passi di Katherina nell’XR e le sue passioni per la realtà aumentata ed il turismo. L’ho intervistata per voi.

    primo piano di Katherina
    Ritratto di Katherina

    Quando e come ti sei avvicinata all’XR? Quali sono i tuoi primi ricordi?

    La mia storia con XR è iniziata nel 2011. Abbiamo iniziato un progetto di R&D con sensori di localizzazione per i dispositivi industriali geodesici. I professionisti che lavorano in questo campo devono prendere misure precise e determinare posizioni esatte, ovvero localizzarsi. Quindi per la prima volta ho toccato il tema della localizzazione e geoposizione che poi ha portato il nostro Team di specialisti di Computer Vision ad un’altra idea di progetto di XR: riconoscimento da cellulare di porte, di locali e facciate di edifici. Sono apparsi sul mercato i primi cellulari abilitati della funzionalità AR (ARkit/ARcore).

    In ottobre 2019 ho creato una start-up con sede a Bari per fare qualcosa che non era mai stato fatto prima al mondo: realizzare il gemello digitale di una intera città in 3D. Per presentare il risultato del nostro lavoro a utenti e curiosi interessati all’argomento del “digital twin” abbiamo deciso di pubblicare, dopo sette mesi, un’app per turisti a Bari: AC Tourist. Questa soluzione AR fornisce informazioni su luoghi d’interesse, bar e ristoranti, utilizzando la tecnologia “AR Cloud”. La nostra app consente di visualizzare velocemente valutazioni e recensioni di esercizi commerciali, leggere approfondimenti relativi a luoghi del patrimonio storico artistico e culturale della città, o organizzare escursioni a tutti gli effetti senza la presenza di una guida turistica. E per la prima volta, la precisione con cui i riferimenti virtuali corrispondenti agli oggetti reali è nell’ordine del centimetro.

    È importante sottolineare che il concetto di Realtà Aumentata non è una novità negli stretti circuiti di R&D. Ma la possibilità di “toccarla” per la maggior parte delle aziende è arrivata solo negli ultimi anni, grazie ai dispositivi più evoluti ed alle prime versioni di smart-glasses. Per tecnologie giovani come l’XR, un anno è un periodo lungo durante il quale la tecnologia comincia ad essere più conosciuta e popolare. Due anni fa era veramente difficile parlare di “digital twin” ossia modello digitale, la gente confondeva VR con AR. Oggi durante la pandemia la gente comune, nei mercati di consumo si è maggiormente interessata a questi argomenti. E anche a livello tecnico abbiamo fatto grandi progressi: ora la nostra XR è persistente e condivisibile, in parole semplici significa che tanti utenti simultaneamente possono osservare la stessa scena in realtà aumentata, quindi il contenuto non scompare dopo aver chiuso l’app. Questa funzionalità ha dato vita al cosiddetto Spatial Cinema.

    Scene di grafica 3D con personaggi animati possono essere inserite nel mondo reale. Quindi è possibile vedere, ad esempio, la scena di una battaglia storica 3D nel Colosseo.

    San Nicola

    Che cosa ti ha affascinata dell’AR? E quali esperienze reputi più interessanti e utili per i consumatori?

    È difficile dire dove l’AR sia più utile, perché la possibilità di ottenere velocemente informazioni aggiuntive e vedere oltre il mondo reale è quasi essenziale in un mondo dove i processi e i tempi di vita aumentano di velocita ed efficienza ogni giorno di più. Ad oggi sono già noti i settori in cui si stanno implementando soluzioni basate sull’XR: turismo, entertainment, education, industria, edilizia/costruzione, marketing, arte, cultura, ed in campo militare.

    Katherina con una collega

    Una galleria d’arte, un museo, un’industria, ma anche un comune cittadino possono facilmente creare una ricca esperienza interattiva basata sull’AR. Ad esempio:

    • Una mostra d’arte virtuale o una guida AR avanzata in un museo, senza l’uso di goffi dispositivi.
    • Un flusso di lavoro AR su un piano industriale o una piattaforma petrolifera per il controllo di gestione o per la formazione.
    • Una guida AR in un ristorante che può raccontare ai visitatori qualcosa sul cibo che stanno degustando
    • Giochi AR interattivi
    • Un nuovo entusiasmante strumento per mostrare a potenziali clienti come saranno i loro appartamenti.

    Gli ambiti che personalmente preferisco sono il turismo, il mondo della formazione e dell’industria. Questo perché percepisco i vantaggi che può portare l’utilizzo dell’XR.

    Ad esempio, noi lavoriamo in ambito scolastico con ragazzi tra i 10 ed i 17 anni, ed è molto motivante, perché sono immediatamente visibili gli effetti degli approfondimenti ai contenuti storici scientifici trasmessi con l’XR, oltre a suscitare un interesse che fa brillare gli occhi dei giovani.

    I nostri figli, che siano bambini o adolescenti, mai come oggi hanno bisogno del nostro supporto per apprezzare e individuare i veri valori delle nostre radici, del nostro ricchissimo patrimonio culturale e la necessità di studiarlo. Alcuni argomenti possono risultare noiosi per i giovanissimi, spesso perché non si riesce a parlarne nella loro lingua.

    È un dato di fatto che loro sono più tecnologici di noi; la tecnologia è il loro mezzo di comunicazione. Dobbiamo imparare anche noi a saperla utilizzare per trasmettere i veri valori della conoscenza.

    realtà aumentata

    Quali opportunità può offrire l’XR al settore turistico durante la pandemia e successivamente con la ripresa dei viaggi?

    Spero che questi siano gli ultimi mesi di questa terribile pandemia. Ma ciò che rimarrà dopo questo periodo particolarmente strano è che la gente terrà molto di più alla propria privacy, alla salute ed alla sicurezza. L’utilizzo del proprio smartphone che può mostrare più contenuti di valore (rispetto all’utilizzo di dispositivi condivisi), sarà il trend di prossimi anni.

    Avvicinare i turisti, soprattutto se giovani, a temi difficili da capire come la storia, la cultura e la religione non è facile. Una soluzione può essere quella di utilizzare un nuovo approccio come la Gamification. Possiamo raccontare questi concetti attraverso i loro personaggi animati preferiti. La tecnologia XR permette ai turisti di conoscere in modo più suggestivo il patrimonio storico di ogni piccolo luogo, elevando la qualità dell’esperienza del turista in generale. L’XR è uno strumento estremamente potente per promuovere e valorizzare il patrimonio artistico e culturale.

    Grazie alle nuove tecnologie è possibile organizzare eventi da remoto in luoghi diversi nello stesso momento. Un artista non deve più viaggiare per mostrare alcune sue opere d’arte. Se esiste già una copia digitale (spazio 3D) della città, un artista facilmente può realizzare una mostra in realtà aumentata (senza dover pagare l’affitto di uno spazio espositivo).

    Un’altra novità è rappresentata dalla guida gastronomica. Un personaggio 3D può presentarsi al tuo tavolo del ristorante e raccontare la storia del piatto che hai ordinato. Sembra una cosa fantastica specialmente se parliamo di un ristorante di cucina asiatica in occidente oppure per i turisti provenienti da paesi asiatici o arabi che ordinano un piatto europeo a loro sconosciuto.

    L’app costruita con la collaborazione della città di Bari è stata presentata nell’estate 2020, ma ha già vinto premi prestigiosi come Huawei Innovation Contest 2019.

    Il premio è stato vinto dalla tecnologia che abbiamo utilizzato e non dall’app. Fra poco non sarà necessario scaricare un’app per godere dei contenuti del Metaverso. La tendenza è arrivare alla webXR, cioè un utente dovrà solo aprire il link su un browser e utilizzare la camera del suo smartphone.

    Quali caratteristiche innovative ha e quali altre città sono previste nel prossimo futuro? Facendo il download ho letto che sono disponibili San Pietroburgo e un quartiere di Amsterdam.

    Ad oggi abbiamo spot in 167 città del mondo tra Italia, Stati Uniti, Olanda, Inghilterra, Russia, Turchia. Recentemente Ankara e Istanbul hanno ricevuto lo status di un test ben 3D grazie alla nostra app che ne ha realizzato il digital twin. Siamo motivati di non fermarci.

    management system
    Management system AC

    Quale sarà il ruolo dell’AR all’interno del Metaverso di cui tutti parlano negli ultimi mesi? 

    Il Metaverso è un’altra dimensione, uno spazio libero, ancora privo di censure per ampliare e migliorare il mondo reale. Il Metaverso è XR, ma globale. C’è ancora tanto lavoro da fare per sviluppare e consolidare il Metaverso. L’AR potrà essere uno strumento indispensabile per la sua fruizione, ma la tecnologia, di pari passo con la sua diffusione, ha ancora molti traguardi da raggiungere.

    In futuro le riunioni che oggi si tengono via Zoom o altre piattaforme di videoconferenza molto probabilmente si terranno nel Metaverso, con una migliore interazione tra i partecipanti. Avremo un gemello digitale del nostro Business e amplieremo enormemente la nostra rete di relazioni commerciali e personali. Alcune aziende sono già al lavoro per creare ibridi basati su avatar di realtà virtuale e ambienti in realtà mista che trasformano il lavoro a distanza in un’esperienza significativa e produttiva. Il mondo dell’Education sarà stravolto da questo nuovo approccio, con innovative piattaforme che raggiungeranno milioni di studenti con modelli formativi molto più immersivi e performanti. Il Metaverso, che ormai tanti chiamano Multiverso, rappresenterà secondo molti una rivoluzione pari a quella che c’è stata con l’avvento di Internet negli anni ’90. I primi capaci di comprendere la portata di questa rivoluzione certamente ne trarranno enormi benefici.

  • Storie in social VR: Stefano Lazzari

    Le storie in XR e social VR tornano in Italia ed incontrano Stefano Lazzari noto nel metaverso con l’avatar Stex Auer. Ci siamo conosciuti in alcuni eventi in AltspaceVR, perché fa parte del gruppo Pyramid Cafè e di Meta Oculus Community Italy® | Italia. Affascinata dalla sua competenza su VR e mondi immersivi, ho scoperto di avere molte conoscenze in comune con lui. In fondo i mondi XR e social VR sono delle piazze virtuali dove il networking esce dalla rete e diventa reale.

    Chi è Stex Auer

    Stefano Lazzari aka Stex Auer è un Innovation evangelist, Media Content Manager e Social Media Strategist. Nel 2018 ha fondato Digitalguys.it, un network tra professionisti del digitale. A mio parere, risponde perfettamente all’archetipo dell’esploratore, perché fin dagli anni del boom di Second Life ha continuato a far ricerca e a tracciare nuove vie.

    La storia di Stex

    Scopriamo insieme i primi passi di Stex nell’XR e le sue passioni per i mondi immersivi. L’ho intervistato per voi.

    Stefano Lazzari
    Stex Auer

    Ciao Stefano, presentati ai nostri lettori con 3 parole chiave

    Ah, partiamo difficile, Simo!  ma è una sfida a pensare, e dunque l’accolgo ben volentieri e… fammici pensare… a few more minutes of waiting…ecco.

    Traiblazer

    Sono un trapper, un tracciatore di piste, ho vissuto da pioniere quando i modem pigolavano a 54 k, quando le pagine web erano grigie, i testi del minitel erano verde fosforo, quando la rete, tutto quello che stiamo vivendo era nei  romanzi cyberpunk, e si faceva phreaking nelle cabine della SIP, ci si incontrava con Gomma e Caronia a COX18, si  leggeva Decoder e Neural e si ascoltavano le Posse e i Talking Heads.

    Chi è pioniere, pioniere resta, annusa il vento per sapere da che parte arriverà la pioggia, e legge le orme sul terreno per capire il futuro… con il  GPS in tasca ovviamente. Spento. Tanto non serve.

    Space cowboy

    Dei miei trent’anni ho perso l’elasticità, ma perdio sulla tastiera vado veloce, molto veloce, e giù nel ciberspazio poco  conta quanto l’entropia universale ha influito sul tuo corpo fisico. Il bello di essere un vecchio geek è che non c’è missione disperata che ti  spaventi, non c’è ingaggio economico, o carriera che ti alletti o debba raggiungere o  difendere. Un grande sogno e i soldi per realizzarlo. Io ci sto,  vengo anche solo per divertirmi. Anzi, spesso solo per  quello.

    Zoomer

    Sì, sono un Boomer, ma zip.  Moses Znaimer è il nostro campione.  everythingzoomer.com la nostra bandiera.

    Una buona definizione di noi Zoomers italiani potrebbe essere quella di “Generazione de I Quindici” di cui io mi onoro di avere la prima edizione del 1964 e sulle cui solide fondamenta basa tutta la mia insaziabile sete di  futuro. “il meglio deve ancora venire” ci diceva. Ed è il  minimo che mi aspetto.

    Stex alle origini del metaverso
    Stex alle origini del metaverso

    Ti definisci nel tuo profilo LinkedIn ‘Innovation evangelist’ che cosa significa per te l’innovazione?

    Altra bella domanda. Mi sarebbe piaciuto lasciarmi trasportare dalla poesia e darti la risposta che più mi  piace.

    L’innovazione è  “La lotta fra tradizione e invenzione, tra ordine e avventura“.

    Queste belle, bellissime parole che mi commuovono alle lacrime non sono mie, sono di Guillaume Apollinaire, il poeta con cui ho condiviso la mia educazione sentimentale e la crescita del mio immaginario e delle visioni che solo la  sensibilità al futuro ti sa dare.

    Credo che la nostra sia stata la generazione che ha avuto la fortuna di vedere arrivare l’onda delle nuove tecnologie, e di averne costruito gli scenari che noi oggi viviamo… o subiamo, perché non siamo stati in grado di governarli. Questo sarà compito della generazione che ci segue e che avrà questa grande sfida da risolvere: fare andare il futuro  dove è meglio, possibilmente con equità, inclusività e resilienza.

    Per questo motivo e non per altro, per dare il testimone di questa corsa, dò la mia seconda definizione preferita:

    L’innovazione è la  capacità di realizzare l’improbabile

    Queste sono le parole di Piero Bassetti,  fondatore e guida della Fondazione Giannino Bassetti, che sintetizza molto  bene il mio pensiero nella sua trasformazione da poetico a pratico, probabilmente più utile come strumento per  manipolare il futuro. Diamoci una mossa!

    Il tuo avatar ‘Stex Auer’ che definisci ‘gemello digitale’ è lo stesso fin dal 2006 quando sei entrato nel Metaverso? Perché hai scelto questo nickname?

    Intanto sapere cos’è un gemello digitale, aiuta.  Ci dice Wikipedia:

    Un gemello digitale è la rappresentazione virtuale di un’entità fisica, vivente o non vivente, di una persona o di un sistema anche complesso.”

    Di me stesso ho spesso detto: “io  sono tutti i miei  dispositivi”, mettendo sullo stesso piano ogni  forma nella quale  si  rappresenta la mia personalità, che sia un profilo social, un avatar, la mia persona.

    Dunque sì, io sono me stesso in tutte le mie manifestazioni digitali o fisiche, Stex è Stefano, e lo è da sempre, e lo sarà: se ho tante espressioni corporee, ho un’ identità unica.

    Anche il mio Nickname è in effetti il frutto di una fusione: Stex è un mio soprannome storico. Me lo diede la fidanzata di Alberto Marchisio negli anni  ’90 una sera a casa sua, ragionando di musica (Alberto stava scrivendo per Castelvecchi “Trance & Drones” un libro sulla musica elettronica), mentre Auer era un “cognome di generazione” in Second Life, lo si poteva scegliere da abbinare al nome da una lunga lista. Cercavo Willer, Stex Willer,  ma non c’era. Ho scelto Auer, suonava altrettanto bene. Da allora Stex e Stefano sono la stessa cosa. Stefano non mi chiama più nessuno, neppure  mia moglie.

    Stex Auer
    Stex nel metaverso

    Ricordi le tue prime esperienze in XR e il tuo primo visore?

    Certo che si! Sarebbe come non ricordarsi della prima bicicletta, del primo bacio.  Mi ricordo, inquadrai la cover del  libro di Steve Jobs,  editato poco dopo la sua scomparsa, dove campeggiava il suo ritratto che si mise a parlare. Come un quadro a Hoghwarts. Fantastico. Il mio primo visore è stato un Oculus Rift, tutt’ora perfettamente  funzionante a fianco del fratellino Quest. Che dire? Avevo gli occhiali appannati, metterlo fu un casino, e togliendomelo mi caddero a terra. Non un grande inizio. Ma poi è stato amore.

    casa di Stex Auer nel metaverso
    La casa di Stex

    Eri appassionato di Second Life e all’epoca conoscevi già Magicflute Oh? Ci puoi raccontare qualche aneddoto curioso e/o divertente dei mondi virtuali che frequentavi?

    Sì,  ci siamo conosciuti in Second Life,  negli anni del Boom della  piattaforma. Cose mai viste. E  ancora oggi rimane  quella che più si avvicina al concetto di Metaverso… ma è un altro discorso. Dunque dicevo… certo non era l’unico  mondo possibile, anche allora ci furono diversi esperimenti.

    Uno riuscito era v-Side,  un mondo oggi scomparso.

    Sono entrato in vSide nel 2006, allora si chiamava ancora “The Lounge”. Bello graficamente, con molte possibilità di lavorare sul movimento e l’espressività dell’avatar: danzare, muoversi, esprimere emozioni con il corpo. Gli ambienti statici, ma pieni di luci e ombre, anche se le texture erano evidentemente fasulle e un po’ piatte, sembra di muoversi in ambienti profondi.

    Un ambiente blindato, senza altra possibilità che giocare, ballare, fare shopping. In giro, nugoli di ragazzini dai nomi improbabilissimi e dal linguaggio fatto di “yo!” “lol” e poche altre parole acronimizzate, del tutto incomprensibili. Giocano a fare piramidi umane, balletti sincronizzati o cascano a terra dal ridere.

    Me ne sono andato perchè non capivo letteralmente nulla di quello che si dicevano, Uno slang che mi ha  condannato all’esclusione. Le poche volte che cercai di dialogare,  mi sgamavano subito, usavo troppe parole…

    Sei da vent’anni nel digitale e soprattutto nel content. Quali cambiamenti positivi e negativi hai notato e puoi evidenziare?

    Cambiamenti, nel  senso di evoluzione, tantissimi. Posso dirti tranquillamente che praticamente nulla di quello che  erano le procedure e le tecnologie per lavorare nel digitale a fine anni  ’90 e poi nel web del 2001 esiste oggi. La cosa  che però mi preme sottolineare che nulla di quello che riguarda il mio lavoro esisteva prima.  Letteralmente. Ce lo siamo praticamente inventato.  Siamo stati in assoluto i primi a comunicare con il digitale. E questo mi fa pensare che molto probabilmente fra vent’anni, quando si  farà questa domanda a chi oggi inizia il percorso delle  VR/XR/AR si  troverà a dire le mie stesse parole, e tutte le tecnologie che useranno,  oggi  semplicemente,  non esistono.

    Il  digitale, per sua natura, è una cultura che non ha pratiche tradizionali, è continuamente in perpetual  beta, l’instabilità è il suo stato naturale. Leggete Kevin Kelly,  in “L’Inevitabile”,  racconta bene questo stato. Non so se è bene o male.

    Com’è nata l’idea di fondare nel 2016 il network Digitalguys.it? Quali esigenze può soddisfare?

    Nasce dall’idea di mettere a fattore comune le conoscenze che avevano un gruppo di colleghi e amici per seguire sentieri fuori dai percorsi professionali convenzionali, esplorando percorsi nel digitale e nelle tecnologie poco battuti: in primo l’etica, e poi oggi, la virtualità. In futuro, vedremo!

    Hai collaborato alla costituzione di Meet The Media Guru e ora sei all’interno di Meet – Digital Culture Center. Recentemente mi hai scritto: È ora che la tecnologia si rifletta nella cultura e non viceversa’. Ci spieghi il tuo pensiero e il tuo ruolo in Meet?

    La mia storia professionale si è intrecciata con quella del Meet veramente in tempi non sospetti, all’alba di quegli anni  ’90 in cui tutto è cominciato. Sin da subito la rivoluzione digitale si rivelò come un processo innovativo, nato tecnologico, ma che in effetti coinvolgeva tutti gli ambiti del nostro vivere. È così pervasivo, così facilitante, così leggero e così rapido, così adattabile a tutte le nostre attività che l’abbiamo fatto nostro con entusiasmo, senza troppo soffermarci sulle sue esternalità.

    I cambiamenti avvengono in corso d’opera e non è facile riconoscere quando è il caso d’intervenire. È il dilemma di  Collongridge:

    Quando il cambiamento è ancora facile non ne comprendiamo la necessità. Quando il bisogno di un cambiamento è evidente, è ormai difficile e costoso introdurlo.”

    Ebbene è ora di iniziare a ragionare sul futuro della nostra società digitale a tempo, prima che sia troppo difficile e  costoso farlo. Noi crediamo che per poter effettuare questo cambiamento, il driven sia la cultura che deve condurre, e  non farsi più condurre dalla tecnologia.

    Intelligenza Artificiale, Virtualità, Robotica, Blockchain, cosa ne vogliamo fare?

    Parte del mio lavoro al MEET è proprio questo, ed è quello che ho sempre fatto: esplorare, guardare lontano. L’altro  è comunicare quello che si è visto e metterlo in pratica.  

    Che percorso consiglieresti ad un giovane che desideri approcciarsi all’XR?

    El niño que no estudia no es un buen revolucionario,  mi diceva Castro. Io da giovane studente negli anni  ’70 ho  cercato (malissimo) di attuare l’idea di studio come pratica rivoluzionaria,  come esplorazione non convenzionale  della realtà, come servizio alla comunità. Forse questa visione non è così obsoleta come sembra, e comunque merita a chi oggi inizia un percorso, una riflessione su come uscire dall’area di comfort dei propri interessi e di proseguire oltre.

    In fondo, niente di diverso da quello che ha detto Jobs: “stay hungry, stay foolish

    In una serata in AltSpace VR ci hai parlato della tua idea di Metaverso dal punto di vista tecnologico, ma soprattutto etico. Quali sviluppi possiamo aspettarci a breve?

    A breve prevedo grandi spostamenti di denaro. Gli imperi si stanno muovendo sullo scacchiere del Metaverso,  qualunque cosa sia nella testa dei grandi investitori. Credo che di etica tocchi a noi parlarne, ma con meno, molto  meno soldi.  Conto che ad ascoltarci ci siano ragazzi affamati e pazzi.

  • Storie in XR: Carlos J. Ochoa Fernández

    Le storie in XR hanno un respiro internazionale nel 2022. Chi frequenta i mondi di social VR e si occupa di XR conosce bene Carlos J. Ochoa Fernández che ho avuto il piacere d’intervistare per voi. Il nostro incontro è nato grazie alla VR/AR Association e in particolare all’Education Committee di cui Carlos è Co-Chair. Da formatrice ed appassionata di extended reality ho iniziato a seguire i suoi speech e a partecipare agli eventi da lui organizzati. Nel 2019 ho avuto anche l’occasione di ascoltarlo dal vivo a Piacenza all’evento ‘Scuola e virtuale’ dedicato all’education.

    Per la prima volta l’intervista sarà in lingua inglese, ma ‘stay tuned’, perché ne seguiranno altre. Ampliamo i nostri orizzonti per conoscere e comprendere i cambiamenti in atto nella formazione e nella comunicazione.

    Incontriamo Carlos J. Ochoa FernándezLet’s meet Carlos J. Ochoa Fernández

    Founder and CEO of ONE Digital Consulting, President VRAR Madrid Chapter, Co-Chair of VR/AR Education Committee, Immersive Learning Founding Member, ICICLE X-Reality for Learning and Performance Augmentation SIG, Member of Smart Cities Experts Group of AENOR (Spain).

    Engineer from Madrid Polytechnic University, MBA from Babson College, Postgraduate in Innovation and Entrepreneurship by Maryland University, Master in Digital Marketing for International Business Development (ICEX) and ITC & Gis Certificate by Siemens Data-Technic Schule (Germany).

    With over 30 years of International experience in the Innovation and New Advance Digital Technologies in ITC Industry and Digital Education. Leading successful organizations (SIEMENS, Sagentia, Altran, Founder and CEO of E_Learning Consulting, ONE Digital Consulting & SmartEducationLabs) with a balanced strategic mission and innovative business development vision.

    Author of many publications, articles, and the White Paper “Best Practices in VR in Education” and “State of Art of XR in Education 2020” by VR/AR Association.

    Foto di Carlos Ochoa Fernàndez

    And now Simonetta and Carlos will talk about XR, VR education and many other topics.

    Let’s start with ‘WHY, as Simon Sinek’s Golden circle ‘docet’. Why did you approach XR?

    Throughout my long professional career, I have been a very restless person, always attracted by emerging technologies and their application to the real world from different perspectives.

    Especially in projects where the integration of complex solutions and technological convergence was required.

    It was during my time at Siemens, when developing the Forest Plan project of the Community of Madrid, on environmental protection in forests and natural parks, we had the need to develop a simulation model of intervention and prevention of forest fires, evaluating its impact and subsequent reconstruction over the years.

    To do this, we used different technologies, a GIS (geographical information system), integration of digital terrain models, cadaster data, land uses, and satellite images at different times of the year, in order to carry out evaluations and simulations, etc. At this time, together with engineers from different universities, we have already developed a very complex three-dimensional visualization and simulation system. Integrating vector, raster and alfa-numeric data in the same model.

    At the Polytechnic University, I specialized in geodesy and photogrammetry and later, I expanded my studies in information technology and geographic information systems for two years, at the Siemens University in Germany. Which allowed me to have a very powerful knowledge and vision of three-dimensional environments, their integration with gis and subsequent modeling for simulations and impact studies.

    I subsequently specialized in urban planning and cultural heritage, applying 3d reconstruction technologies, animations and virtual reality technologies in the development of various R&D projects in Europe.

    This is the evolution and why I entered the world of Virtual Reality. What is synthesized and summarized in one of my favorite projects: The Virtual Reconstruction of the Islamic City of Cuenca, and its evolution over the years to the present.

    City of Cuenca
    Magical and Mystery Tour around Cuenca.
    Cuenca in VR
    Virtual tour – Cuenca Islamic City

    When have you tried on your first headset? Do you remember your feelings? Do you have any funny memories to tell us?

    Yes, of course, I remember those very first experiences. Recently a colleague from the VRAR association reminded me of it. It was around 1993, more or less, at a computer fair in Madrid. When I put on my first VR helmet, that giant device, full of cables, was super heavy and uncomfortable, to say something. The experience was like getting into a diver’s scuba diving suit.

    I remember perfectly that I was in the middle of a deserted street, it seemed like the Wild West… I walked around for a while, and approached a mirror of that stage, and I began to move my arms and I could not see myself reflected. I automatically decided to take off the case and respond to the technical staff…this doesn’t work. If I don’t see myself, it’s not real… They were left with a face of absolute frustration… I left disappointed. I have to confess that I am very much an engineer, I like to touch, feel, and apply… I leave the metaphors for my intimate world.

    In that time, my team and I at Siemens, worked with stereo graphics images from satellites with 3d glasses and silicon graphics workstations, overlaying vector maps in 3d for urban planning and environmental simulation…there were really exciting times. Have a look at this video.

    You wrote the “White Paper” of “Best practices in VR Education” for the international VR/AR Association. You are a co-chair of VR/AR Education Committee and speaker in many conferences and workshops about innovation and immersive realities. What are the benefits of XR in education? Do you think that virtual education will have a great impact in 2022 in Spain and in Europe?

    This is a question I ask myself year after year. And 5 years have passed since my presentation at the International Conference on Innovation in Education ICERI 2016, Are we ready for disruptive education with VRAR?

    After all this time, many hours of investment, effort and evangelization around the world, I see that there is still a long way to go. It is an experience that is sometimes rewarding and sometimes frustrating.

    Sometimes I have the feeling that we take two steps forward and one step back. And I keep wondering why. Why do we keep talking about the same things as 5 years ago, repeating the same slogans and set phrases… without too many promises kept?

    But the lessons learned should make us reflect, listen more to the user’s needs, their priorities, in short, listen to reality, and not work and theorize about an imaginary or desired reality. This doesn’t work like that, and it’s very similar to what’s coming up with the Metaverse at the current time.

    There are experiences, exemplary use cases… but acceptance and implementation take a long time, more than expected. Changes in the educational system require time, and a clear and well-defined value proposition. Beyond slogans about advantages and benefits, what is needed is evidence that supports the use of immersive technologies in the classroom and later, to see opportunities to replicate these successful models. But always from a global perspective, integrating technologies and not observing them in an isolated way. And it is here, for many reasons, that it is worth exploring and analyzing carefully.

    How our ecosystem is configured, where we want to go, what are the real needs of the stakeholders, what is the implementation plan, the training plan, the budget and the sustainability plan that guarantees future investments based on results obtained. And this process, in public education, is very complicated to establish, beyond pilot programs, a lot of will, effort and investment.

    During the last 20 years, I have had the opportunity to work with a large number of international educational institutions, publishers, governments, etc., assisting them in their digitization processes and the results are seen over time.

    The basic pillars are well defined, and if we go down this path, the results, I am completely sure, will exceed expectations.

    To support this conviction, I would like to highlight two of the most representative activities that we have carried out this year from ONE Digital Consulting: The VR/AR Train the Trainers program, with the participation of more than 1.000 teachers from all over the world, and the project “Music with the 5 senses” with the Reina Sofia Music School, to bring classical music and values closer to young people from 13 to 17 years old, to schools.

    Music with 5 Senses. DES 2021 IFEMA

    More than 1,000 students from different educational centers in Madrid have already experienced in first person, with a truly outstanding acceptance.

    the Reina Sofia Music School

    Education and training are the basis of everything, and especially when we want to implement new changes in the society.

    The Covid-19 pandemic caused a disruption in education. We have experienced an important adoption of VR and AR in some schools and universities (Università degli Studi di Napoli ‘Parthenope’ and Politecnico of Turin). Someone started to teach in metaverse (Altspace VR, etc.)  What are the most important changes we should make in educational strategy and in learning methods?

    Education is a system; teaching is an action; learning is a process.’ Terry Heick.

    Yes, it is true that Covid has had a direct impact on all aspects of our daily lives and, of course, on the educational system. Revealing the great weaknesses that it maintains, the problems of sustainability and technological adaptation, methodologies and responsible adoption of devices, connectivity and accessible content.

    It has been a global experience, where the answer has been: save yourself.

    In the face of great challenges, small solutions. This has helped certain institutions, or rather I would say, individual evangelizers, have been able to find solutions that would allow virtual access to classes, monitoring and tutoring. And with more or less success, some institutions/teachers have entered the world of collaborative virtual platforms, learning with their students to get the best possible performance and results. Discovering how to apply them, improve performance and maintain contact with students, in the best possible way. And all this, expanding the local ecosystem and having the opportunity to share experiences with teachers and students from all over the world. Something completely unimaginable just two years ago.

    I would not dare to call these platforms Metaverse, since they were not born under that architecture or functionality, but they have served to learn to interact in a virtual environment, interact in a community and carry out activities that would have been impossible otherwise.

    During these exciting times, some truly pioneering experiences have been developed worldwide, in which I have been lucky enough to actively participate and collaborate. As the first virtual congress of AWE in 2019; the first virtual congress of Educators in VR in Altspace, with thousands of participants from all over the world connected 24-hour online sessions throughout a week; or the experience of ILRN and its virtual platform in Virbela. An authentic global virtual campus, with classrooms, work centers, meeting rooms and experiences, open to Universities and Communities from all over the world.

    Now, with the progressive return to the new normal, it is time to carefully analyze what we have learned, and how to apply a hybrid learning model and how to restructure teaching and learning methodologies in this new context.

    At this point, many contradictions and discussions between presence and virtuality appear. And this is not the debate.

    Generally speaking, Schools and Universities must train us as citizens and future entrepreneurs or employees of organizations in the real world. And this real world is rapidly changing towards collaborative, multidisciplinary, virtual and global organizations. Where their main activities are developed focused on projects, with teams built specifically focused on that project. They start and ends very fast, and rebuilt based on the specific needs of every kind of project. Therefore, presence does not make sense and in many cases, it is expensive and unfeasible, since these multidisciplinary teams are spread all over the world, in addition to not adding value to the client.

    Obviously, educational institutions, their leaders and governors, have to be aware of this, or else, the educational system, the years lost and the degrees obtained will not serve to get a job in the digital society, reasons for frustration and drop out.

    In this context, the current staff and their role must also be redefined. They must become change agents, intrapreneurs in their organization, and be trained in new methodologies and ways of working that are closer to today’s societies, more digitized and transformed, in order to take on its new challenges and not frustrate students on their way to find work after years of study, effort and sacrifice.

    Thus, a redefinition of the educational system at a global level, a methodology review of teaching and learning methods is urgently required. Combining real life experiences, with ethics and essential foundations of philosophy and science.

    And why do I say this? Many of the current challenges of the human being have already been raised by the classics, and if we read and listened to them more often, they would help us to solve future situations much better, which have been repeated throughout the history and evolution of man on earth.

    Regulation, transparency, and ethics for meta-humans, a challenge for real humans.

    What would you suggest to a young person who wants to approach immersive realities? 

    My personal recommendations would be the same that I make to the students who carry out their internships in our company ONE Digital Consulting center.

    First, open your senses well and be willing to get excited and excited by living and experimenting unique experiences. If you’re not going to do something extraordinary, forget it. You better not to try.

    Study, read and participate in reference forums and events, which allow you to complement your education and skills, and identify your future road to success. Looking for that space, where your commitment, contribution of value and knowledge, will make you feel that you are doing something truly unique and transcendent.

    Do not get carried away by siren songs, bloggers and easy marketing mega trends, there are no shortcuts. Effort, work, study and the network will be your allies. These can be anywhere in the world and you can be one of them.

    Study and let yourself be advised by experts, mentors who will help you develop this new career, which requires time and being constantly up to date.

    Practice, enjoy and unleash the imagination where no one has gone before. There you will have your reward and it will be excellence.

    Immersive realities, is the convergence of several advanced technologies, where you must find the best journey peers to complement your value proposition. You will find them on the net, groups of experts… there are innumerable channels of experts with incredible talent, you must be there.

    During the summer of 2021 the metaverse became a buzzword and attracted many brands. What should we expect in the future?

    We live in challenging and confusing times. A very harsh reality, where great inequalities appear between countries, cultures, regions… which makes us a much more fragile society than we initially thought. And this has its impact on the economy, personal development, customs, quality of life, and of course on education…etc. You have to be prepared to act and deal with unpredictable situations at all times. Be alert to signs, changes, migrations, pandemics, climate change, new forms of work, coexistence, leisure, communication, and personal relationships. This opens opportunities and in turn, closes doors.

    The digital transformation agenda has been disrupted. There will no longer be a beginning and an end. It is a permanent state of adaptation to the social ecosystem that is in permanent transformation.

    Although it is true that apparently many of these changes are not visualized, they are perceived as a tsunami, which arrives almost without warning and devastates everything.

    The phenomenon of the Metaverse is a clear example of this. Something that everyone talks about, and very few know, understand, and are able to visualize it and materialize it in the future.

    But there is no doubt that new business models are being developed, regardless of existing rules and regulations, where winning is the fundamental objective, at any cost. After great phrases, words, and marketing actions, strong trends appear that impose their fashions or part of them. In any case, this would be part of another very dense chapter, and for now, I do not want to go much further. But I am especially interested in some aspects, in particular those related to education.

    And education is the basis of everything. Educate in, by, and for.

    I recently had the opportunity to host the Metaverse at Education panel at the VRARA Metaverse Summit. “Are we ready for MetaEducation” was a complete success, with more than two hours of debate, 5 speakers, 60% women, and more than 200 online attendees. Here we talk about the current state of the ecosystem, the progress made in these two years, and the impact it was having on the world of education. We reviewed the benefits and barriers, as well as relevant critical aspects, on security, identity, bullying, harassment, equality, etc… a very interesting debate that opens the doors for us to work on these new horizons that are opening up before us and that I have allowed myself to go back into new immersive spaces and define the interrelationships between emotions, expressions and their temporary or ephemeral materialization in micro-universes.

    Last but not least, I would love to share my very first experience around what I call “Metaphorical MicroUniverses”.

    Carlos J.Ochoa MicroUniversos
    MicroUniversos Metaforicos

    Last year I received a commission from the Escuela Superior de Música Reina Sofía to record a classical music concert with works by Mozart, Tchaikovsky, and Respighi. In order to make it reach schools, during the pandemic, through immersive virtual reality experiences.

    To do this, we recreate 13 unique experiences, around each of the themes of the three musicians. Contextualizing them around an immersive story and narrative, with the story of a luthier, who explained the history of the construction of a violin, until reaching the interpreter who manages to get the best sound out of unique wood.

    More than 2,500 hours of work, recorded with 3 360º cameras, many hours recording sessions, ambisonic sound, more than 20 different locations, 3D models and recreations, virtual environments, and their integration into an immersive space, which recreates these “Metaphorical MicroUniverses”, which have already toured several schools in Spain with truly extraordinary success.

    An experience that can only be enjoyed from this space in virtual reality, and that is the context where we continue working on new immersive experiences… that will soon see the light. Have a look at this video in YouTube.

  • Storie in XR: Antony Vitillo

    Le storie in XR sono dedicate oggi ad Antony Vitillo (Tony per la rete). Seguo Tony da diverso tempo, ma ho avuto l’occasione d’incontrarlo qualche anno fa ad un evento a Toolbox Coworking dedicato all’extended reality. Da allora ci siamo incrociati spesso sul web e nel social VR. A novembre 2020 Tony era stato tra gli host del Virtual Reality Day, una maratona di 24h internazionale che ho seguito in Altspace VR.

    Lo scorso maggio l’ho coinvolto in un panel organizzato da Viscom Italia dal titolo ‘Digital Viscom Talks – New experiences in the ‘new normal” dedicato all’XR e al gaming. Se desiderate approfondire andate su YouTube al link.

    Chi è Antony Vitillo

    Antony Vitillo è uno sviluppatore, consulente e blogger di realtà immersive. Ha iniziato a lavorare nella realtà virtuale dal 2014 e da allora si è distinto per aver preso parte a progetti dalla forte componente innovativa. Il suo blog è considerato un punto di riferimento per i tecnici di realtà virtuale e ha partecipato come speaker ad eventi di caratura internazionale.

    La storia di Tony

    Scopriamo insieme come e perché Tony si è avvicinato all’XR, il suo percorso nelle realtà immersive. L’ho intervistato per voi.

    Quando e come ti sei avvicinato alla XR? Qual è la tua storia di multimedia developer? Hai iniziato prima ad occuparti di VR o AR?

    L’anno in cui ufficialmente ho iniziato con le realtà immersive è stato il 2014, ma in realtà il mio interesse per la multimedialità era iniziato molto prima. Il mio percorso universitario era già indirizzato verso le tecnologie multimediali come computer graphics e computer vision, vista la mia passione per il gaming. La mia tesi fu nell’ambito della computer vision, e feci una ricerca sul tracciamento delle mani. A tale scopo lessi moltissimi paper di computer vision, e scoprii ad un certo punto una serie di algoritmi che permettevano di vedere degli oggetti virtuali sopra una scrivania o sopra la mano di un utente all’interno di un flusso video di una telecamera. Era realtà aumentata, ma ancora non lo sapevo, però fu una cosa che mi affascinò moltissimo e decisi di approfondire l’argomento.

    Qualche anno dopo, iniziai a collaborare con il mio ex compagno di università Gianni Rosa Gallina e a sperimentare nuove tecnologie con lui. Realizzai anche un prototipo di engine di realtà aumentata per Windows Phone… e devo dire che per 4-5 secondi funzionava anche! Ma fu il 2014 l’anno della svolta, quando Gianni e io decidemmo di unire le forze e dedicarci a fare una startup su queste nuove realtà immersive. Provammo i Google Glass, di cui c’eravamo innamorati vedendo i video promozionali su Youtube, ma… ecco… diciamo che erano mooolto prototipali (un eufemismo per non dire peggio) e inadatti a realizzare la realtà aumentata dei nostri sogni. Fortunatamente Gianni aveva comprato anche un altro dispositivo, l’Oculus Rift DK2, di cui al tempo non sapevo nemmeno l’esistenza. Lo indossai un giorno di settembre del 2014 e bam! Mi innamorai all’istante di questa tecnologia, che mi permetteva di vedermi in una verdeggiante villa in Toscana anche se in realtà ero in un grigio ufficio di Torino. Non c’erano avatar, non c’erano controller, l’ambientazione era grezza… per gli standard attuali era una esperienza pessima, ma al tempo tanto bastò per il mio colpo di fulmine verso la realtà virtuale.

    Qual è stato il tuo primo visore?

    Come ho detto, l’Oculus Rift DK2, che fu il mio primo amore. Ho ancora quel visore, che ha vissuto tante avventure ed è stato fatto provare a decine di persone durante le nostre demo del sistema Immotionar, che permetteva di avere tutto il corpo in realtà virtuale. I visori che ebbi dopo di quello furono il GearVR, che mi fece scoprire la magia della realtà virtuale senza filo, una economicissima cardboard e l’OSVR della Razer. Razer fu il primo manufacturer di VR con cui entrai in contatto personalmente.

    Quale percorso consiglieresti a un giovane che vuole studiare XR?

    Ho scritto un lungo articolo sull’argomento, che può essere letto integralmente a questo link. La cosa interessante è che nell’articolo parlo di come iniziare per essere sviluppatore, UI designer, o 3D artist, e alcuni lettori criticarono il fatto che non avevo considerato altri tipi di professioni che potevano riguardare le realtà immersive, come per esempio essere project manager. Porto questo esempio per dire che “studiare XR” può indicare tantissime professioni e valutare tutti i possibili casi vorrebbe dire probabilmente scrivere un libro intero.

    Il consiglio che mi sento di dare è di fare un percorso di studio (all’università o anche mediante corsi alternativi) che riguarda la professione che vi interessa più in generale, e poi cercare di fare esperienza sul campo nel mondo XR. Mi spiego: se qualcuno vuole fare il 3D artist per realtà virtuale, quello che deve fare è studiare per diventare 3D artist, e poi cercare di lavorare in progetti di realtà aumentata e virtuale per imparare sul campo le peculiarità del lavoro nelle realtà immersive: continuando l’esempio del 3D artist, questo vuol dire imparare ad esempio come ottimizzare i modelli 3D per l’Oculus Quest 2, che richiede di usare mesh e shader molto leggeri.

    Con il team di New Technology Walkers hai rilasciato HitMotion, il primo gioco di mixed reality per il fitness. Com’è nata l’idea e quali obiettivi vi eravate proposti?

    HitMotion: Reloaded è un gioco con una lunga storia. Il primo HitMotion nacque nel 2016, sviluppato durante una calda estate da me e dal game designer Massimiliano Ariani, che avevo conosciuto durante una Game Jam. Era una demo tecnologica fatta per dimostrare le potenzialità del sistema full body VR Immotionroom di cui vi ho parlato sopra. L’utente si trovava all’interno di un ring nello spazio e doveva colpire dei droidi che gli venivano vicino utilizzando qualunque parte del corpo, dalla testa ai piedi. Il gioco, seppur semplice, piaceva molto e la gente sudava quando lo provava. Tuttavia la startup chiuse un anno dopo, e quel gioco rimase una semplice demo.

    Fast forward al 2018, e io e Massimiliano (Max) abbiamo già creato la nostra agency New Technology Walkers, per sviluppare progetti in realtà aumentata e virtuale. Uno di questi progetti che avevamo sviluppato, anche grazie all’ispirazione data dal creativo multimediale Enea Le Fons, era un sistema per utilizzare il visore HTC Vive Focus come visore di realtà aumentata, con la passthrough AR. In quell’anno veniamo a sapere che HTC vuole lanciare un nuovo visore, il Vive Focus Plus, con tracciamento delle mani del giocatore, e sta cercando dei contenuti per questo prodotto. Io e Max ragioniamo e pensiamo che può essere una idea innovativa proporre ad HTC di lanciare un gioco in realtà virtuale per il suo visore, e che il gioco ideale per dimostrare i nuovi controller può essere qualcosa che faccia muovere molto l’utente, esattamente come faceva HitMotion. Il fitness aveva anche il vantaggio che era un tipo di contenuto che gli utenti potevano voler utilizzare tutti i giorni e che non era solo qualcosa di ludico, ma che poteva anche migliorare la qualità della vita degli utenti. Ci sembrò l’idea perfetta, così la proponemmo ad HTC che accettò e sostenne il progetto.

    Nacque così HitMotion: Reloaded, un “allenamento di boxe travestito da gioco”, che lanciammo alla Vive Ecosystem Conference a Shenzhen nel 2019. Fu un’esperienza unica. Il gioco venne rilasciato ufficialmente a novembre dello stesso anno, e dai test con gli utenti avemmo ottimi feedback.

    Quest’anno abbiamo deciso di portare il gioco sul Quest e stiamo avendo molte soddisfazioni: i giocatori riportano che il gioco è di loro gradimento e che li stanca molto, dimostrando l’effettiva efficacia del suo allenamento. Il gioco è disponibile gratuitamente su Oculus App Lab a questo link.

    Hitmotion

    Ho letto recentemente il tuo articolo  ‘Some fluff on the metaverse‘ sul metaverso nel tuo blog. L’hai definito ‘The fluffverse’. Mi è piaciuta molto la tua frase ‘The metaverse is like the Fight Club, and the first rule of the metaverse is that no one knows what is the metaverse. It is like one of those Rorschach stains, everyone sees in it what he/she wants.’ In effetti è diventato una buzzword e tutti si sono gettati a pesce dopo l’annuncio di Mark Zuckerberg di Facebook di voler trasformare FB in metaverse company. Per te che cos’è e quali aspetti salveresti del metaverso?

    Onestamente in questo momento ho la nausea di questa parola, e a volte mi riferisco ad essa ironicamente come “M-word”. Odio le buzzwords, odio tutti questi articoli che ripetono le stesse cose sul metaverso, odio tutte le discussioni fini su cosa voglia dire esattamente la parola metaverso. Sì, odio un sacco di cose!

    Io mi concentro su cosa vorrei per il futuro: un mondo dove siamo tutti più connessi, e dove tutti possiamo godere di una comune realtà, che non è solo la realtà “vera”, ma è un’insieme di realtà, alcune reali ed altre simulate. Ad esempio io potrei venire a trovarti a casa tua e tu potresti mostrarmi come hai decorato la casa non solo con mobili reali, ma anche con soprammobili in realtà aumentata. Oppure io potrei organizzare un party a casa mia, dove partecipano persone da tutto il mondo, e io le vedrei come se fossero veramente con me (grazie alla realtà aumentata), ma in realtà sono ognuno a casa propria. Oppure potrei voler vivere una vacanza virtuale, e chiudermi in VR e viaggiare in solitaria verso una località tropicale.

    Non so se questo lo vogliamo chiamare metaverso, mirrorworld, ar cloud… però è quello che vorrei si avverasse.

    Hai lavorato al Welcome To The Other Side con la leggenda Jean-Michel Jarre all’interno di virtual Notre-Dame Cathedral il 31 dicembre 2020. Che cosa pensi dei concerti virtuali e che futuro potranno avere una volta sdoganati i concerti negli stadi?

    Ottima domanda. E io credo che quel concerto, sviluppato dal team di VRrOOm, sia esattamente la risposta alla tua domanda. Pensiamo un attimo a come funzionava: tu ti mettevi un casco di realtà virtuale e potevi entrare dentro la cattedrale di Notre Dame di Parigi e trovare lì dentro con te altre persone da tutto il mondo. La musica partiva e vedevi la leggenda della musica elettronica Jean-Michel Jarre suonare davanti a te, con effetti di videomapping e animazioni 3D che si muovevano tutto intorno a te a tempo di musica. Questo vuol dire che:

    – Si poteva andare a Parigi senza muoversi di casa (impossibile se non in VR)
    – Si poteva visitare Notre Dame (impossibile nel mondo reale, perchè è bruciata)
    – Si poteva vedere Jean-Michel Jarre da molto vicino (molto difficile nel mondo reale)
    – Jean-Michel Jarre svolgeva un concerto di musica elettronica dentro un capolavoro come Notre Dame (impossible nel mondo reale perchè Notre Dame è una chiesa, e non ospita concerti)
    – Effetti speciali tridimensionali si muovevano a tempo nelle navate della chiesa (impossibile senza AR/VR)

    In poche parole, questo concerto sarebbe stato impossibile senza le realtà immersive. La cosa splendida delle realtà immersive è che rendono l’impossibile possibile, che usando loro è possibile realizzare degli eventi che non sono possibili in altro modo. Creano delle nuove opportunità aggiuntive rispetto a quelle degli eventi reali, che hanno un altro tipo di fascino (ad esempio fare un viaggio con i propri amici, pernottare in un’altra città e visitarla per vedere tutti insieme il concerto)

    Sicuramente ora le persone hanno voglia di andare ad eventi fisici dopo tanto tempo di clausura, ma sono sicuro che gli eventi virtuali pian piano cresceranno di importanza, perchè hanno questo potere.

    Quali mondi di social VR frequenti normalmente? Pensi che possano essere utili per il lavoro in team?

    Onestamente, non frequento molto ambienti social VR perchè non ho molto tempo di farlo. Uso molto VRChat per lavoro, e ho partecipato ad eventi in ENGAGE, Altspace, e Mozilla Hubs. Sono tutti programmi molto validi, che consiglio assolutamente.

    Per il lavoro in team trovo più utili applicazioni create specificatamente per lo scopo: ogni tanto ho usato Bigscreen VR o Facebook Workrooms per sentirmi vicino ai miei colleghi mentre lavoro al computer; e ho sentito parlare bene di NVIDIA Omniverse, che permette a molte persone di lavorare insieme sullo stesso progetto.

    Quali sono i tuoi progetti futuri?

    Sicuramente continuare a lavorare al nostro gioco HitMotion: Reloaded con NTW e agli eventi in realtà virtuale con VRrOOm. Sicuramente continuare con il mio blog The Ghost Howls. Poi vediamo le opportunità che verranno fuori strada facendo… a Novembre parteciperò ad AWE US come speaker, spero sia l’opportunità per conoscere nuove persone appassionate di XR come me.

    Il mio futuro sarà sicuramente nelle realtà immersive… credo che il bello debba ancora venire, e vorrei farne parte 😉

  • Storie in social VR: Cristiana Pivetta

    Il progetto delle storie in social VR e XR si apre con Cristiana Pivetta, una docente che ho conosciuto al MagicFlute Show di giugno 2020 dal titolo: ‘I mondi virtuali e l’apprendimento‘. Questa conferenza in Altspace VR era dedicata al mondo della scuola e all’apprendimento in VR ed era organizzata da Francesco Spadafina, founder di Pyramid Cafè. Perché iniziare il nostro percorso con la storia di Cristiana? Semplicemente perché il suo entusiasmo, il suo desiderio d’apprendere e sperimentare mi hanno piacevolmente colpita e penso che possa essere d’ispirazione per tutti noi.

    Cristiana è riuscita a rendere il mondo della scuola coinvolgente ed interessante per i più giovani attraverso le sperimentazioni in realtà virtuale e i mondi di social VR.

    Chi è Cristiana Pivetta

    Relatrice al MagicFlute Show di giugno 2020 Cristiana insegna lettere all’ITCG ANGIOY di Carbonia ed è esperta di tecnologie applicate alla didattica.

    La storia di Cristiana

    Scopriamo insieme che cosa si cela dietro l’avatar di Cristiana che ho avuto il piacere d’incontrare in Altspace VR. Perché ha scelto di dedicarsi alle tecnologie? Come si possono sfruttare la realtà virtuale e i mondi di social VR nella didattica?

    Per approfondire la sua storia l’ho intervistata per voi.

    L’intervista

    Cristiana ciao, raccontaci com’è nato il tuo interesse per la VR.

    Il mio interesse per la VR è nato quasi parallelamente all’attenzione per le tecnologie. Mi hanno sempre affascinato gli ambienti immersivi e le loro potenzialità in campo didattico per la loro prospettiva multimodale (suoni, voci, immagini, chat testuali, artefatti, simboli, script e quant’altro). Inoltre ritengo che modellare lo spazio virtuale a proprio piacimento, agitare la bacchetta magica a disposizione dell’avatar per dare forma agli oggetti costituiscono delle preziose opportunità per ingaggiare e sostenere i discenti nel loro percorso.

    "I care in the world" in edMondo

    “I care in the world” in edMondo

    Quando hai iniziato ad utilizzare le tecnologie a scuola? Hai trovato degli ostacoli da parte dei colleghi o degli studenti?

    È stato esattamente nel 2004. Lo ricordo benissimo perché in quel periodo trovavi i pc esclusivamente nelle aule informatiche e per giunta non in tutte le realtà scolastiche. La situazione disastrosa di un gruppo di studenti sotto il profilo didattico-sociale costituì una valida motivazione per provare a costruire delle esperienze significative con l’uso delle tecnologie

    Gli studenti in aula predisponevano dei mockup preparatori con i compagni del loro gruppo per poi realizzare nel laboratorio informatico semplici pagine web. Le problematiche del tempo erano legate alla difficoltà di ottenere il permesso di accedere ai laboratori informatici e alla mancanza di connessione.

    Ho incontrato diffidenza o per meglio dire indifferenza quando ho portato avanti il progetto di inserire in ogni aula delle whiteboard. Ma anche in questo caso i feedback degli studenti e delle famiglie mi hanno convinto della validità del cammino intrapreso.

    Non mi sono più fermata anzi ho creato il sito Fantascrivendo, mi sono iscritta a vari social, ho aperto un canale YouTube, animata dallo spirito di condividere un approccio metodologico efficace d’uso delle tecnologie.


    Prime attività di gruppo alla LIM

    Al Magicflute Show hai parlato dei mondi virtuali per l’apprendimento. Quali vantaggi possono apportare rispetto alla didattica ‘reale’?

    I vantaggi sono enormi. Per gli studenti costituiscono delle occasioni reali per mettersi alla prova, per fare osservazioni e operare nel mondo virtuale raccordandosi alle attività svolte in aula.

    Le parole chiave sono motivazione, coinvolgimento, inclusività e creatività.

    Per i discenti agire nel mondo virtuale non è differente dal mondo reale perché la propria e/o le proprie identità reali vengono messe in relazione con il loro personaggio avatar.

    Sollecito i discenti a costruire degli ambienti (campi semantici) in cui porre artefatti significativi, espressione del loro personale e collaborativo modo di fare esperienza del mondo. Questo è il punto di arrivo di un percorso co-costruito, che implica da parte degli studenti l’apprendimento di modelli e concetti legati alla grammatica del mondo immersivo in uso.


    MagicFlute Show: Seminario Edu3d

    Quali ambienti immersivi hai sperimentato e hai trovato più adatto per coinvolgere gli studenti? Che percorso consiglieresti ad un/una collega che desiderasse iniziare ad utilizzare la didattica nei mondi virtuali?

    Il mio percorso esperienziale si è concretizzato inizialmente con edMondo, il mondo virtuale per la scuola dell’Indire. Nel tempo ho interagito con il mondo immersivo di Edu3d in Craft World, AltspaceVR, Mozilla Hubs. Questi ambienti sono tutti estremamente coinvolgenti e offrono la possibilità di interagire con comunità di docenti e di professionisti per uno scambio efficace di pratiche ed esperienze.

    Sono affascinata allo stesso modo dalle potenzialità di questi mondi e parimenti i miei studenti. A chi si voglia cimentare in un percorso simile consiglio di iscriversi alle rispettive comunità, di partecipare a uno o più corsi che periodicamente vengono proposti, e successivamente vi invito a “gettarvi nella mischia” con i vostri studenti per apprendere insieme.

    Escape room: Il ballo delle fiabe, Progetto Edu3d in Craft Word

    Ci racconti un episodio che può fare comprendere il valore di questo tipo approccio?

    Vi porto ad esempio la mia ultima esperienza, un laboratorio immersivo[1] di letteratura in edMondo. Lo spazio è stato interamente modellato dai miei studenti, due classi seconde e una classe prima dell’ITCG Angioy di Carbonia.

    La nostra sfida è stata quella di rendere la letteratura attuale in un momento in cui si è dovuto fare di necessità virtù a causa della pandemia e della didattica a distanza.

    Il mondo virtuale realizzato ruota intorno al castello dell’innominato e agli ambienti di supporto realizzati, relativi non solo all’opera “I Promessi Sposi” di Manzoni ma di tanti altri autori in prosa e poesia. Oltre agli oggetti architettonici sono state create linee del tempo, mostre, giochi di fuga (escape room), presentazioni interattive e molto di più.


    “Laboratorio Letterario” in edMondo

    Nel 2018 hai pubblicato il libro ‘In viaggio intorno al mondo. Itinerari didattici in rete’. Quale tipo di didattica illustri nel tuo libro e a chi può essere utile?

    Il 2018 è stato un anno particolare. Dopo aver scritto numerosi articoli e contributi presenti in rete e in vari libri, ho deciso di autopubblicarmi.

    Non vi dovete far ingannare dal titolo, non è un manuale e neppure un romanzo, ma il racconto, in una forma narrativa coinvolgente, dei viaggi virtuali realizzati nel web per visitare musei, siti archeologici, per fare comunità con gli studenti dei paesi di tutto il mondo. Una lezione differente che gli studenti costruiscono secondo un modello condiviso con altre classi, animata da un approccio interculturale, creativo e empatico, caratterizzato dal problem solving.

    Nel libro ho inserito risorse, proposte di attività, strumenti pronti all’uso o modificabili secondo lo stile di ogni insegnante.

    Doveva ancora travolgerci la pandemia, ma questa idea risulta più che mai attuale come i tanti progetti che propongo, sempre proiettata nel futuro.

    Concludo invitandovi a leggerlo, a seguirmi sui social e perché no a collaborare con me.

    Ringrazio Simona per l’invito. È stato molto interessante confrontarci su queste tematiche.


    [1] Per approfondimenti leggete l’articolo “Pratiche di debate nei mondi virtuali” http://www.rivistabricks.it/wp-content/uploads/2021/02/18_Bricks1-2021_Pivetta.pdf


  • Apprendimento ed extended reality


    S i può migliorare l’apprendimento grazie alle nuove tecnologie e all’extended reality? Un tema di grande attualità che è stato oggetto di discussione e di workshop lo scorso aprile a Genova durante “Futura”, l’evento itinerante organizzato dal Ministero dell’Istruzione, dell’Università e della Ricerca per raccontare, promuovere e sperimentare sui territori la scuola digitale. Le classi virtuali e l’apprendimento in extended reality si stanno diffondendo nella scuola 2.0, accanto a coding e robotica e coinvolgono i docenti più sensibili all’innovazione. Gli insegnanti si confrontano sui temi della formazione, utilizzano nuovi tools e avviano, con il supporto di dirigenti scolastici illuminati, nuovi metodi e percorsi. Negli ultimi anni si sono diffuse anche piattaforme gratuite o a costo contenuto che favoriscono la co-creazione con gli studenti, come le open source Scratch, Blender per modellazione 3D ed eTwinning per scambi con istituti stranieri.

    Personalmente già da qualche anno cerco di studiare nuove modalità d’apprendimento rivolte a pubblici più o meno giovani e seguo con interesse esperimenti in realtà mediata adottati in scuole italiane e straniere.

    Durante il convegno Riconnessioni Festival  che si è tenuto a  Torino lo scorso marzo ho ascoltato con grande interesse testimonianze di scuole che hanno unito innovazione ed inclusione e che hanno visto nel digitale una grande opportunità. Vi consiglio di approfondire all’articolo ‘L’alunno al centro della scuola del XXI secolo’ pubblicato su Medium.

    Apprendimento delle lingue straniere in extended reality

    Il processo d’innovazione della scuola è seguito con attenzione anche dalle università che partecipano a sperimentazioni di nuovi approcci educativi in concerto con i colleghi delle scuole primarie e secondarie. Un esempio è stato fornito qualche settimana fa dalla prof.ssa Claudia Repetto dell’Università Cattolica del Sacro Cuore di Brescia durante un seminario organizzato da Cultura e Sviluppo sul tema ‘Luci ed ombre nell’uso dei social network e delle nuove tecnolgie della comunicazione‘ con l’intervento del prof. Giuseppe Riva dell’Università Cattolica del Sacro Cuore di Milano.

    La prof.ssa Repetto ha parlato dell’apprendimento della lingua inglese con l’utilizzo della realtà virtuale e ha illustrato l’esperienza condotta in due ITIS, istituti superiori rispettivamente di Alessandria e di Milano. Il test è durato un mese e consisteva in visualizzazioni libere fuori dal contesto scolastico di 10 video a 360 gradi fruibili con cardboard. I video erano stati arricchiti da una madrelingua inglese, voce narrante che guidava l’attenzione dello studente verso gli elementi rilevanti.

    Quali sono state le motivazioni che hanno convinto all’adozione della realtà virtuale? Vi riporto quanto proposto in slide dalla professoressa:

    • imparare una lingua straniera può essere noioso e frustrante
    • l’apprendimento è più efficace con l’esposizione diretta
    • la realtà virtuale permette di creare ambienti ad hoc ed offre esperienze arricchite in cui insieme allo stimolo linguistico (la parola) viene presentato anche una stimolazione sensomotoria (ciò che vedo e sento, la sensazione di movimento)

    L’arricchimento dello stimolo promuove l’apprendimento

    Le esperienze in lingua sono immersive e fondamentali per favorire l’aspetto ludico-formativo, coinvolgono i pubblici più giovani e vengono interiorizzate più facilmente.

    Classi virtuali: AR sonora

    Sempre sul tema delle classi virtuali vi suggerisco di approfondire l’esperimento condotto in un istituto superiore del Belgio ‘Élèves en Liberté, una sperimentazione che ha creato engagement e immersione grazie alla realtà aumentata sonora. Non più un visore, ma cuffie dotate di giroscopio e sensori che inviano le informazioni ad un telefono ‘intelligente’ da portare appeso al collo ti fanno entrare in un universo sonoro.

    Un casque audio qui vous localise dans une large pièce et crée un univers sonore en fonction de vos déplacements et de vos interaction

    Secondo François Fripiat, fondatore dello studio Demute

    Le son nourrit un rapport émotionnel plus fort que l’image. L’oeil est un instrument plus absolu que l’oreille. Par contre, le son permet d’accéder plus rapidement aux émotions, et de tromper plus facilement le cerveau que l’image.

    Parte delle informazioni sono condivise dall’intera classe, altre sono fruibili dal solo utilizzatore quando si avvicina o sfiora un oggetto.

    Quali piattaforme sono utili all’apprendimento?

    Nel settore delle piattaforme ha fatto scuola Google Expeditions che consente di ampliare i limiti della conoscenza fuori dalle aule scolastiche, integrando VR e AR. Leggiamo sul sito:

    With VR and AR, teachers are no longer limited by the space of the classroom. VR lets you explore the world virtually while AR brings abstract concepts to life—allowing teachers to guide students through collections of 360° scenes and 3D objects, pointing out interesting sites and artifacts along the way.

    A maggio 2018 Google ha lanciato anche la piattaforma Google Tour Creator che permette a costo zero di caricare le proprie fotografie a 360 gradi o utilizzare immagini da Google Steet View e renderle interattive, aggiungendo testo e immagini. Si possono realizzare dei tour virtuali personalizzati da fruire anche attraverso un cardboard. Al momento tuttavia non è possibile passare da un ambiente all’altro semplicemente visualizzandolo da cardboard. Seguiròi prossimi sviluppi e vi terrò aggiornati.

    Altra piattaforma molto completa e diffusa nel mondo della scuola a livello internazionale è ThingLink che, nata nel 2010, permette di creare tour virtuali sia per la didattica sia per il settore business con abbonamenti differenziati. L’utilizzo è user-friendly, anche se richiede strategia nella scelta delle foto, creazione del percorso o i percorsi nei quali guidare l’utente e narrare una location, un sito storico.

    Nella sezione didattica si possono coinvolgere gli studenti nella creazione del tour. La formazione è quindi interattiva con un livello di partecipazione inimmaginabile fino a pochi anni fa, utile per sviluppare la creatività e il pensiero critico.

    Qual è il vantaggio offerto dalla piattaforma? A parte l’integrazione con numerosi contenuti multimediali (note, tag, video in mp4, link a YouTube e Vimeo, Google Map, ecc.), a mio parere, la presenza di una community molto attiva di docenti a livello internazionale che può contribuire alla diffusione e all’apprendimento di colleghi meno esperti.

    Per approfondire vi invito a leggere l’articolo pubblicato da Ulla-Maaria Koivula, founder e CEO di ThingLink education and media technology company, su Medium in cui parla di ‘a narrated VR tour with sequential hotspot‘ come una ‘asynchronous shared VR experience’ ed evidenzia tre importanti vantaggi formativi:

    • accessibilità
    • flessibilità
    • risparmio

    La docente resta al centro dell’attività didattica, anche se l’esperienza coinvolge gli studenti anche fuori dall’ambito scolastico. Un’introduzione registrata può essere fruita in ogni momento, in ogni luogo e su ogni device, lasciando totale libertà e possibilità d’interagire all’interno dei gruppi. Le scuole non devono necessariamente affrontare importanti investimenti per l’acquisto di visori, perché i tour possono essere fruiti in piccoli gruppi o individualmente.

    L’incontro tra tecnologia e mondo classico

    Di piattaforme e di incontro tra nuove tecnologie e cultura umanistica in ambito didattico abbiamo parlato in occasione di Narrability, il convegno organizzato dall’Osservatorio di Storytelling a dicembre 2018. Al panel intitolato ‘Il racconto della cultura. L’incontro tra tecnologia e mondo classico.’ ho invitato Licia Landi, esperta di cultura classica, ricercatrice didattica e docente che da oltre 20 anni conduce attività di formazione e di ricerca all’Università di Verona.

    Grazie alla tecnologia i ragazzi diventano ricercatori e lavorando insieme possono essere produttori. Abbandoniamo la visione nozionistica e verticistica, lo studio diventa una partecipazione e i ragazzi assumono delle responsabilità. […] La tecnologia non ha un uso strumentale, ma diventa un vero ambiente di lavoro, di co-creazione e di riflessione.

    La dottoressa Landi ci ha parlato anche delle piattaforme che ha utilizzato da pioniera nell’ottica di ‘elaborare degli spazi nuovi e riprendere materiali che sono stati prodotti anche da altri. […] Ad esempio la foto 360 gradi diventa l’ambiente su cui costruire delle storie. ‘

    Se desiderate ascoltare lo speech potete trovare il video tra gli Atti del Convegno e su Youtube al minuto 22:11.

    Tendenze future

    Quale potrà essere il futuro, tenendo conto che, secondo AR Insider, alla fine del 2020, si prevedono 1.5 miliardi di smartphone e device compatibili con augmented reality e 3.4 miliardi nel 2023?

    A mio parere la diffusione della tecnologia sarà legata non tanto agli investimenti in device da parte delle scuole, ma soprattutto alle esigenze di formazione dei docenti che dovranno sempre più ampliare le conoscenze in ottica blended learning.

    Interessante sul tema apprendimento ed extended reality è l’intervista pubblicata da Kathryn Minnick su Medium a Moon Park, un Program Manager di Google ARCore. Secondo Park ci sono ancora dei problemi tecnici di fattibilità per l’adozione diffusa della tecnologia in particolar modo a tutti gli istituti scolastici, ma è solo questione di tempo.

    Presto vedremo anche gli studenti italiani integrare le lezioni frontali del docente di chimica con esperienze immersive in extended reality? Ecco un esempio di esperienza in VR per la didattica di Mel Science proposto su Twitter dall’imprenditore Rimah Harb.

    Fonti:

    http://www.benhoguet.com/eleves-en-liberte-un-cas-decole-de-realite-augmentee-sonore/

    https://medium.com/age-of-awareness/the-classroom-of-tomorrow-99f90c569033

    https://arvrjourney.com/how-to-increase-your-virtual-instruction-time-without-putting-in-more-hours-b5cb1bceeb42

    https://edu.google.com/products/vr-ar/expeditions/?modal_active=nonF