Sempre più nuove tecnologie museali

For the english translation, scroll down the page, thank you !

Martedì 21 maggio presso il museo di arte Orientale a Ca’ Pesaro, si è tenuta la presentazione delle introduzioni di nuove tecnologie al servizio del museo. Oggi giorno, quasi tutti i musei fanno a gara per accaparrarsi le ultime novità in campo della tecnologia, nella speranza di attirare più visitatori. Ho intervistato una rappresentante delle Edge Company che era presente per la dimostrazione..

Il Museo d’Arte Orientale di Venezia presenta al suo interno una vasta raccolta d’arte giapponese feudale, specialmente del periodo Edo (1603-1868). Nelle sale dedicate al Giappone (perché chiaramente ci sono anche oggetti provenienti dalla Cina) si  possono ammirare le varie armi e armature da parata appartenute ai signori feudali e ai samurai del Periodo Edo, selle e staffe in lacca da parata, katane, lance, una portantina molto antica per le dame, dipinti su carta e seta, abiti molto graziosi decorati con stupendi ricami. Ci sono due sale dedicate a oggetti in lacca provenienti da corredi di nozze delle figlie di ricchi commercianti e feudatari, realizzati con la tecnica del makie, la lacca dorata impiegando polvere e lamine d’oro. Ci sono dei bellissimi strumenti musicali, pezzi artistici usati per l’esecuzione dei principali generi di musica tradizionale giapponese.

I pezzi appartengono prevalentemente al Periodo Edo (dal nome della capitale, Edo, oggi conosciuta come Tokyo) o  dall’era Tokugawa,  nome che deriva della casata dello shogun, in questo caso, uno dei più noti, che resse le sorti del paese per oltre 250 anni garantendo al paese un periodo di relativa pace, ma che ha sofferto per un isolamento quasi completo; non mancano le opere più antiche, come per esempio una coppia di statue lignee del periodo Kamakura (1185-1392) o lame del periodo Muromachi (1392-1568). La sezione dedicata alla Cina presenta giade e porcellane di diverse manifattura. Nella sezione rivolta all’Indonesia si trovano rari kris, tessuti batik e figure in cuoio del wayang, il teatro delle ombre indonesiano.

IMG_5553 IMG_5554
IMG_5555 IMG_5556

I dispositivi realizzati dalla società The Edge Company  https://www.theedgecompany.net/  start-up innovativa e creatrice del sistema “Maestro”, sono stati concepiti per agevolare la visita a tutti i tipi di utenti museali: anche anziani, bambini, persone con abilità differenti o privi di un bagaglio culturale formato specialmente su una materia non semplice come la conoscenza dell’arte orientale. Un mondo totalmente diverso dal nostro.

La Dott.ssa Dalla Venezia della Edge Company, si è dimostrata molto gentile nel spiegarmi quanto avevano fatto per il museo, queste sono le sue parole: Sono state ideate 3 applicazioni realizzate per il Museo d’arte orientale di Venezia. Tre esperienze tutte riunite in un’unica APP che si può scaricare per vedere il museo in maniera più coinvolgente grazie alla realtà aumentata. Abbiamo realizzato un’applicazione che, con l’uso di un occhiale / visore Hololens, offre al visitatore un’esperienza totalmente coinvolgente, dove delle armature prendono vita e raccontano come sono state costruite, dando anche qualche informazione sulla storia / cultura giapponese. Le serie di armature dei samurai però avranno da discutere un po con un diavoletto birichino che le prende un po in giro (un oni, una specie di demone). La seconda esperienza offre a tutti la possibilità di vedere gli interni di una portantina per dama, che rimane sempre chiusa, chiaramente per motivi conservativi.  Qui c’è una voce che guida il visitatore a rivolgere lo sguardo tra i fini decori tradizionali. La terza esperienza, invece grazie alla realizzazione di una rete di intelligenza artificiale, spiega come sono costruiti e fa sentire come suonano gli strumenti musicali giapponesi, semplicemente puntando su di essi il proprio cellulare. Le esperienze sono state concepite e create per superare le disabilità più comuni, come la sordità, infatti le esperienze sono anche dotate di sottotitoli, e rendono il museo più coinvolgente, e consentono a tutti una migliore comprensione del patrimonio esposto.

HoloLens_2A

Le tecnologie pensate e realizzate dalla Edge Company per la realtà aumentata consentiranno al visitatore di scoprire le armature dei samurai divertendosi, e gli occhiali per la realtà virtuale consentiranno di esplorare l’interno della portantina giapponese. L’intelligenza artificiale, sempre inclusa nell’applicazione riconoscerà alcuni strumenti musicali giapponesi e permetterà loro di ascoltare le melodie.

Direi che è tutto semplicemente fantastico, ma veniamo di scoprire di più le nuove tecnologie menzionate: gli occhiali o visori Microsoft HoloLens sono dei visori per la realtà mista (realtà virtuale e realtà aumentata) che che al suo interno hanno dei componenti che portano alla creazione di ologrammi da sovrapporre agli oggetti reali. Un esempio di realtà aumentata mi viene dal classico videogioco Pokemon Go  e Ingress. Microsoft Hololens è per Microsoft quel che i Google Glass erano per Google: un dispositivo in grado di mediare la realtà che ci circonda, arricchendola di nuovi dettagli, affinché l’utente possa vivere una esperienza aumentata della realtà stessa.

Microsoft HoloLens è un HMD (Head-mounted display) che può essere definito una specie di computer indossabile sulla propria testa, e proprio come uno smart watch è indipendente, in quanto tutte le componenti sono al suo interno e non è necessaria la connessione a PC o smartphone. Nel visore sono inserite due lenti olografiche trasparenti in cui si proiettano le immagini. Su entrambi i lati, vicino alle orecchie, sono presenti dei mini altoparlanti per l’audio in 3D. Il dispositivo genera audio binaurale ed effetti spaziali, significa che, in base al movimento della testa, è possibile percepire la provenienza di un suono. Ne avevo già sentito parlare e l’ho pure visto, o meglio sentito in azione, tempo fa nel museo di Ca’ Rezzonico, dove il visitatore, indossava delle cuffie, e tramite un app, poteva ascoltare una conversazione di donna in 3d che lo invitava a ballare. A occhi chiusi, l’effetto che si prova è stupefacente !!

Per quanto riguarda l’uso dell’intelligenza artificiale mi è stato detto che è stato applicato il procedimento del Deep Learning, la cui traduzione letterale significa apprendimento profondo, è una branca del Machine Learning (che letteralmente viene tradotto come apprendimento automatico) e indica quella parte dell’Intelligenza Artificiale che fa riferimento agli algoritmi ispirati alla struttura e alle funzioni del cervello chiamate reti neurali artificiali.

man wearing white virtual reality goggles
Photo by bruce mars on Pexels.com

L’uso dell’intelligenza artificiale, e quindi il metodo di Deep Learning, sono stati utilizzati in vari campi, come per esempio nella computer vision, nel riconoscimento automatico della lingua parlata, nell’elaborazione del linguaggio naturale, e nel riconoscimento audio. Con il Deep Learning vengono simulati i processi di apprendimento del cervello umano attraverso sistemi artificiali (le reti neurali artificiali, appunto) per insegnare alle macchine non solo ad apprendere autonomamente ma a farlo in modo più “profondo” come sa fare il nostro cervello.

Insomma, sembra che il museo di arte orientale abbia fatto un saggio investimento, su queste nuove tecnologie informatiche, che sono ancora allo stato sperimentale, ma che offrono molti interessanti spunti su come potrebbero essere usate in campo museale. Lo scopo di queste nuove tecnologie è quello di far imparare divertendosi,  e il museo di arte orientale di Venezia devo dire, è il più affascinante che ci sia !!

New Technologies for the museums !!

On Tuesday, May 21st, at the museum of Oriental art in Ca ’Pesaro, an introduction of new technologies for the museums was held. Today, almost all the museums compete to grab the latest technology gadget, hoping to attract more visitors. I interviewed a representative of the Edge Company who was present for the demonstration.

The Museum of Oriental Art in Venice has a vast collection of feudal Japanese art, especially from the Edo period (1603-1868). In the rooms dedicated to Japan (because there are also objects from China and from other eastern countries) one can admire the various weapons and armors for parade belonged to the feudal lords and samurai of the Edo period; saddles and brackets in parade lacquer, katanas, spears, a very old sedan chair for ladies, paintings on paper and silk, very pretty dresses decorated with beautiful embroideries. There are two rooms dedicated to objects in lacquer from wedding kits of the daughters of rich merchants and feudal lords, made with the “makie” technique, the golden lacquer using dust and gold foils. There are beautiful musical instruments, artistic pieces used for the performance of the main genres of traditional Japanese music.

The pieces belong mainly to the Edo Period (from the name of the capital, Edo, now known as Tokyo) or from the Tokugawa era, the name that derives from the lineage of the shogun, in this case, one of the best known, which held the fate of the country for over 250 years guaranteeing the country a period of relative peace, but which has suffered from almost complete isolation; there is so much to see, such as a pair of wooden statues from the Kamakura period (1185-1392) or blades from the Muromachi period (1392-1568). The section dedicated to China presents jades and porcelains of different manufacture. In the section devoted to Indonesia there are rare kris, batik fabrics and leather figures of the wayang, the Indonesian shadow theater.

IMG_5553 IMG_5554
IMG_5555 IMG_5556

The devices made by the company: The Edge Company https://www.theedgecompany.net/en/  an innovative start-up and creator of the “Maestro” system, were designed to facilitate the visit to all types of museum users: even the elderly, children, people with different abilities or without a baggage cultural especially formed on a subject not as simple as the knowledge of oriental art. A world totally different from ours.

Dr. Dalla Venezia of the Edge Company, was very kind in explaining to me what they had done for the museum, these are her words: 3 applications have been designed for the Oriental Art Museum of Venice. Three experiences all brought together in a single APP that you can download to see the museum in a more engaging way thanks to augmented reality. We have created an application that, with the use of a Hololens glasses / viewer, offers the visitor a totally involving experience, where armor comes to life and tells how they were built, also giving some information on Japanese history / culture. The series of armor of the samurai, however, will have some discussion with a mischievous little devil who takes them around a bit (an oni, a kind of demon). The second experience offers everyone the chance to see the interiors of a sedan chair for checkers, which always remains closed, clearly for conservative reasons. Here is a voice that guides the visitor to look at the fine traditional decorations. The third experience, instead thanks to the creation of an artificial intelligence network, explains how they are built and makes them feel like Japanese musical instruments play, simply by pointing their mobile phone at them. Experiences have been conceived and created to overcome the most common disabilities, such as deafness, in fact the experiences are also equipped with subtitles, and make the museum more engaging, and allow everyone a better understanding of the heritage displayed.

HoloLens_2A

The technologies designed and created by the Edge Company for augmented reality will allow the visitor to discover the armor of the samurai while having fun, and the virtual reality glasses will allow you to explore the inside of the Japanese sedan chair. Artificial intelligence, always included in the application, will recognize some Japanese musical instruments and allow them to listen to melodies.

I would say that everything is simply fantastic, but let’s try to find out more about the new technologies mentioned: the Microsoft HoloLens glasses or viewers are visors for mixed reality (virtual reality and augmented reality) that inside have components that lead to creation of holograms to be superimposed on real objects. An example of augmented reality comes from the classic video game Pokemon Go and Ingress. Microsoft Hololens is for Microsoft what Google Glass was for Google: a device able to mediate the reality that surrounds us, enriching it with new details, so that the user can live an increased experience of reality itself.

Microsoft HoloLens is an HMD (Head-mounted display) that can be defined as a kind of wearable computer on one’s head, and just like a smart watch it is independent, as all the components are inside it and no PC connection is required. or smartphone. In the viewer are inserted two transparent holographic lenses in which the images are projected. On both sides, near the ears, there are mini speakers for 3D sound. The device generates binaural audio and spatial effects, meaning that, based on the movement of the head, it is possible to perceive the origin of a sound. I had already heard about it and I also saw it, or rather heard it in action, some time ago in the museum of Ca ‘Rezzonico, where the visitor, wearing headphones, and through an app, could listen to a conversation of a woman in 3d that the he invited them to dance. With your eyes closed, the effect you feel is amazing !!

As for the use of artificial intelligence, I was told that the Deep Learning process was applied, whose literal translation means deep learning, is a branch of Machine Learning (which is literally translated as machine learning) and indicates that part of Artificial Intelligence that refers to algorithms inspired by the structure and functions of the brain called artificial neural networks.

man wearing white virtual reality goggles
Photo by bruce mars on Pexels.com

The use of artificial intelligence, and therefore the Deep Learning method, has been used in various fields, such as computer vision, automatic recognition of spoken language, processing of natural language, and audio recognition. With the Deep Learning the learning processes of the human brain are simulated through artificial systems (artificial neural networks, in fact) to teach machines not only to learn independently but to do it in a “deeper” way as our brain knows how to do.

In short, it seems that the Oriental art museum has made a wise investment, on these new information technologies, which are still experimental, but which offer many interesting insights on how they could be used in the museum field. The purpose of these new technologies is to make people learn while having fun, and I must say that the Museum of Oriental Art in Venice is the most fascinating there is !!

Annunci

Intervista CEO Beni Culturali Online

For the english translation, please scroll down the page, thank you !

Poco tempo fa, fui contattato da Luigi De Marchi, CEO di Beni Culturali Online (da non confondere con Beni Culturali) per delle opinioni in merito agli argomenti trattati nella passata edizione dello SMAU tenutasi a Padova, in special modo sulle nuove tecnologie che si adottano in campo museale e l’intelligenza artificiale.

Andando in giro per vari musei, ho visto che si punta molto sulla realtà virtuale, sugli ologrammi, e sulle tecnologie interattive, che attraggono molti turisti, specialmente quelli più giovani. E tuttavia, queste nuove tecnologie, potrebbero essere ormai sorpassate dalle applicazioni che può trovare l’Intelligenza Artificiale.

Luigi De Marchi era interessato al mio progetto di Banca Dati Museale che feci per mio unico uso con l’applicazione Evernote, che era una cosa molto semplice, più che altro basata sull’uso dei tag applicati in maniera specifica per ogni fotografia o articolo che avevo incluso.

Da li era nata un botta e risposta, su questi argomenti in comune che ci interessavano, e ho pensato di proporgli un’intervista:

Me: parlaci un po di te:

Luigi: Mi chiamo Luigi de Marchi e sono il presidente dell’associazione ABCOnlus (Associazione Beni Culturali Onlus) che è nata nel 2002, ed è da sempre molto attiva per la promozione e valorizzazione del Patrimonio Culturale, delle eccellenze e delle tradizioni locali. Questa Start Up ha alla base il concetto originario di unire nelle mappe luoghi di interesse con gli eventi in corso. Attualmente unisce anche componenti di Game e l’implementazione delle nuove tecnologie come il 3D. In breve tempo è diventata internazionale con lo sviluppo e la messa online della versione inglese indipendente da quella nazionale ed identificata anche da un dominio diverso che è culturalheritageonline.com.

Me:  Come funziona ?

Luigi: Gli strumenti messi a disposizione nella piattaforma aiutano a far conoscere agli utenti ciò che di bello li circonda. Attualmente proprio per questo motivo stiamo sviluppando un innovativo motore di ricerca che grazie all’Intelligenza Artificiale possa offrire una risposta mirata e targettizzata all’utente. Essa è rivolta a tutti gli appassionati, artisti, professionisti come fotografi, guide turistiche, ricercatori, ma anche a tutte le attività come Musei, Gallerie d’Arte, Associazioni e Centri Culturali. Tutti quelli che creano cultura con eventi e attività di interesse.

Ognuno può loggarsi, creare un profilo e poi pubblicare delle schede location per far conoscere i luoghi d’interesse e collegare in esse le schede degli eventi per promuoverli e farli conoscere agli altri utenti, il sistema è un fase di evoluzione, ogni giorno vengono implementate e perfezionate delle funzioni. Le ultime novità sono la possibilità di pubblicare i Post e Album di post, che sono contenuti indipendenti dalle Schede dei luoghi e degli eventi. Possono contenere dei testi, immagini e video.

Tutti catalogati e collegati a delle zone geografiche. Una novità è quella di poter collegare al Post o all’Album la scheda di un luogo, quindi sarà possibile per esempio, per un operatore museale, schedare il proprio museo, ma oltre che collegare gli eventi in corso si possono presentare le opere in esso contenute divise per Album tematico o per stanza. Diventerà così una Scheda Tecnica che può servire sia per catalogare le opere che per farle conoscere in ambito turistico. I contenuti possono essere inseriti in doppia lingua ed il contenuto in inglese verrà messo online in una seconda piattaforma studiata ad hoc per il mercato internazionale che si trova all’indirizzo culturalheritageonline.com

Me: Chi sono gli utenti a cui potrebbe interessare ?

Luigi: A chi Semplicemente per trovare idee nuove, luoghi sconosciuti ed eventi d’interesse da poter frequentare anche solo per il prossimo weekend o viaggio di piacere/lavoro. Da qualche giorno l’utente può anche trovare degli itinerari proposti dai Profili PRO che sono strutturati come un Album di Post ma questi sono collegati alle Schede dei Luoghi e riportati in una mappa. Su questa mappa l’utente ha i punti di interesse proposti ed anche il percorso stradale che unisce ogni punto. Una vera e propria guida turistica con informazioni, video ed immagini.

Me: Verso che direzione si svilupperà Beni Culturali Online secondo te?

Luigi: Ogni giorno implementiamo nuove funzioni, migliorando il sistema. Buona parte di quello che guadagniamo viene reinvestito per lo sviluppo. Senza dubbio il prossimo passo è quello di puntare sul motore di ricerca basato sull’intelligenza artificiale, abbiamo iniziato ad istruirlo, presto sarà pronto per fornire i primi risultati all’utenza iscritta e profilata sulla piattaforma. Nel tempo sarà in grado di dare un supporto sempre più utile a chi è alla ricerca di luoghi o eventi di interesse culturale.

Me: wow è tutto molto interessante !!! Per il momento l’intervista si conclude qui, ma più avanti vedremo di discutere meglio sull’uso dell’Intelligenza Artificiale. Grazie mille per questa intervista Luigi !

Wondering about AI in the museums

Not long ago, I was contacted by Luigi De Marchi, CEO of Cultural Heritage Online, (not to be confused with Cultural Heritage) for my opinion about the topics covered in the last edition of the SMAU held in Padua, especially about the new technologies that are adopted in the museum field and the artificial intelligence.

Working in many museums for a long time, I  have noticed that now we are focusing on new technologies such the virtual reality, holograms, and the software which create an interaction, to attract the tourists, especially the younger ones. And yet, these new technologies could be outdated by the applications which use the Artificial Intelligence.

Luigi De Marchi was interested in my Database Museum project, that I create for my only use, using the Evernote application, which was a very simple, mostly based on the use of tags applied specifically for each photo or article that I wanted to include. From there came a very interesting discussion between us, about ideas and ways to promote museums with new technologies, and I thought I’d propose an interview:

Me: tell us a little about yourself:

Luigi: My name is Luigi de Marchi and I am the president of the ABCOnlus association (Associazione Beni Culturali Onlus) which was founded in 2002, and has always been very active in promoting and enhancing cultural heritage, excellence and local traditions. This Start Up has the original concept of combining places of interest with current events in the maps. Currently it also combines Game components and the implementation of new technologies such as 3D. In a short time it became international with the development and the online release of the English version independent of the national version and also identified by a different domain which is culturalheritageonline.com.

Me: How does it work?

Luigi: The tools made available on the platform help to let users know where to find the beautiful masterpieces they are looking for. Currently for this reason we are developing an innovative search engine that thanks to the Artificial Intelligence can offer a targeted response to the user. It is aimed at all enthusiasts, artists, professionals such as photographers, tourist guides, researchers, but also at all activities such as museums, art galleries, associations and cultural centers. All those that create culture with events and activities of interest.

Everyone can log in, create a profile and then publish the location of the places they know, and make them known to other users, the system is a phase of evolution, every day they are implemented new and perfect functions. The latest news are the possibility to publish the Post and Albums, which are independent from the post mentioned above. They can contain texts, images and videos.

They all are cataloged and linked to geographical areas. A novelty is that of being able to connect the info of a place to the Post or to the Album, so it will be possible, for example, for a museum operator, to file his own museum, but in addition to connect their events in progress, you can present the works in it contained, by thematic album or by room. In this way it will become a Technical Data Sheet that can be used both to catalog the works and / or to make them known in the tourism field. The contents can be entered in dual language and the content in English will be put online in a second platform designed ad hoc for the international market located at culturalheritageonline.com

Me: Who are the users you might be interested in?

Luigi: To those who simply are looking for new ideas, unknown places and events of interest to be able to attend, even just for the next weekend or leisure / work trip. From few days ago the user can also find itineraries proposed by PRO Profiles that are structured like a Post Album, but these are linked  and shown on a map. On this map the user has the points of interest proposed, and also the route that connect each point. A real tourist guide with information, videos and images.

Me: To which direction will develop Online Cultural Heritage according to you?

Luigi: Every day we implement new functions, improving the system. Much of what we earn is reinvested in development. Undoubtedly the next step is to focus on the search engine based on artificial intelligence, we have begun to educate it, it will soon be ready to provide the first results to the users registered and profiled on the platform. Over time it will be able to give an increasingly useful support to those looking for places or events of cultural interest.

Me: wow it’s all very interesting !!! For the moment the interview ends here, but soon we will discuss better the use of Artificial Intelligence. Thank you so much for this interview Luigi!