La realtà aumentata

Newton numero 9 del Novembre 2010.
Nella sezione Galileo escono tre miei pezzi sulla realtà aumentata: i progetti Robocast e Active del Polimi (robotica neurochirurgica), il progetto ARMAR (manutenzione sul campo dei veicoli militari), realtà aumentata sui palmarini tipo iPhone.
_

La versione preliminare dell'articolo

Non (ancora) per uso umano

Milano - Michele Manghi
***apertura con foto Robocast_01.jpg nessuna didascalia***
Il braccio meccanico che abbiamo davanti somiglia a quello di un robot che salda la carrozzeria delle automobili. Una grossa etichetta dice che non è per “uso umano”, non ancora, serve solo per i test. Un piccolo cilindro gommato fissato agli snodi sembra fuori posto e fuori scala. È un cilindro lungo quindici centimetri per cinque di diametro. Molto più piccolo di tutto il resto.
«È MARS, il microposizionatore», ci spiega Giancarlo Ferrigno, «quello che ci garantisce precisioni sub-millimetriche nello spazio tridimensionale. Li producono in Israele e al mondo ce ne sono installati una trentina».
***immagine Robocast_05.jpg o Robocast_04.jpg didascalia: Il microposizionatore MARS garantisce precisioni sub-millimetriche***
Giancarlo Ferrigno è professore di Robotica medica e tecnologie in chirurgia al Dipartimento di Bioingegneria del Politecnico di Milano. Da tre anni, con Elena De Momi, coordina Robocast, un progetto internazionale che sviluppa un sistema per la robotica neurochirurgica. «Il progetto realizza un insieme di strumenti, procedure e tecniche di ausilio per la pianificazione degli interventi al cervello», ci spiega, «ma stiamo creando anche un sistema robotico da utilizzare sul teatro operatorio».
Abbiamo delle lacune e gli chiediamo di fare un passo indietro.
Un intervento di neurochirurgia, ci spiega, viene programmato a tavolino dall’equipe ben prima di arrivare in sala operatoria. Le informazioni descrittive del paziente vengono studiate dai medici. Essi osservano le TAC (tomografie assiali computerizzate), le RMN (risonanze magnetiche nucleari), le RMF (risonanze magnetiche funzionali, che mostrano quali parti del cervello sono attive durante diversi compiti), le DTI (diffusion tensor imaging, una applicazione della risonanza magnetica che riesce a descrivere la struttura tridimensionale e il decorso delle fibre nervose), la mappa dei vasi sanguigni. Attraverso queste immagini i chirurghi pianificano quali percorsi seguire per raggiungere il punto da toccare. Viene così studiata una rotta attraverso un arcipelago di ostacoli.
***immagine Robocast_03.jpg didascalia: La sala operatoria è il luogo dove si mette in pratica un intervento già pianificato in dettaglio***
Negli anni, i modelli che ogni chirurgo esperto si forma osservando e integrando mentalmente le immagini delle lastre, sono stati affiancati e sostituiti da modelli in tre dimensioni. Questi cervelli virtuali sono modellati dal computer basandosi sulle immagini ottenute dagli strumenti diagnostici. L’uso di modelli tridimensionali permette di pianificare l’intervento considerando sia gli ostacoli e le “no-fly zones” visti nella diagnostica strumentale che le capacità operative degli strumenti chirurgici.
Sono vere applicazioni di “realtà aumentata”, cioè sistemi che aggiungono informazioni che per loro natura non vediamo (ad esempio la densità di un tessuto nervoso) a ciò che con gli occhi vediamo.
Arrivati in sala operatoria la mano del chirurgo non guida direttamente la sonda, ma manovra invece il braccio robotico di Robocast. La sonda robotizzata già conosce quali percorsi deve seguire, quali aree deve evitare e quale deve essere il suo obbiettivo finale, con precisione sub-millimetrica. Il medico agisce su un manipolatore confermando passo per passo questo percorso. Il manipolatore, parte essenziale del progetto, è in grado di restituire alle dita la sensazione, eventualmente amplificata, della resistenza dei tessuti incontrati dalla sonda. Il feedback sulla mano del chirurgo si accompagna a una serie di dati diagnostici che il medico vede e che sono continuamente aggiornati.
«Poi in sala operatoria le cose evolvono durante l’intervento stesso» continua Ferrigno, «facendo nascere nuovi problemi». Il cervello, ci spiega, è immerso in un bagno di liquido cerebro spinale, il liquor, che ha una sua caratteristica pressione. Durante l’intervento il liquido defluisce verso l’esterno. Malgrado oggi si facciano fori molto piccoli, nel cranio e nelle membrane sottostanti, un po’ di liquor esce comunque e la sua uscita provoca la dislocazione della massa cerebrale, che progressivamente si deforma e diventa qualcosa di diverso da quello che era stato visto attraverso le immagini diagnostiche. Un fenomeno che si chiama brain shift.
«Durante ACTIVE, il progetto che prosegue il lavoro di ROBOCAST e che partirà nei prossimi mesi, realizzeremo un sistema per adeguare i modelli tridimensionali in modo dinamico, mano a mano che la situazione operatoria si evolve». Un sistema ecografico terrà sotto controllo alcuni punti della massa cerebrale, seguendone la lenta traiettoria in caso di movimento. Se il cervello si deforma il sistema sarà in grado di assistere il chirurgo nel riconoscere gli ostacoli e le aree interdette anche nella loro nuova posizione.
Un progetto come questo coinvolge una decina di gruppi sparsi per il mondo, dall’Imperial College di Londra a imprese tedesche e israeliane. Servono esperti di robotica, programmatori, neurologi. «Servono giovani che vogliano impegnarsi su ricerche di punta, con ottime prospettive di realizzazione, anche qui a Milano» conclude Elena De Momi. Ci sono una decina di patologie cerebrali che possono essere trattate con le tecniche sviluppate in Robocast e Active. Sono patologie gravi, che vanno dai tumori cerebrali al morbo di Parkinson a forme invalidanti di epilessia che non rispondono ai farmaci. Decine di patologie e migliaia di persone.
Già per uso umano
Usciti dal Politecnico di Milano abbiamo cominciato a chiederci quali applicazioni professionali di realtà aumentata stanno nascendo. In questi anni abbiamo visto decine di programmi per telefonino che sono in grado di aggiungere informazioni alle inquadrature riprese dalla telecamera del telefono stesso. Spesso sono applicazioni per uso ricreativo: inquadri un monumento e ti viene raccontata la sua storia, inquadri le montagne e compaiono i nomi delle cime, inquadri il cielo e compaiono i nomi delle costellazioni o i venti previsti.
Il mondo professionale sembra rimasto indietro, ma le potenzialità di questa tecnologia sono tali che certamente la realtà aumentata, o meglio una realtà mista, fatta dalla miscela di immagini vere e di immagini virtuali, diventerà familiare, ai giovani di oggi, anche in usi professionali.
Dunque cosa vedremo arrivare nella nostra vita, noi che non siamo neurochirughi e che non vediamo tutto questo enorme vantaggio nell’avere sul telefono una applicazione che ci elenca i ristoranti nel raggio di 200 metri?
Per capirne di più Newton ha parlato con Steve Feiner, professore al Dipartimento di Computer Science della Columbia University a New York. Feiner guida il gruppo che ha realizzato ARMAR, un sistema a realtà aumentata per la manutenzione e la riparazione dei mezzi militari sul campo. Il video di presentazione spiega tutto. Il meccanico indossa il visore e vede il motore reale non nella sua forma apparente, ma nella sua forma aumentata, cioè con i dati provenienti dai sensori e le procedure di intervento sovraimpresse. «Prendi la chiave esagonale da mezzo pollice e svita qui dove indica la freccia».
*** immagine ARMAR_01.jpg didascalia: Il meccanico è guidato passo passo nella procedura di riparazione ***

Un sistema come questo offre molti vantaggi. Per prima cosa i meccanici sono in grado di affrontare più rapidamente qualsiasi delle decine di modelli di mezzi in qualsiasi delle decine di possibili allestimenti. I progettisti poi sono in condizione di concentrarsi sull’efficienza del singolo progetto, senza dover tenere al primo posto la semplicità dell’intervento di manutenzione.
*** immagine ARMAR_02.jpg parte sinistra con operatore che indossa il visore. non metterei didascalia, oppure un semplice: Il sistema di visualizzazione utilizzato nel progetto ARMAR***
Chiediamo a Feiner cosa succederà nei prossimi anni. Gli chiediamo se e quando vedremo il tecnico dell’acquedotto puntare a terra il suo telefono e osservare percorso e dati di pressione dei tubi sottoterra.
«Certamente succederà» risponde «ma non so quando. Molta della manualistica militare e industriale è già in formato elettronico. Ma invece di essere espressa come realtà aumentata è composta da documenti interattivi da guardare su computer. La realtà aumentata avrebbe l’enorme potenziale di fare eseguire i compiti meglio e più velocemente, perché l’informazione è lì dove serve, di fianco all’oggetto reale su cui bisogna operare». Un bravo meccanico diventa ancora più bravo se ha sotto gli occhi il giusto manuale tecnico.
Gli investimenti non sono astronomici. Feiner ci ricorda che uno smartphone di oggi fa le stesse operazione di un cassone di dieci anni fa, e i costi di realizzazione e di fruizione dei contenuti aumentati seguono la stessa traiettoria.
Certamente servono investimenti. BMW, un paio di anni fa, ha lanciato un progetto di realtà aumentata per assistere i meccanici durante le riparazioni. Oggi l’ufficio stampa in Germania dichiara che il progetto è stato abbandonato perché la casa automobilistica non ha trovato un partner interessato allo sviluppo (cioè non ha trovato qualcuno che ci mettesse denaro e i vantaggi non sono stati giudicati sufficienti).
In un articolo comparso su New Scientist lo scorso anno, Tobias Hollerer dell’Università della California a Santa Barbara, dice di temere che la realtà aumentata faccia la stessa fine della realtà virtuale degli anni 90. Pensa che potrebbero essere gli utilizzatori stessi a dichiarare la morte di questa tecnologia per banale disinteresse.
Come sempre il problema è metterci contenuti, è fare cose utili sensibilmente meglio di come possono essere fatte con sistemi tradizionali. Oppure fare cose che i sistemi tradizionali, o le leggi della fisica, non permettono di fare.
Un altro di questi settori è quello creativo. Ne abbiamo parlato con Giampiero Moioli, che insegna all’Accademia di Brera a Milano e che anima il Brera Academy Virtual Lab. Con Mario Gerosa ha curato un volume che contiene interventi di artisti e performer che utilizzano sistemi di realtà virtuale e aumentata per realizzare opere (o un intero mondo) che non c’erano.
*** immagine MOIOLI_02.PSD didascalia: Il volume sul Brera Academy Virtual Lab***
Moioli stesso, con Stefania Albertini, realizza sculture che vivono soltanto su schermi digitali, perché le sue bolle fluttuanti non troverebbero accordo con le leggi di Newton. Sono opere che vivono in Second Life o in Open Sim, mondi virtuali che sfuggono alle costrizioni di questo universo. Nel libro che hanno curato si trovano le parole di registi televisivi, di designer e di artisti, concordi nel dire che i sistemi di realtà mista, miscela di reale e immateriale, sono un territorio ancora tutto da esplorare.
*** immagine MOIOLI_01.BMP didascalia: Una scultura dinamica che può vivere solo dove le leggi della fisica possono essere ignorate***
Noi sappiamo che nel telefono che abbiamo in tasca gira una applicazione che ci dice il nome delle costellazioni su cui puntiamo l’obbiettivo. E questa semplice cosa ha un sapore magico.