15 marzo 2008 - SEMINARIO La ricchezza della differenza: Cinema, audiovisivi e tecnologie per vivere meglio insieme - Spazio Oberdan - Milano.
Trascrizione dell'audio
Jill Scott, Il progetto E-skin, creare una pelle elettronica per persone con disabilità visiva
Sei capitato qui da un motore di ricerca? Puoi fruire del video dell'intervento di Jill Scott.
Jill Scott, Professore di Ricerca presso l'Istituto di Studi Culturali di Arte, Media e Design dell'Università di Arti Plastiche e Figurative di Zurigo. Artista essa stessa, collabora a molti programmi che avvicinano gli artisti a scienza e ricerca tecnologica.
Jill Scott: Grazie per avermi invitata, e per la sponsorizzazione da parte una società così importante come Plantronics.
Bene, parlerò di una ricerca molto specifica, alla quale lavoro dal 2003. Vorrei però darvi delle informazioni introduttive, per spiegarvi come mai sono passata a studiare questo ambito di ricerca.
Vi parlerò poi delle tre fasi di ricerca, che stiamo analizzando, e anche per quanto riguarda il futuro della tecnologia, e della ricerca interattiva per gli ipovedenti.
Parlerò lentamente perché c'è la traduzione. Penso che sia molto importante che io parli lentamente... adesso aspetto che voi vi possiate accomodare. La mia storia di ricerca riguarda le interfacce tattili.
Ho iniziato occupandomi di Performance Art, delle tecnologie della sorveglianza, e mi sono resa conto dell'importanza delle nuove tecnologie per aiutare le persone a muoversi nell'ambiente.
Nel 1982 ho iniziato a lavorare nella dimensione video, occupandomi di grafica digitale di alta qualità. Dal 1992 ho cominciato ad occuparmi di ambienti interattivi e interfacce tattili.
Ho intrapreso queste attività dopo aver seguito un corso in psicologia clinica, che mi interessava per capire come le persone riescono a ricevere le informazioni col tatto,
e come le integrano con suoni e visione, per comprendere il proprio ambiente. Nel 2002 ho iniziato una ricerca scientifica più approfondita, attraverso la mappatura cognitiva (comprendere come noi ci muoviamo nel mondo)
e le interazioni crossmodali (come un senso sostituisce un altro senso all'interno del cervello). Ho quindi iniziato ad interessarmi alle neuroscienze, in particolare della neuromorfologia,
ovvero come i nervi si muovono e come avvengono le interazioni nel sistema nervoso. Questo ci aiuta a capire il cambiamento nell'ambiente.
Si tratta di fasi interessanti per un'artista. Ho cercato di creare della tecnologia portabile, indossabile, per integrare e migliorare le funzionalità delle tecnologie.
Quindi, assieme a un gruppo che si occupa di intelligenza artificiale, abbiamo iniziato a lavorare al progetto E-skin. L'E-skin conduce a realizzare una pelle elettronica che può essere indossata
per aiutare le persone a orientarsi in vari ambienti. Vi parlerò ora delle tre fasi di ricerca per lo sviluppo della pelle elettronica. Nella prima fase abbiamo lavorato a "sculture intelligenti".
Abbiamo cercato, prima di tutto, di capire come funziona la natura, realizzando delle macchine che imitano la natura. Questo è uno degli obiettivi dell'intelligenza artificiale.
E' stato molto interessante lavorare con questi ricercatori, all'inizio della nostra ricerca. L'obiettivo di questa interfaccia, che dovrebbe essere indossata e aiutare le persone
a riconoscere attraverso il tatto l'ambiente. L'obiettivo era la creazione di una interfaccia per migliorare la visione combinando informazioni tattili con informazioni di tipo acustico.
Il feedback acustico è molto importante in particolare per gli ipovedenti. L'obiettivo è quindi di consentire a danzatori e artisti ipovedenti di creare i loro spettacoli per il pubblico di vedenti.
Un altro obiettivo era di avanzare nella ricerca scientifica nell'interazione crossmodale, ovvero la sostituzione di un senso all'interno del nostro cervello con un altro canale sensoriale.
Abbiamo cercato anche di costruire una apparecchiatura elettronica mobile per creare queste interazioni. Allora, vediamo innanzitutto la pelle elettronica.
Perché abbiamo deciso di realizzare una pelle? Perché la pelle è l'organo più grande, più ampio del corpo umano. E vi sono inoltre connotazioni di tipo poetico, metafore, differenze culturali,
però la capacità della pelle di acquisire ed elaborare informazione è effettivamente superiore alle capacità della vista e dell'udito combinate fra loro.
Queste considerazioni ci hanno portato alle cosiddette "sculture intelligenti". Qui vediamo ad esempio come si imitano alcune modalità della pelle, per esempio generando delle vibrazioni
causate dal pelo sulla pelle, e dalla pressione, sentita da altre cellule all'interno della cute, e poi dalla temperatura. Quindi la vostra pelle percepisce tutti questi elementi (pressione, vibrazione, temperatura)
all'interno di questa stanza. Abbiamo quindi cercato di imitare queste percezioni utilizzando delle apparecchiature elettroniche: un sistema in tempo reale legato a un server a e a tre
computer Macintosh (client), sensori a infrarossi, sensori di inclinazione, per la misurazione oggettiva. Poi abbiamo altri sensori per la misurazione della temperatura e sensori per misurare la pressione.
Quali sono i contenuti che possono interessare in questo caso? Se non si riesce a vedere, allora mancano delle informazioni anche di tipo culturale, perché se non si vede non possiamo vedere chi abbiamo davanti,
di che razza è, ad esempio. Quindi per il contenuto questo è un aspetto molto significativo. Il contenuto potrebbe essere ad esempio di tipo tattile. Molte persone non sanno come funziona la pelle,
e questo potrebbe servire a fornirci un tour virtuale attraverso i vari strati molecolari della pelle. Si possono poi avere vantaggi nello studio delle patologie oculari.
Si tratta di informazioni che mancano spesso alle persone vedenti, che non sono consapevoli di tutti questi aspetti. Quindi nel nostro Istituto a Zurigo abbiamo individuato sei persone cieche dalla nascita
e abbiamo iniziato a collaborare con loro in vari modi. Abbiamo utilizzato un detector a ultrasuoni che può individuare differenze fra un oggetto e l'altro. L'oggetto è di fronte al detector
oppure non c'è niente. Quindi si ottiene un suono collegato al movimento dell'apparecchio a ultrasuoni. Poi abbiamo testato un altro apparecchio che si chiama bone-phone.
Esso manda dei suoni attraverso le ossa nella testa, ed effettivamente questo apparecchio può essere inserito all'interno del corpo e questo è molto interessante.
Abbiamo iniziato anche a lavorare con il movimento vero e proprio, con la gestualità. Per chi è congenitamente cieco è molto difficile capire se voi state gesticolando, non riescono a vedervi,
quindi abbiamo pensato che forse possono sentire il vostro movimento se nella pelle hanno una interfaccia, possono sentire il movimento piuttosto che vederlo. Poi abbiamo iniziato un altro progetto,
si tratta di una interfaccia che mettiamo su un braccio e abbiamo chiesto alle persone se avvertono pressioni sull'interfaccia e di individuare il quadrato collegato con la parte
collegata con la parte sottoposta a pressione. Abbiamo scoperto che le persone imparano velocemente, e che si rendono conto che queste possono essere soluzioni molto interessanti.
Quindi per esempio qui vediamo la disposizione di linee guida tattili sul pavimento, una soluzione per aiutare le persone non vedenti a muoversi nello spazio,
quindi tutti questi test ci aiutano a mettere a punto l'interfaccia. Possiamo vedere che le informazioni tattili e la navigazione, l'orientamento nello spazio sono ben coordinate e collegate tra di loro,
e poi questi strumenti possono essere anche utilizzati per migliorare la memoria delle persone, per ritrovare la strada. Abbiamo poi cercato di mettere a punto uno strumento indossabile.
Qui ad esempio vediamo delle cinture che si possono indossare. Si può prendere un oggetto, portarlo alla cintura e con uno strumento auditivo si può capire di cosa si tratta.
Per esempio se siamo in un supermercato, che è un posto orribile per i non vedenti (ci sono troppe informazioni difficili da decodificare), posso prendere un oggetto dallo scaffale,
portarlo vicino alla cintura e sentire la spiegazione di cosa sia. Oppure posso riconoscere degli oggetti che altrimenti non potrei riconoscere senza questi aiuti elettronici,
perché ad esempio un sacchetto di riso può essere del tutto simile a uno di fagioli. Abbiamo pertanto cercato di individuare delle modalità in cui il design dell'interfaccia avrebbe aiutato le persone
a individuare oggetti. Per esempio, per aiutare le persone che lavorano in palcoscenico, danzatori, artisti... E di creare degli strumenti che aiutassero le persone a controllare la loro posizione sul palco.
Qui vediamo le prime interfacce indossabili che abbiamo messo a punto. Questo strumento è molto piccolo e si può mettere sul braccio, ci dà indicazioni relative allo spazio, e poi per esempio ci dice
cosa sono i vari oggetti: si possono inserire dei suoni personalizzati che ci dicono dove si trovano gli oggetti. In questa fase della ricerca siamo stati aiutati da un neurochirurgo, Paul Bach -y- Rita,
che ha messo a punto questa interfaccia... qui potete vedere questa persona, è cieca, congenitamente, ha una telecamera posizionata sulla testa, che guarda intorno e divide lo spazio in due toni di grigio.
Questi toni di grigio sono interpretati in un chip con una serie di microallineamenti che cambiano secondo le tonalità di grigio. Alcuni toni più chiari sono definiti in un modo, altri in un altro,
e in questo modo la persona si relaziona con i microallineamenti riuscendo a "vedere" bypassando il nervo ottico, attraverso la lingua. Questo chip è infatti posizionato sulla lingua.
Si tratta di uno strumento di estremo interesse, un caso classico di interazione intermodale: il senso tattile sostituisce totalmente la vista. Non c'è nessun collegamento col cervello,
se non tramite il tatto, quindi in questo modo abbiamo cominciato a mettere a punto delle soluzioni attraverso un piccolo computer che dà feedback tattili, attraverso la pelle,
e ci aiuta a controllare tutti i vari componenti visivi intorno a lui. Questo computer è piccolissimo, si chiama QBIC, si porta facilmente su una cintura ed è facile da usare.
Vedete qui due interfacce, ciascuna su una mano, un piccolo computer indossato sulla cintura... ci sono un paio di sensori sulle spalle e praticamente si può lavorare in questa area
dove si può agire assieme ad altre persone non vedenti e creare degli eventi culturali. E' molto interessante vedere poi quello che può succedere, è la parte conclusiva di questa ricerca.
Quindi con la E-skin, sezione 3, abbiamo cercato di affrontare il problema di come possiamo avere qualcosa al centro del palco, come una scultura interattiva parte della scenografia,
e come utilizzarla per migliorare il palcoscenico stesso. Il palcoscenico potrebbe avere degli oggetti interattivi, oltre a quelli che sono indossati dai non vedenti, potrebbero esserci anche degli oggetti
con cui i danzatori possono interagire. Le ho chiamate sculture neuromediali. Sono degli oggetti che derivano da studi in neuroscienza. Per gli attori, se sono ciechi, è importante
che il palcoscenico faccia parte di tutta la drammatizzazione dello spettacolo ed è anche importante che questi oggetti permettano la trasmissione di dati dalle varie parti, dalle pareti,
sul pavimento e, altro aspetto di grande interesse, gli attori possono utilizzare le loro strumentazioni tattili e sonore in combinazione tra loro, per far vedere qualcosa di visivo al pubblico.
Quindi il codice delle informazioni tattili e sonore può essere combinato in modo da creare qualcosa di visivo per il resto del pubblico vedente: si può creare un nuovo linguaggio, sono studi molto interessanti.
Queste sono le sculture che stiamo attualmente realizzando. Una si chiama Derma-tone, e combina percezioni visive, sonore e tattili, e l'altra si chiama Electric-Retina.
Qui può essere sistemato, in questa posizione della spina dorsale... vediamo questa animazione, potete vedere che tutte le informazioni che vengono dalle punte delle dita, dalla pelle,
vanno direttamente al cervello. Questa area ha delle radici dorsali nei nervi periferici e ci sono vari neuroni motosensitivi e neuroni sensibili all'orientamento, tutti questi neuroni lavorano insieme
per creare le informazioni per il nostro corpo e che vanno al cervello. Nel nostro Istituto, dove studiamo tutti questi aspetti, stiamo cercando di capire cosa succede quando giungono le informazioni al cervello:
abbiamo la corteccia e le informazioni ci vengono dagli occhi e vanno direttamente attraverso il nervo ottico. Questa si chiama corteccia somatica: è molto interessante ed è costituita da cinque mappe.
[Viene chiesto di fare silenzio]. Per capire il nostro ambiente lo mappiamo in cinque parti: queste sono le parti attraverso le quali si conosce il mondo. La prima è la Texture,
lo spessore, la parte tattile, se toccate qualcosa con la punta delle dita il tipo di texture viene registrato in una mappa specifica nella vostra corteccia. La seconda è la forma (Shape).
La forma viene registrata in un'altra parte della corteccia, sempre sotto forma di mappa. Un'altra è l'elasticità (Stretch).
Quando prendiamo un oggetto e lo tiriamo,
l'informazione tattile forma una mappa. La mappa di questa azione, dello Stretch, della tensione. La quarta parte è la traduzione (Translation). Il talamo converte i segnali sensoriali in altri codici
(corteccia somatica sensoriale). La quinta parte è l'associazione (Association), che riguarda varie parti del cervello. Quando La persona aveva la telecamera sulla testa e aveva quel chip sulla lingua,
ottiene delle informazioni dalla corteccia visiva del cervello attraverso la corteccia somatica sensoriale. Questa trasferisce informazioni da una sezione all'altra del cervello,
e questo è estremamente interessante. Ci fa vedere che esiste l'interazione crossmodale, perché in sostanza abbiamo questa mappatura [suona un cellulare]... un altro aspetto molto importante è la retina elettrica,
e qui si tratta di capire come l'ipovisione può essere aiutata. Io innanzitutto volevo capire come vede la retina: se guardiamo la retina, essa è formata da coni e bastoncelli,
qui potete vedere le varie differenze di questi componenti. Le parti più piccole sono i coni e le più grandi i bastoncelli. Ci sono dei casi di malattia in cui abbiamo la disfunzione dei bastoncelli.
Cosa facciamo con la E-skin, per aiutare gli attori? Creiamo una specie di scultura... potete vedere qui come è stata progettata e creata la scultura.
La ricerca scientifica sta andando molto avanti per quanto riguarda i problemi di tipo genetico, l'ipovisione, la fotosensibilità ecc. Un altro aspetto interessante è che tutta la ricerca
che viene fatta in questo campo è fatta su un pesce, il pesce zebra, che ha la stessa struttura della retina umana, e questo è molto interessante perché geneticamente siamo molto simili a certi animali.
Il rapporto fra i coni e i bastoncelli nel pesce è lo stesso della retina umana. Questi pesci dormono di notte, e queste ricerche non si fanno sui topi che invece di notte sono attivi.
Il rapporto tra i coni e i bastoncelli è esattamente lo stesso nel pesce e in noi. Da un lato abbiamo questa struttura, sezione della retina, vedete i coni e i bastoncelli.
Possiamo vedere poi una proiezione con la quale si può vedere come l'ipovisione effettivamente abbia un impatto negativo sulla visione delle persone. Per ricreare il difetto visivo attraverso questa proiezione.
Questa scultura consiste di film oculari proiettati, e vi sono modi diversi per coordinare questi due tipi di film, interagendo con la scultura si può interagire col film che si ottiene.
Questa è la scultura vera e propria come ci appare, qui vediamo come possiamo cambiare la lente e in questo caso si può ricreare un'altra condizione patologica.
Sono tutti studi che si stanno facendo nell'Istituto per la visione a Zurigo, e attraverso questi studi si stanno facendo molte scoperte su visione e ipovisione.
Poi, inserendo degli apparecchi elettrici in questa scultura, è possibile - analizzando coni e bastoncelli - collegare tra di loro sensazioni visive e tattili.
Queste sono alcune cose che si possono vedere con la retina. Qui vediamo una migrazione del pigmento... qui vediamo l'adattamento alla luce. Qui si nota come funziona il pigmento
quando si passa da una zona di luce e d'ombra. Il pigmento nella retina scende, per permettere il passaggio di più luce. Sono stati fatti moltissimi studi per l'adattamento alla luce
e ci sono molte patologie che impattano su questa capacità di adattamento (ad esempio la retinite pigmentosa). Un altro studio che si sta facendo riguarda un pesce mutante creato geneticamente: il pesce nero.
Potete vedere che c'è una differenza fra questo tipo di retina e quella che si sviluppa all'interno di questo pesce mutante. Nel settore della visione e dell'ipovisione si stanno facendo molte ricerche,
ma molto importante è ricordare che quando si creano delle interfacce, delle sculture per questo tipo di disabilità, l'interazione di tipo tattile non è facile da realizzare
senza considerare anche altri fenomeni di tipo sociale, comunitario. Un aspetto molto importante è che con gli ipovedenti tutta l'interazione deve essere in tempo reale, ovviamente.
Non possiamo avere un ritardo neppure di qualche secondo, dobbiamo avere un'interazione in tempo reale. E' una cosa essenziale, in questo modo effettivamente si consente alle persone
di essere coinvolte nello spazio, nell'ambiente, e di partecipare al movimento. Un altro aspetto importante è di poter muovere l'interfaccia e farla dialogare con altre interfacce.
E' poi decisiva la tangibilità, si deve tenere sempre conto delle potenzialità tattili. C'è quindi la condivisione: le persone devono sapere come lavorare tra loro,
come interagire in modo intimo, attraverso le emozioni. E' molto importante il rapporto fra il vedere e il sentire, deve essere un rapporto molto stretto, in relazione con la tangibilità.
Quello che il nostro gruppo sta cercando di fare è, nelle tre fasi di questa ricerca, cercare di umanizzare la tecnologia. Di fare in modo che la tecnologia raggiunga un livello tale da non essere solo un gadget,
ma un ausilio concreto che aiuti le persone a orientarsi nello spazio, nel tempo, e a capire dove si trovano, come possono comunicare e interagire tra di loro.
Grazie mille per la vostra attenzione. Vorrei ringraziarvi a nome di tutto il gruppo di ricerca e neuroscienza e anche per conto dell'Università di Zurigo.
Riprese video, montaggio, sottotitolazione a cura di Roberto Ellero - Webmultimediale.org
© 2008