A lavorare su questa tecnologia nota come interfaccia cervello-computer per oltre un decennio è stato Edward Chang, responsabile di chirurgia neurologica presso l’UCSF. Il ricercatore spera che questo recente progresso, pubblicato oggi su Nature, conduca a un sistema approvato dalla FDA che permetta la comunicazione attraverso segnali cerebrali in un futuro prossimo. “Il nostro obiettivo è ripristinare un modo di comunicare completo e naturale, che è davvero il modo più naturale per noi di parlare con gli altri”, spiega Chang, membro dell’Istituto per le Neuroscienze Weill dell’UCSF e professore del Jeanne Robertson in Psichiatria: “Questi sviluppi ci avvicinano molto a trovare una soluzione concreta per i pazienti”.
Il team di Chang aveva precedentemente dimostrato come fosse stato possibile decodificare i segnali cerebrali in testo in un uomo che aveva subito un ictus tronco-encefalico molti anni prima. Lo studio attuale dimostra qualcosa di più ambizioso: decodificare i segnali cerebrali nella ricchezza del linguaggio parlato, insieme ai movimenti che animano il volto di una persona durante una conversazione. Chang ha impiantato un rettangolo sottile di 253 elettrodi sulla superficie del cervello della donna nelle aree critiche per il linguaggio, scoperte dal suo team. Gli elettrodi hanno intercettato i segnali cerebrali che, se non fosse stato per l’ictus, sarebbero stati inviati ai muscoli della lingua, della mandibola e della laringe, così come al volto. Un cavo collegato a una presa fissata sulla sua testa ha collegato gli elettrodi a un gruppo di computer. Per settimane, la partecipante ha lavorato con il team per addestrare gli algoritmi di intelligenza artificiale del sistema a riconoscere i suoi segnali cerebrali unici per il linguaggio. Questo ha comportato la ripetizione di diverse frasi da un vocabolario conversazionale di 1024 parole, fino a quando il computer ha riconosciuto i modelli di attività cerebrale associati ai suoni. Invece di addestrare l’IA a riconoscere intere parole, i ricercatori hanno creato un sistema che decodifica le parole dai fonemi. I fonemi sono le sottounità del linguaggio parlato che formano le parole pronunciate allo stesso modo in cui le lettere formano le parole scritte. Utilizzando questo approccio, il computer ha dovuto imparare solo 39 fonemi per decifrare qualsiasi parola in inglese. Questo ha migliorato sia l’accuratezza del sistema che lo ha reso tre volte più veloce.
“Precisione, velocità e vocabolario sono cruciali”, ha detto Sean Metzger, che ha sviluppato il decodificatore di testo insieme ad Alex Silva, entrambi studenti laureati nel programma congiunto di Bioingegneria presso UC Berkeley e UCSF. “È ciò che dà all’utente il potenziale, col tempo, di comunicare quasi alla stessa velocità che facciamo noi e di avere conversazioni molto più naturali e normali”.
Per creare la voce, il team ha ideato un algoritmo per la sintesi del linguaggio, personalizzandolo in modo che assomigliasse alla sua voce prima dell’incidente, utilizzando una registrazione in cui parlava al suo matrimonio. Il team ha animato l’avatar con l’aiuto di un software che simula e anima i movimenti muscolari del volto, sviluppato da Speech Graphics, un’azienda specializzata in animazioni facciali basate su intelligenza artificiale. I ricercatori hanno creato processi di apprendimento automatico personalizzati che hanno permesso al software dell’azienda di interagire con i segnali inviati dal cervello della donna mentre cercava di parlare, convertendoli nei movimenti sul volto dell’avatar, facendo aprire e chiudere la mascella, sporgere e stringere le labbra e muovere su e giù la lingua, così come i movimenti facciali per felicità, tristezza e sorpresa.
“Stiamo compensando le connessioni tra il cervello e il tratto vocale che sono state interrotte dall’ictus”, ha concluso Kaylo Littlejohn, un giovane scienziato che lavora con Chang e Gopala Anumanchipalli, professore presso la UC Berkeley: “Quando il soggetto ha utilizzato per la prima volta questo sistema per parlare e muovere il volto dell’avatar in sincronia, sapevo che sarebbe stato qualcosa con un impatto reale”. Un passo successivo importante per il team è creare una versione wireless che non richiederebbe all’utente di essere fisicamente connesso all’interfaccia cervello-computer. (AGI)
SCI/BAS..
Il team di Chang aveva precedentemente dimostrato come fosse stato possibile decodificare i segnali cerebrali in testo in un uomo che aveva subito un ictus tronco-encefalico molti anni prima. Lo studio attuale dimostra qualcosa di più ambizioso: decodificare i segnali cerebrali nella ricchezza del linguaggio parlato, insieme ai movimenti che animano il volto di una persona durante una conversazione. Chang ha impiantato un rettangolo sottile di 253 elettrodi sulla superficie del cervello della donna nelle aree critiche per il linguaggio, scoperte dal suo team. Gli elettrodi hanno intercettato i segnali cerebrali che, se non fosse stato per l’ictus, sarebbero stati inviati ai muscoli della lingua, della mandibola e della laringe, così come al volto. Un cavo collegato a una presa fissata sulla sua testa ha collegato gli elettrodi a un gruppo di computer. Per settimane, la partecipante ha lavorato con il team per addestrare gli algoritmi di intelligenza artificiale del sistema a riconoscere i suoi segnali cerebrali unici per il linguaggio. Questo ha comportato la ripetizione di diverse frasi da un vocabolario conversazionale di 1024 parole, fino a quando il computer ha riconosciuto i modelli di attività cerebrale associati ai suoni. Invece di addestrare l’IA a riconoscere intere parole, i ricercatori hanno creato un sistema che decodifica le parole dai fonemi. I fonemi sono le sottounità del linguaggio parlato che formano le parole pronunciate allo stesso modo in cui le lettere formano le parole scritte. Utilizzando questo approccio, il computer ha dovuto imparare solo 39 fonemi per decifrare qualsiasi parola in inglese. Questo ha migliorato sia l’accuratezza del sistema che lo ha reso tre volte più veloce.
“Precisione, velocità e vocabolario sono cruciali”, ha detto Sean Metzger, che ha sviluppato il decodificatore di testo insieme ad Alex Silva, entrambi studenti laureati nel programma congiunto di Bioingegneria presso UC Berkeley e UCSF. “È ciò che dà all’utente il potenziale, col tempo, di comunicare quasi alla stessa velocità che facciamo noi e di avere conversazioni molto più naturali e normali”.
Per creare la voce, il team ha ideato un algoritmo per la sintesi del linguaggio, personalizzandolo in modo che assomigliasse alla sua voce prima dell’incidente, utilizzando una registrazione in cui parlava al suo matrimonio. Il team ha animato l’avatar con l’aiuto di un software che simula e anima i movimenti muscolari del volto, sviluppato da Speech Graphics, un’azienda specializzata in animazioni facciali basate su intelligenza artificiale. I ricercatori hanno creato processi di apprendimento automatico personalizzati che hanno permesso al software dell’azienda di interagire con i segnali inviati dal cervello della donna mentre cercava di parlare, convertendoli nei movimenti sul volto dell’avatar, facendo aprire e chiudere la mascella, sporgere e stringere le labbra e muovere su e giù la lingua, così come i movimenti facciali per felicità, tristezza e sorpresa.
“Stiamo compensando le connessioni tra il cervello e il tratto vocale che sono state interrotte dall’ictus”, ha concluso Kaylo Littlejohn, un giovane scienziato che lavora con Chang e Gopala Anumanchipalli, professore presso la UC Berkeley: “Quando il soggetto ha utilizzato per la prima volta questo sistema per parlare e muovere il volto dell’avatar in sincronia, sapevo che sarebbe stato qualcosa con un impatto reale”. Un passo successivo importante per il team è creare una versione wireless che non richiederebbe all’utente di essere fisicamente connesso all’interfaccia cervello-computer. (AGI)
SCI/BAS..