MAIS NOTÍCIAS
A nova tecnologia é um trampolim para prótese de fala neural.
 |
| Gopala Anumanchipalli, PhD, segurando um exemplo de eletrodos intracranianos do tipo usado para registrar a atividade cerebral no estudo atual. Crédito: UCSF |
Uma interface cérebro-máquina de última geração criada pelos neurocientistas da UC San Francisco pode gerar fala sintética de sonoridade natural usando a atividade cerebral para controlar um trato vocal virtual - uma simulação de computador anatomicamente detalhada incluindo os lábios, mandíbula, língua e laringe. O estudo foi realizado em participantes da pesquisa com fala intacta, mas a tecnologia poderia um dia restaurar as vozes de pessoas que perderam a capacidade de falar devido à paralisia e outras formas de danos neurológicos.
Acidente vascular cerebral, traumatismo cranioencefálico e doenças neurodegenerativas, como a doença de Parkinson, esclerose múltipla e esclerose lateral amiotrófica (ELA, ou doença de Lou Gehrig), muitas vezes resultam em uma perda irreversível da capacidade de falar. Algumas pessoas com deficiências graves de fala aprendem a soletrar seus pensamentos letra por letra usando dispositivos auxiliares que acompanham os movimentos dos olhos ou dos músculos faciais muito pequenos. No entanto, a produção de texto ou fala sintetizada com tais dispositivos é trabalhosa, propensa a erros e dolorosamente lenta, normalmente permitindo um máximo de 10 palavras por minuto, em comparação com as 100-150 palavras por minuto de fala natural.
 |
Síntese da fala a partir de sentenças faladas neuralmente decodificadas.
Nature, DOI: 10.1038/s41586-019-1119-1
|
O novo sistema que está sendo desenvolvido no laboratório de Edward Chang, MD - descrito em 24 de abril de 2019 na Nature - demonstra que é possível criar uma versão sintetizada da voz de uma pessoa que pode ser controlada pela atividade dos centros de fala do cérebro. . No futuro, essa abordagem poderia não apenas restaurar a comunicação fluente para pessoas com deficiência severa de fala, dizem os autores, mas também poderia reproduzir parte da musicalidade da voz humana que transmite as emoções e a personalidade do falante.
"Pela primeira vez, este estudo demonstra que podemos gerar sentenças orais inteiras com base na atividade cerebral de um indivíduo", disse Chang, professor de cirurgia neurológica e membro do Instituto de Neurociência Weill da UCSF. "Esta é uma prova estimulante de princípio de que com a tecnologia que já está ao nosso alcance, devemos ser capazes de construir um dispositivo clinicamente viável em pacientes com perda de fala."
Trato Vocal Virtual Melhora a Síntese da Fala Naturalista
A pesquisa foi liderada por Gopala Anumanchipalli, PhD, um cientista de discurso, e Josh Chartier, um estudante de pós-graduação em bioengenharia no laboratório de Chang. Ele se baseia em um estudo recente no qual o casal descreveu pela primeira vez como os centros de fala do cérebro humano coreografam os movimentos dos lábios, mandíbula, língua e outros componentes do trato vocal para produzir fala fluente.
A partir desse trabalho, Anumanchipalli e Chartier perceberam que as tentativas anteriores de decodificar diretamente a fala da atividade cerebral poderiam ter tido sucesso limitado, porque essas regiões do cérebro não representam diretamente as propriedades acústicas dos sons da fala, mas as instruções necessárias para coordenar os movimentos da fala. boca e garganta durante a fala.
"A relação entre os movimentos do trato vocal e os sons da fala produzidos é complicada", disse Anumanchipalli. "Raciocinamos que, se esses centros de fala no cérebro estão codificando movimentos em vez de sons, devemos tentar fazer o mesmo na decodificação desses sinais."
Em seu novo estudo, Anumancipali e Chartier perguntaram a cinco voluntários que estavam sendo tratados no UCSF Epilepsy Center - pacientes com fala intacta que tinham eletrodos implantados temporariamente em seus cérebros para mapear a fonte de suas convulsões em preparação para a neurocirurgia - para ler várias centenas de sentenças em voz alta enquanto os pesquisadores registravam a atividade de uma região do cérebro conhecida por estar envolvida na produção da linguagem.
 |
| Localização dos arranjos de eletrodos para os participantes. Nature, DOI: 10.1038/s41586-019-1119-1 |
Com base nas gravações em áudio das vozes dos participantes, os pesquisadores usaram princípios lingüísticos para fazer engenharia reversa dos movimentos do trato vocal necessários para produzir esses sons: pressionando os lábios juntos, apertando as cordas vocais, deslocando a ponta da língua para o teto do corpo. boca, depois relaxando e assim por diante.
Este mapeamento detalhado de som para anatomia permitiu aos cientistas criar um trato vocal virtual realista para cada participante que poderia ser controlado por sua atividade cerebral. Isso compreendeu dois algoritmos de aprendizado de máquina de "rede neural": um decodificador que transforma os padrões de atividade cerebral produzidos durante a fala em movimentos do trato vocal virtual e um sintetizador que converte esses movimentos do trato vocal em uma aproximação sintética da voz do participante.
A fala sintética produzida por esses algoritmos foi significativamente melhor do que a fala sintética diretamente decodificada da atividade cerebral dos participantes sem a inclusão de simulações dos tratos vocais dos falantes, descobriram os pesquisadores. Os algoritmos produziram sentenças que eram compreensíveis para centenas de ouvintes humanos em testes de transcrição de crowdsourcing realizados na plataforma Amazon Mechanical Turk.
Como é o caso da fala natural, os transcritores tiveram mais sucesso quando receberam listas mais curtas de palavras para escolher, como seria o caso de cuidadores que estão preparados para os tipos de frases ou pedidos que os pacientes possam apresentar. Os transcritores identificaram com precisão 69% das palavras sintetizadas das listas de 25 alternativas e transcreveram 43% das frases com perfeita precisão. Com mais de 50 palavras desafiadoras para escolher, a precisão geral dos transcritores caiu para 47%, embora eles ainda conseguissem entender perfeitamente 21% das sentenças sintetizadas.
"Ainda temos maneiras de imitar perfeitamente a linguagem falada", reconheceu Chartier. "Somos muito bons em sintetizar sons de fala mais lentos como 'sh' e 'z', bem como manter os ritmos e entonações da fala e o gênero e a identidade do falante, mas alguns dos sons mais abruptos como 'b's e' p's Ainda assim, os níveis de precisão que produzimos aqui seriam uma melhoria incrível na comunicação em tempo real em comparação com o que está atualmente disponível ".
 |
| A síntese de fala a partir da decodificação neural da fala mimetizou silenciosamente. Nature, DOI: 10.1038/s41586-019-1119-1 |
Inteligência Artificial, Lingüística e Neurociência Incrementaram o Avanço
Os pesquisadores estão atualmente experimentando arrays de eletrodos de densidade mais alta e algoritmos de aprendizado de máquina mais avançados, que esperam melhorar ainda mais a fala sintetizada. O próximo grande teste para a tecnologia é determinar se alguém que não fala pode aprender a usar o sistema sem poder treiná-lo em sua própria voz e generalizá-lo para qualquer coisa que deseje dizer.
Os resultados preliminares de um dos participantes da pesquisa da equipe sugerem que o sistema baseado em anatomia dos pesquisadores pode decodificar e sintetizar frases novas da atividade cerebral dos participantes, quase tão bem quanto as sentenças nas quais o algoritmo foi treinado. Mesmo quando os pesquisadores forneceram o algoritmo com dados de atividade cerebral registrados, enquanto um participante apenas pronunciou sentenças sem som, o sistema ainda era capaz de produzir versões sintéticas inteligíveis das sentenças mimetizadas na voz do locutor.
Os pesquisadores também descobriram que o código neural para os movimentos vocais se sobrepõe parcialmente aos participantes, e que a simulação do trato vocal de um sujeito da pesquisa pode ser adaptada para responder às instruções neurais registradas no cérebro de outro participante. Juntos, esses achados sugerem que indivíduos com perda de fala devido a comprometimento neurológico podem ser capazes de aprender a controlar uma prótese de fala modelada na voz de alguém com fala intacta.
"As pessoas que não conseguem mover os braços e as pernas aprenderam a controlar os membros robóticos com seus cérebros", disse Chartier. "Estamos esperançosos de que um dia pessoas com deficiências da fala possam aprender a falar novamente usando esse trato vocal artificial controlado pelo cérebro."
Anumanchipalli acrescentou: "Estou orgulhoso de termos conseguido reunir a expertise da neurociência, lingüística e aprendizado de máquina como parte desse importante marco para ajudar pacientes com deficiências neurológicas".
University of California - San Francisco. Original escrito por Nicholas Weiler.
Nature, 2019; 568 (7753): 493 DOI: 10.1038/s41586-019-1119-1
Sciencedaily