Um par de luvas que converte língua gestual em áudio

Projecto foi desenvolvido para a sobrinha de Roy Allela, que nasceu surda, mas tem sido um sucesso maior.

Foto de Brett Eloff via Royal Academy of Engineering

A ideia e motivação de Roy Allela para criar um par de luvas que convertesse sinais gestuais em som surgiu em resposta a um problema familiar e está agora entre os 16 projectos nomeados para o Africa Prize for Engineering Innovation 2019, que pelo quinto ano consecutivo promete distinguir a melhor inovação que chega do “continente esquecido”.

A sobrinha de seis anos do queniano Roy Allela nasceu surda, mas ninguém na sua família sabia língua gestual, tornando difícil a comunicação entre todos. É certo que podiam aprender o ‘abecedário dos gestos’, mas Roy Allela, de 25 anos, um evangelista de tecnologia que trabalha para a Intel e ensina ciência de dados na Universidade de Oxford, foi mais longe ao inventar um conversor em tempo real de movimentos gestuais em áudio, com a forma de umas luvas.

“A minha sobrinha mete as luvas, emparelha-as com o seu telemóvel ou o meu, depois começa a falar em língua gestual e eu entendo o que ela está a dizer”, contou Roy Allela ao The Guardian. “Como todos os comunicantes de linguagem gestual, ela é muito boa a ler os lábios, pelo que não precisa que eu responda em linguagem gestual.”

As luvas chamam-se Sign-IO e têm sensores flexíveis nos dedos, que monitorizam o movimento destes e determinam o gesto que o utilizador está a fazer, utilizando, para tal, uma base de dados interna baseada na American Sign Language. As Sign-IO são emparelhadas com um smartphone através de Bluetooth, e é através de uma app dedicada que o sinal das luvas é convertido em áudio com uma precisão de 93% .

Foto de Brett Eloff via Royal Academy of Engineering

A aplicação, que foi igualmente desenvolvida por Roy Allela, permite personalizar o género, o tom, o ritmo e o atraso da voz que representa a pessoa. “As pessoas falam em velocidades diferentes e o mesmo acontece com quem comunica por gestos: algumas são realmente rápidas, outras são lentas; por isso, integramos isso na app móvel para que seja confortável para qualquer um usá-la”, explica. Os utilizadores das luvas também vão poder personalizá-las e, assim, tê-las ao estilo que pretendem, seja com um desenhos de princesa ou com elementos do Spider-Man.

O sistema das Sign-IO (que significa “Sign-Input-Output”) usa inteligência artificial e aprendizagem automática para melhor entender e processar os gestos, e Roy Allela está a aprender língua gestual para melhor compreender os desafios que a tecnologia lhe pode colocar. Apesar de terem sido desenvolvidas para a sobrinha, as Sign-IO têm sido criadas em conjunto com outros jovens com deficiências auditivas ou de fala.

O projecto já ganhou um prémio monetário do American Society of Mechanical Engineers (ASME), que está a ser utilizado por Roy Allela para aperfeiçoar a tecnologia.