Um laboratório de informática que trabalha para simplificar a interação humano-computador para pessoas de todas as habilidades desenvolveu um leitor labial digital com seu próprio sistema de aprendizado de máquina que ajuda o usuário a entender melhor.
LipType É invenção do professor Ahmed Sabbi Arif e o laboratório dele. Resumindo: leia o movimento dos lábios. Ele lê tão bem que permite que as pessoas enviem mensagens de texto ou e-mails em PCs e smartphones e tenham interações sem contato com dispositivos públicos, como caixas eletrônicos ou outros quiosques. sem falar em voz alta.
Existem outros dispositivos de leitura labial, mas eles não são amplamente usados porque são lentos e geralmente apresentam defeitos.
Um salto em frente
Existem muitos erros de ditado, especialmente em locais barulhentos. Pessoas com problemas de linguagem também têm dificuldade em se fazerem entender, talvez devido ao seu sotaque. O LipType funciona para qualquer pessoa. As pessoas podem precisar enviar uma mensagem privada enquanto estão em um espaço público ou em uma reunião, e com o LipType elas podem apenas mexer os lábios sem fazer barulho.
Seus alunos Arif adicionaram vários filtros com algoritmos diferentes inteligência artificial para permitir a leitura labial em diferentes condições de iluminação. Em seguida, eles introduziram um corretor de erros com base em diferentes modelos de linguagem e descobriram que o LipType era significativamente mais rápido do que outros dispositivos existentes.
O teste de leitura labial
Para acompanhar o teste de software, o laboratório de Arif realizou um estudo social para ver se as pessoas usariam essa tecnologia. Eles contataram alunos e pessoas da comunidade, incluindo pessoas com deficiência, e conduziram uma pesquisa online. As reações foram entusiásticas.
Os resultados dos testes de software também foram excelentes. “LipType teve desempenho 58% mais rápido que outros modelos”, diz pesquisador Laxmi Pandey. “O dispositivo provou ser o que há de mais moderno em vários ambientes do mundo real, com pouca luz e ruído. O sucesso do LipType me faz acreditar que ele pode revolucionar nossa interação uns com os outros e com dispositivos de computação."
O estudo social e o estudo do leitor labial LipType foram aceitos para publicação e apresentação na principal conferência internacional sobre Interação Humano-Computador.
As possíveis aplicações do leitor labial LipType
Existem várias aplicações possíveis para este sistema de leitura labial. Obviamente o LipType pode aproximar as pessoas com deficiência das ferramentas digitais. Em muitos casos, pode ser útil para a polícia compreender o que acontece em cenários aos quais não consegue aceder através da escuta. As interfaces do carro também podem ser úteis, para que você possa escrever mensagens mesmo enquanto ouve música. Existe uma filosofia de design para tudo: o limite é a sua imaginação.
