Um laboratório de informática que trabalha na simplificação da interação humano-computador para pessoas de todas as habilidades desenvolveu um leitor labial digital com seu próprio sistema de aprendizado de máquina para ajudar o usuário a entender melhor.
LipType é uma invenção do professor Ahmed Sabbi Arif e o laboratório dele. Resumindo: leia o movimento dos lábios. Ele lê tão bem que permite que as pessoas enviem mensagens de texto ou e-mails em PCs e smartphones e tenham interações sem contato com dispositivos públicos, como caixas eletrônicos ou outros quiosques. sem falar em voz alta.
Existem outros dispositivos de leitura labial, mas eles não são amplamente usados porque são lentos e geralmente apresentam defeitos.
Um salto em frente
Há muitos erros no ditado, especialmente em lugares barulhentos. Pessoas com problemas de linguagem também têm problemas para se fazer entender, talvez por causa do sotaque. O LipType funciona para qualquer pessoa. As pessoas podem precisar enviar uma mensagem privada enquanto estão em um espaço público ou em uma reunião, e com o LipType elas podem apenas mexer os lábios sem fazer barulho.
Seus alunos Arif adicionaram vários filtros com algoritmos diferentes inteligência artificial para permitir a leitura labial em diferentes condições de iluminação. Em seguida, eles introduziram um corretor de erros com base em diferentes modelos de linguagem e descobriram que o LipType era significativamente mais rápido do que outros dispositivos existentes.
O teste de leitura labial
Para acompanhar o teste de software, o laboratório de Arif realizou um estudo social para ver se as pessoas usariam essa tecnologia. Eles contataram alunos e pessoas da comunidade, incluindo pessoas com deficiência, e conduziram uma pesquisa online. As reações foram entusiásticas.
Os resultados dos testes de software também foram excelentes. "LipType teve um desempenho 58% mais rápido que outros modelos", diz o pesquisador Laxmi Pandey. "O dispositivo provou ser de ponta em várias configurações do mundo real, com pouca luz e ruído. O sucesso do LipType me faz acreditar que ele pode revolucionar nossa interação uns com os outros e com os dispositivos de computação."
O estudo social e o estudo do leitor labial LipType foram aceitos para publicação e apresentação na principal conferência internacional sobre interação humano-computador.
As possíveis aplicações do leitor labial LipType
Existem várias aplicações possíveis para este sistema de leitura labial. Obviamente, o LipType pode aproximar muito as pessoas com deficiência das ferramentas digitais. Em muitos casos, pode ser útil para as agências de aplicação da lei entender o que acontece em cenários em que eles não podem acessar ouvindo. As interfaces do carro também podem ser úteis, para que você possa escrever mensagens enquanto ouve música. Há uma filosofia de design para tudo: o limite é a imaginação.
