Inteligência artificial e algoritmos de aprendizado de máquina que podem ler os lábios dos vídeos não são nada extraordinários, na verdade.
Em 2016, pesquisadores do Google e da Universidade de Oxford detalharam um sistema capaz de ler labios e fazer anotações em filmes com 46,8% de precisão. Parece pouco para você? Ele já ultrapassou a precisão de 12,4% de um leitor labial humano profissional. E ainda não havia LIBS.
No entanto, 46,8% não estão à altura das capacidades que a inteligência artificial pode mostrar hoje. Os sistemas de última geração lutam para superar as ambigüidades nos movimentos labiais, que impedem que seu desempenho ultrapasse o do reconhecimento de fala baseado em áudio.
Em busca de um sistema com melhor desempenho, pesquisadores de Alibaba, Universidade de Zhejiang e Stevens Institute of Technology eles criaram um método apelidado Lábio pela Fala (LIBS), que usa recursos extraídos de reconhecimentos de fala para servir como pistas complementares. O sistema aumenta o padrão em mais 8% e ainda pode melhorar.
O LIBS e outras soluções semelhantes podem ajudar as pessoas com deficiência auditiva a seguir vídeos sem legendas. Estima-se que 466 milhões de pessoas em todo o mundo sofram de perda auditiva, o que representa cerca de 5% da população mundial. Em 2050, o número pode aumentar para mais de 900 milhões, de acordo com a Organização Mundial da Saúde.
O método AI para ler os lábios
O LIBS obtém informações úteis de áudio de vários fatores: Como um criptógrafo habilidoso, a IA procura palavras compreensíveis. Nesse ponto, ele os compara com a correspondência labial e vai procurar todas as semelhantes lábeis. Mas não para por aí: compara também a frequência de vídeo desses frames, e outras pistas técnicas, refinando a busca para ler o lábio mesmo em palavras incompreensíveis ao nosso ouvido.
Se parecer complicado, tente novamente, mas não prometo nada.
Eu cito de Papel de apresentação de tecnologia. “Os componentes de reconhecimento de voz e leitor labial LIBS são baseados em uma arquitetura de sequência-sequência baseada em atenção, um método de tradução automática que mapeia uma entrada para uma sequência (áudio ou vídeo)."
Os pesquisadores treinaram IA em um primeiro banco de dados contendo mais de 45.000 frases faladas pela BBC e no CMLR, o maior corpus chinês disponível para leitura labial em mandarim, com mais de 100.000 frases naturais.
Os campos de aplicação não se limitam à ajuda aos surdos. O costume de atribuir um uso “socialmente nobre” a cada tecnologia nunca deve nos fazer esquecer que o principal uso dessas tecnologias é no setor militar ou de segurança.
Ninguém pensou que esse sistema possa tornar a vigilância da segurança ainda mais infalível e difundida incríveis novas câmeras de segurança, ou novos sistemas de satélite?
Com a IA agora se torne um olho onisciente será uma piada ouvir (ou reconstruir) nossos sussurros até de um satélite em órbita.
