Uma equipe de pesquisadores da Universidade da Califórnia e dos dois departamentos do Facebook Reality Labs e AI Research desenvolveu uma rede neural capaz de criar imagens 3D e figuras 3D a partir de imagens 2D.
Pifu HD, que significa Função implícita alinhada por pixels HD, foi treinado para converter imagens e vídeos em 3D que reproduzem pessoas vestidas em 2D.
Além de características faciais, como boca e nariz, o sistema é capaz de converter com precisão rugas e textura de roupas em um modelo 3D correspondente. Poses fotográficas femininas são eloquentes, e poses masculinas também não estão brincando.
O Pifu HD é uma versão aprimorada do AI Pifu anterior, lançado no ano passado. Com mais informações em pixels, você pode transferir detalhes menores para um modelo 3D, como dobras e posições dos dedos. O cientista Shunsuke Saito apresentou o novo trabalho em dois vídeos. Há também um documento científico com informações detalhadas.
Treinamento Pifu HD
Inteligência artificial é treinado para produzir imagens 3D usando imagens 2D, que funcionam como pontos de referência. Neste caso específico, foi utilizado um conjunto de imagens de moda, que contém modelos fotográficos masculinos e femininos em várias poses e com diferentes peças de vestuário.
Muito parecido com o funcionamento da ressonância magnética médica, cada nível de profundidade digitalizado resulta em uma figura tridimensional. Um codificador de imagem calcula a respectiva coordenada 3D para cada pixel 2D e estima se está dentro ou fora da seção transversal da imagem em consideração. E da imagem para o 3D, nesse ponto, é um pequeno passo.
O Pifu HD codifica imagens paralelas em resolução reduzida e usa as informações para criar seu próprio modelo 3D.
O vídeo de demonstração funciona muito bem. Portanto, o Pifu pode gerar uma figura humana 3D a partir de imagens de modelo. Além disso, um modelo 3D muito mais detalhado de diferentes imagens da mesma pessoa-alvo com diferentes ângulos de visão.
Ainda precisamos de algum tempo
O Pifu ainda não está totalmente desenvolvido e não é eficiente o suficiente para ser usado de forma produtiva com seus modelos 3D. A velocidade de criação e aprendizagem deste software, no entanto, é surpreendente.
