NVIDIA demonstra IA capaz de converter imagens 2D em 3D

Nesta sexta-feira (16). pesquisadores da nVidia revelaram um modelo 3D – um carro Knight Rider KITT renovado – produzido a partir de uma imagem 2D. O modelo tridimensional foi feito por meio de um novo motor de deep learning, batizado de GANverse3D. O modelo 3D produzido a partir dessa nova ferramenta é bem completo, incluindo malha, texturas e informações que permitem animar o objeto automaticamente.

A ferramenta GANverse3D foi desenvolvida pelo Nvidia AI Research Lab, sediado em Toronto, Canadá. O que ele faz na prática é inflar imagens planas em modelos 3D realistas e que podem ser visualizados e controlados em ambientes virtuais.

Esse recurso pode ajudar uma série de profissionais, tais como arquitetos, profissionais criativos, desenvolvedores de jogos e designers a adicionar facilmente novos objetos às suas maquetes 3D sem a necessidade de conhecimento em modelagem 3D ou um grande orçamento para gastar em renderizações.

Uma única foto de um carro, por exemplo, pode ser transformada em um modelo 3D que pode ser dirigido em uma cena virtual. E o modelo é completo com faróis, lanternas traseiras e piscas realistas.

Para gerar um conjunto de dados para treinamento, os pesquisadores aproveitaram uma GAN (Generative Adversarial Network – Rede Adversária Geradora, em tradução literal) para formar imagens que retratam o mesmo objeto de vários pontos de vista. Imagine um fotógrafo tirando fotos ao redor de um veículo estacionado, de diferentes ângulos.

Essas imagens com múltiplos pontos de vista foram conectadas a uma estrutura de renderização para gráficos inversos. Daí essa estrutura infere modelos de malha 3D a partir de imagens 2D.

Uma vez treinado em imagens com múltiplas visualizações, o GANverse3D precisa apenas de uma única imagem 2D para prever um modelo em 3D. Este modelo, por sua vez, pode ser usado com um renderizador neural 3D, que dá aos desenvolvedores controle para personalizar os objetos e trocar fundos, por exemplo.

No futuro próximo, o GANverse3D poderá ser usado para recriar qualquer imagem 2D em 3D. Logicamente que isso exigirá uma placa de vídeo da série RTX, que são as mais potentes da companhia.

Jean-François Lafleche, engenheiro de deep learning da nVidia, disse: “Oferecer o GANverse3D como uma extensão do Omniverse ajudará os artistas a criar mundos virtuais mais ricos para o desenvolvimento de jogos, planejamento urbano ou até mesmo o treinamento de novos modelos de aprendizado de máquina.”

Abaixo você pode conferir um vídeo com a ferramenta em ação:

Fonte: nVidia