Há um novo conjunto de criação desenvolvido com o Unity 3D em andamento, utilizando a captura de desempenho do Live2D por meio do kit de realidade aumentada do Google ARCore. O software permite o rastreamento facial em tempo real via câmera web ou outro dispositivo de captura, com a saída renderizada ocorrendo à medida que a performance ou os movimentos estão sendo visualizados.
A Denchi Soft lançou um vídeo de quase dez minutos para mostrar como o software funciona e demonstrar o que você pode esperar do kit quando ele for lançado ao público em algum momento no primeiro trimestre de 2020.
Você pode conferir a demonstração em vídeo abaixo.
Assim como o vídeo descreve, os dados faciais são lidos e armazenados pela ARCore e depois alimentados no pipeline de aprendizado neural do Tensor Flow, conectado ao Barracuda do Unity 3D. A partir daí, os dados são transmitidos através de um protocolo UDP para os principais Estúdio VTube front-end enquanto utiliza as animações Live2D e os controles da interface do usuário.
Depois de abordar o básico de como o software funciona, é apresentada uma demonstração de como a tonalidade das cores e a iluminação renderizada com base física também podem ser aplicadas aos modelos Live2D, criando a percepção da iluminação dinâmica em tempo real.
Você também pode personalizar o plano de fundo, importar cenas diferentes e até configurar teclas de atalho para alterar expressões faciais, carregar macros personalizadas e criar reações específicas para animar a transmissão ao vivo.
Já existem algumas soluções 3D que se comportam de maneira semelhante ao que Estúdio VTube pode fazer, mas se você estava mais interessado em utilizar caracteres desenhados à mão, como mostrado no vídeo acima, Estúdio VTube é definitivamente o caminho a percorrer.
Se o YouTube não estivesse implodindo, eu provavelmente diria que há tempos empolgantes pela frente para os tubérculos virtuais, mas no momento não está parecendo muito bom para os entusiastas que desejam entrar na criação de conteúdo, a menos que você esteja apenas fazendo isso para o inferno e não gerar receita significativa com o esforço.
Você pode aprender mais sobre Estúdio VTube da Denchi Soft, consultando o Página do GitHub.
(Obrigado pela dica de notícias Wondy Bergers)
