Porque glTF es el JPEG para el metaverso y los gemelos digitales.

Estamos emocionados de traer Transform 2022 en persona el 19 de julio y virtualmente del 20 al 28 de julio. Únase a los líderes de inteligencia artificial y datos para discusiones en profundidad y oportunidades emocionantes para establecer contactos. ¡Regístrese hoy!

El formato de archivo JPEG desempeñó un papel crucial en la transición de la Web de un mundo de texto a una experiencia visual a través de un contenedor abierto y eficiente para compartir imágenes. Ahora, el formato de transmisión de lenguaje gráfico (glTF) promete hacer lo mismo con los objetos 3D en el metaverso y los gemelos digitales.

JPEG ha aprovechado varios trucos de compresión para reducir drásticamente las imágenes en comparación con otros formatos como GIF. La última versión de glTF aprovecha las técnicas para comprimir tanto la geometría de los objetos 3D como sus texturas. GlTF ya está desempeñando un papel fundamental en el comercio electrónico, como lo demuestra el avance de Adobe hacia el metaverso.

VentureBeat habló con Neil Trevett, presidente de la Fundación Khronos que administra el estándar glTF, para obtener más información sobre lo que significa glTF para los negocios. También es vicepresidente de ecosistemas de desarrolladores en Nvidia, donde su trabajo consiste en facilitar a los desarrolladores el uso de las GPU. Explica cómo glTF integra otros formatos de gemelos digitales y metaversos como USD, cómo usarlo y hacia dónde se dirige.

VentureBeat: ¿Qué es glTF y cómo encaja en el ecosistema de formatos de archivo relacionados con metaversos y gemelos digitales?

neil trevett: En Khronos, hemos puesto mucho esfuerzo en las API 3D como OpenGL, WebGL y Vulkan. Hemos encontrado que cada aplicación que usa 3D tiene que importar activos tarde o temprano. El formato de archivo glTF se adopta ampliamente y es muy complementario de USD, que se está convirtiendo en el estándar para la creación y creación en plataformas como Omniverse. USD es el lugar ideal si desea reunir múltiples herramientas en canalizaciones sofisticadas y crear contenido de alto nivel, incluidas películas. Es por eso que Nvidia está invirtiendo fuertemente en USD para el ecosistema Omniverse.

Por otro lado, glTF se enfoca en ser eficiente y fácil de usar como formato de entrega. Es un formato liviano, optimizado y fácil de procesar que cualquier plataforma o dispositivo puede usar, incluidos los navegadores web en los teléfonos celulares. El eslogan que usamos como analogía es que “glTF es el JPEG de 3D”.

También integra los formatos de archivo utilizados en las herramientas de creación. Por ejemplo, Adobe Photoshop utiliza archivos PSD para la edición de imágenes. Ningún fotógrafo profesional editaría archivos JPEG porque se ha perdido mucha información. Los archivos PSD son más sofisticados que los JPEG y admiten varias capas. Sin embargo, no enviará un archivo PSD al teléfono celular de mi mamá. Necesita JPEG para transmitirlo a mil millones de dispositivos de la manera más eficiente y rápida posible. Por lo tanto, USD y glTF se complementan de manera similar.

VentureBeat: ¿Cómo cambias entre ellos?

Trevet: Es esencial contar con un proceso de destilación continuo de activos en dólares estadounidenses a activos glTF. Nvidia está invirtiendo en un conector glTF para Omniverse para que pueda importar y exportar sin problemas activos glTF dentro y fuera de Omniverse. En el grupo de trabajo glTF de Khronos, estamos encantados de que USD satisfaga las necesidades de la industria para un formato de autoría porque es una gran cantidad de trabajo. El objetivo es que glTF sea el objetivo de destilación perfecto para USD para respaldar una implementación generalizada.

Un formato de construcción y un formato de entrega tienen imperativos de diseño bastante diferentes. El diseño de USD tiene que ver con la flexibilidad. Esto ayuda a marcar las cosas para hacer una película o un entorno de realidad virtual. Si desea insertar otro activo y fusionarlo con la escena existente, debe conservar toda la información de diseño. Y lo quiere todo en niveles básicos de resolución y calidad.

El diseño de un formato de transmisión es diferente. Por ejemplo, con glTF, la información de vértice no es muy flexible para reescribir. Pero se transmite exactamente en la forma que la GPU necesita para ejecutar esa geometría de la manera más eficiente posible a través de una API 3D como WebGL o Vulkan. Por lo tanto, glTF dedica mucho esfuerzo de diseño a la compresión para reducir los tiempos de descarga. Por ejemplo, Google aportó el suyo Camiseta Draco modelo 3d la tecnología de compresión y Binomial contribuyeron a ellos Base tecnología universal de compresión de texturas. También estamos comenzando a esforzarnos mucho en la gestión del nivel de detalle (LOD), para que podamos descargar modelos de manera muy eficiente.

La destilación ayuda a cambiar entre formatos de archivo. Gran parte de esto es eliminar la información de diseño y construcción que ya no necesita. Pero no desea reducir la calidad visual a menos que sea realmente necesario. Con glTF, puede mantener la fidelidad visual, pero también tiene la opción de comprimir cosas cuando busca una implementación de bajo ancho de banda.

VentureBeat: ¿Cuánto más pequeño puedes hacerlo sin perder demasiada fidelidad?

Trevet: Es como JPEG, donde tiene un dial para aumentar la compresión con una pérdida aceptable de calidad de imagen, solo glTF tiene lo mismo para la compresión de geometría y textura. Si se trata de un modelo CAD intensivo en geometría, la geometría será la mayor parte de los datos. Pero si es más un modelo orientado al consumidor, los datos de textura pueden ser mucho más grandes que la geometría.

Con Draco, la reducción de datos de 5 a 10 veces es razonable sin una caída significativa en la calidad. Hay algo similar a la trama también.

Otro factor es la cantidad de memoria necesaria, que es un recurso valioso en los teléfonos móviles. Antes de implementar la compresión binomial en glTF, la gente enviaba archivos JPEG, lo cual es excelente porque son relativamente pequeños. Pero el proceso de desempaquetar en una textura de tamaño completo puede tomar cientos de megabytes incluso para un modelo simple, lo que puede dañar la potencia y el rendimiento de un teléfono celular. Las texturas GlTF le permiten tomar una textura de tamaño JPEG súper comprimida e inmediatamente descomprimirla en una textura nativa de GPU, por lo que nunca alcanza su tamaño máximo. Como resultado, reduce la transmisión de datos y la memoria requerida entre 5 y 10 veces. Esto puede ayudar si está descargando recursos en un navegador en un teléfono móvil.

VentureBeat: ¿Cómo representa la gente eficientemente las texturas de los objetos 3D?

Trevet: Bueno, hay dos clases de texturas básicas. Una de las más comunes son las texturas basadas en imágenes, como la asignación de una imagen de logotipo a una camiseta. La otra es la textura procesal, donde genera un patrón, como mármol, madera o piedra, simplemente ejecutando un algoritmo.

Hay varios algoritmos que puede utilizar. Por ejemplo, Allegorithmic, que Adobe adquirió recientemente, fue pionera en una técnica interesante para generar texturas que ahora se usa en Adobe Substance Designer. Con frecuencia convierte esta textura en una imagen porque es más fácil de procesar en los dispositivos cliente.

Una vez que tenga una textura, puede hacer más que pegarla en el patrón como si fuera un trozo de papel de regalo. Puede usar estas imágenes de textura para obtener un aspecto de material más sofisticado. Por ejemplo, los materiales PBR (Physical Based Rendering) son aquellos en los que intentas llevarlo lo más lejos posible para emular las características de los materiales del mundo real. ¿Es metálico, lo que hace que se vea brillante? ¿Es translúcido? ¿Refractan la luz? Algunos de los algoritmos PBR más sofisticados pueden usar hasta 5 o 6 mapas de textura diferentes que alimentan los parámetros que caracterizan qué tan brillante o translúcido es.

VentureBeat: ¿Cómo progresó glTF en el lado del gráfico de la escena para representar las relaciones dentro de los objetos, por ejemplo, cómo las ruedas del automóvil podrían girar o conectar más cosas?

Trevet: Esta es un área donde el USD está muy por delante del glTF. Hasta ahora, la mayoría de los casos de uso de glTF se han cumplido con un solo activo en un solo archivo de activos. El comercio 3D es un caso de uso principal en el que desea levantar una silla y dejarla caer en su sala de estar como Ikea. Este es un único recurso glTF, y muchos de los casos de uso se han satisfecho con él. A medida que avanzamos hacia el metaverso y la realidad virtual y AR, la gente quiere crear escenas con más recursos para la implementación. Un área activa discutida en el grupo de trabajo es cómo implementamos mejor escenas y recursos de múltiples glTF y cómo los conectamos. No será tan sofisticado como USD ya que el enfoque está en la transmisión y entrega en lugar de la creación. Pero glTF tendrá algo para permitir la composición y vinculación de activos múltiples en los próximos 12 a 18 meses.

VentureBeat: ¿Cómo evolucionará glTF para admitir más casos de uso del metaverso y los gemelos digitales?

Trevet: Necesitamos comenzar a traer cosas que van más allá de la apariencia física. Hoy tenemos geometría, texturas y animaciones en glTF 2.0. El glTF actual no dice nada sobre propiedades físicas, sonidos o interacciones. Creo que gran parte de la próxima generación de extensiones glTF insertará este tipo de comportamiento y propiedades.

La industria está decidiendo ahora mismo cuál será el USD y el glTF en el futuro. Aunque existen formatos más antiguos como OBJ, están empezando a mostrar su edad. Hay formatos populares como FBX que son propietarios. USD es un proyecto de código abierto y glTF es un estándar abierto. Las personas pueden participar en ambos ecosistemas y ayudarlos a evolucionar para satisfacer las necesidades de los clientes y del mercado. Creo que ambos formatos evolucionarán uno al lado del otro. Ahora el objetivo es mantenerlos alineados y mantener este proceso de destilación eficiente entre los dos.