¿Qué significa el escaparate de Meta AI para XR?

Mark Zuckerberg, CEO de Meta una vez más tomó el escenario virtual el miércoles para provocar al público con nuevos conocimientos sobre el compromiso de la compañía con la inteligencia artificial (IA) y cómo ayudará a desarrollar tecnologías de realidad extendida (XR) y, en particular, experiencias Metaverse.

Durante evento en líneaEl CEO de Meta y otros ejecutivos anunciaron una mina de nuevas tecnologías de IA para soluciones listas para probar hoy y mañana.

Muchos de los anuncios se ajustan a la visión continua de la compañía de brindar una experiencia Metaverse líder con su plataforma Horizon Worlds.

Además, los desarrollos de Meta AI continuarán innovando la forma en que las personas y los grupos usan hardware y software de realidad aumentada, virtual y mixta (AR/VR/MR), introduciendo asistentes digitales contextuales basados ​​en IA.

Los desarrollos se producen después de que Meta anunciara su supercomputadora AI Super Cluster en enero, que apunta a convertirse en la supercomputadora más rápida del mundo, específicamente para el procesamiento del lenguaje natural, el procesamiento de la visión por computadora y la investigación del aprendizaje profundo. Meta amplió gran parte de su investigación durante su evento en línea al describir oportunidades para desarrolladores y posibles casos de uso público.

¿Qué es Builderbot?

Builder Bot es actualmente la mejor representación visual de cómo Meta AI creará el futuro del Metaverso. La herramienta utiliza la plataforma de IA de autoaprendizaje de Meta para generar entornos virtuales instantáneos.

Las personas usan sistemas de reconocimiento de voz para sugerir entornos a Builder Bot para crear o importar automáticamente en el sitio, como parques y playas. Builder Bot también puede agregar objetos más pequeños como nubes o árboles con el comando de voz de un usuario.

Además de agregar objetos, el bot activado por voz también agrega efectos de sonido y música para sumergir al usuario en entornos digitales.

El tráiler promocional de Builder Bot contiene gráficos similares a Horizon: Worlds, la plataforma Metaverse interna de la compañía con sede en Menlo Park que permite a las personas desarrollar mundos personalizados, como juegos inmersivos o espacios de reunión virtual.

El año pasado, Meta lanzó Horizon Worlds como una versión beta para usuarios en los Estados Unidos (EE. UU.) y Canadá mayores de 18 años, ofreciendo acceso a un ecosistema de creación de contenido VR para desarrollar, distribuir y experimentar con creaciones personalizadas.

Proyecto CAIRaoke

Hay mucho que deshacer con Project CAIRaoke, desde emocionantes descubrimientos en el autoaprendizaje y la IA conversacional hasta sus casos de uso práctico en la vida cotidiana. Todo esto funciona en conjunto para construir el futuro de los asistentes digitales, la visión de Meta para Horizon Worlds y las futuras funciones de Builder Bot.

Nos complace compartir detalles sobre el proyecto CAIRaoke, un gran avance en la IA conversacional. Con este sistema integral, podremos tener conversaciones mucho más personales y contextuales que con los sistemas con los que la gente está familiarizada hoy. https://t.co/BXNffFN6Z8 pic.twitter.com/YrqnI7G7Zo

– Meta IA (@MetaAI) 23 de febrero de 2022

El proyecto CAIRaoke utiliza un modelo neuronal de extremo a extremo que genera un sistema de inteligencia artificial fluido y conversacional, marcando las primeras etapas de los objetivos de Meta para crear asistentes digitales.

CAIRaoke contiene cuatro plataformas clave de inteligencia artificial: Comprensión del lenguaje natural (NLU), Monitoreo del estado del diálogo (DST), Gestión de políticas de diálogo (DP) y Generación del lenguaje natural (NLG).

Los pilares del proyecto CAIRaoke FOTO: Meta

Al combinar las cuatro herramientas, el Proyecto CAIRaoke no utiliza un diálogo con guión, sino que genera flujos de conversación en tiempo real, contextualizados y personalizados para ayudar a las personas en sus rutinas diarias.

Asistentes de IA en AR Smart Glasses

En términos de XR, Meta planea emplear asistentes digitales Project CAIRaoke en sus próximas gafas inteligentes Project Nazare AR: la compañía también sugiere la integración en futuros auriculares VR.

Meta inicialmente se burló de los asistentes digitales AR en su Connect Event a fines del año pasado, revelando cómo los usuarios con gafas inteligentes experimentales podrían hablar con los asistentes digitales y recibir imágenes AR.

Además, la plataforma de IA escanea el entorno de un usuario para mejorar la identificación de elementos del mundo real y el papel que cada uno juega en sus rutinas.

En julio del año pasado, Meta, luego Facebook, se asoció con la empresa de inteligencia artificial y datos espaciales Matterport para “ayudar a cambiar la forma en que trabajamos y vivimos” con una base de datos Habitat-Matterport 3D Research Dataset (HM3D) de gemelos digitales de los espacios interiores.

La asociación revolucionaria entrena la IA bajo HM3D para reconocer objetos y seguir instrucciones de forma más rápida y precisa.

En el momento, Dhruv Batra, investigador de Meta AIprefiguró los anuncios de esta semana, declarando,

“Ahora imagina un mundo en el que un asistente de realidad aumentada pueda decirte: ‘Oye, olvidaste las llaves en la mesa de café'”.

En una reciente presione soltarMeta explicó,

“En dispositivos como visores de realidad virtual y anteojos de realidad aumentada, esperamos que este tipo de comunicación eventualmente se convierta en el método omnipresente y continuo para la navegación y la interacción, al igual que las pantallas táctiles han reemplazado a los teclados de los teléfonos inteligentes”.

Meta ya está probando Project CAIRaoke en dispositivos Portal, el dispositivo de videollamadas y asistencia digital de la compañía.

Meta se está volviendo de código abierto

Para cerrar el evento, Meta presentó TorchRec, un programa gratuito plataforma de código abierto con una biblioteca de dominio público para la creación e implementación de sistemas de recomendación basados ​​en inteligencia artificial.

Los recursos permiten a las personas que usan TorchRec observar y aprender de las últimas investigaciones, errores, correcciones y recursos de acceso a Meta AI. Los desarrolladores pueden acceder a los datos de IA en un solo sistema, lo que permite que Meta y su comunidad de desarrolladores resuelvan los problemas de IA junto con la transparencia.

¡Estoy muy emocionado de compartir públicamente el trabajo que nuestro equipo ha realizado en la última biblioteca de dominios de Pytorch, TorchRec! https://t.co/wKdpFRYGlqhttps://t.co/bjptR8blX0

– Colin Taylor (@ Colin2328) 23 de febrero de 2022

Además, TorchRec permite que Meta proporcione pruebas comparativas a gran escala, utilizando conjuntos de datos públicos, para mostrar el rendimiento de la IA a una escala mucho mayor para acelerar el tiempo de investigación y desarrollo (I+D) y mejorar el poder contextual del proyecto CAIRoake.

TorchRec está debutando como una plataforma de código abierto, creando un espacio transparente que invita a los desarrolladores a construir el programa indefinidamente. Actualmente, una selección de plataformas XR de código abierto está disponible para desarrolladores como Khronos Group, Open XR y la Política de estándares abiertos del Instituto de Ingeniería Eléctrica y Electrónica (IEEE).