Un médico entra en un bar: abordar los prejuicios en la generación de imágenes con IA responsable

¿No pudo participar en Transform 2022? ¡Vea todas las sesiones de Summit en nuestra biblioteca on-demand ahora! Mira aquí.

Un médico entra en un bar…

¿Qué tiene que ver el escenario de un probable chiste negativo con la distorsión de la imagen en DALL-E?

DALL-E es un programa de inteligencia artificial desarrollado por OpenAI que crea imágenes a partir de descripciones de texto. Utiliza una versión de 12 mil millones de parámetros del modelo GPT-3 Transformer para interpretar entradas de lenguaje natural y generar las imágenes correspondientes. DALL-E puede generar imágenes realistas y es uno de los mejores modelos multimodales disponibles en la actualidad.

Su funcionamiento interno y su fuente no están disponibles públicamente, pero podemos invocarlo a través de un nivel de API pasando un mensaje de texto con la descripción de la imagen que se generará. Es un gran ejemplo de un modelo popular llamado “modelo como servicio”. Por supuesto, para un modelo tan increíble, hubo una larga espera y cuando finalmente tuve acceso, quise probar todo tipo de combinaciones.

Evento

MetaBeat 2022

MetaBeat reunirá a líderes de opinión para brindar información sobre cómo la tecnología del metaverso transformará la forma en que todas las industrias se comunican y hacen negocios el 4 de octubre en San Francisco, California.

Registrarse aquí

Una cosa que quería averiguar eran los posibles sesgos inherentes que mostraría el modelo. Entonces, ingresé dos indicaciones separadas y puede ver los resultados asociados con cada una en la ilustración anterior.

A partir del mensaje de texto “El doctor entra en un bar”, el modelo produjo solo médicos varones en un bar. Inteligentemente coloca al médico, vestido con un traje con un estetoscopio y un historial médico, dentro de un bar, al que le dio un ambiente oscuro. Sin embargo, cuando entré en el mensaje “La enfermera entra en un bar”, los resultados fueron únicamente femeninos y más caricaturescos, resaltando el bar más como una sala de juegos para niños. Además del sesgo masculino y femenino de los términos “médico” y “enfermero”, también puede ver el cambio en la representación de la barra según el género de la persona.

Cómo la IA responsable puede ayudar a abordar el sesgo en los modelos de aprendizaje automático

OpenAI fue extremadamente rápido en notar este sesgo e hizo cambios en el modelo para probarlo. mitigarlo. Probaron el modelo en poblaciones subrepresentadas en sus conjuntos de capacitación: una enfermera, una directora ejecutiva, etc. Este es un enfoque activo para investigar sesgos, medirlos y mitigarlos al agregar más muestras de capacitación en categorías sesgadas.

Si bien esta actividad tiene sentido para un modelo ampliamente utilizado como DALL-E, es posible que no se implemente en muchos modelos comerciales a menos que se solicite específicamente. Por ejemplo, los bancos requerirían un esfuerzo adicional para buscar sesgos y trabajar activamente para mitigarlos en sus modelos de aprobación de líneas de crédito.

Una disciplina que ayuda a organizar este esfuerzo y ayuda a que este estudio forme parte del desarrollo del modelo se denomina IA responsable.

Así como DevOps y MLOps se enfocan en hacer que el desarrollo sea ágil, colaborativo y automatizado, la IA responsable se enfoca en los problemas de ética y sesgo de ML y ayuda a abordar activamente estos problemas en todos los aspectos del ciclo de vida de desarrollo de ML. Trabajar en los sesgos por adelantado puede ayudarlo a ahorrar el esfuerzo exponencial requerido para buscar sesgos como tuvo que hacer OpenAI después del lanzamiento de DALL-E. Además, una estrategia de IA responsable brinda a los clientes mucha más confianza en los estándares éticos de una organización.

Una estrategia de inteligencia artificial responsable

Cada empresa que desarrolla IA hoy en día necesita una estrategia de IA responsable. Debe cubrir todos los aspectos, incluyendo:

  • Comprobación de los datos de entrenamiento para la distorsión
  • Algoritmos de evaluación para niveles de interpretabilidad
  • Explicaciones de construcción para modelos ML
  • Revisión de la estrategia de distribución de modelos
  • Seguimiento de la deriva de datos y conceptos.
  • La atención a estos aspectos garantizará que los sistemas de IA desarrollados se construyan con reproductibilidad, transparencia y rendición de cuentas. Si bien no se pueden mitigar todos los problemas, se debe publicar una hoja modelo para documentar las limitaciones de la IA. Mi experimentación con DALL-E mostró un ejemplo aparentemente benigno. Sin embargo, la distorsión de imagen no controlada en los modelos ML aplicados prácticamente en una variedad de industrias puede tener consecuencias negativas significativas. Mitigar estos riesgos definitivamente no es una broma.

    Dattaraj Rao es científico jefe de datos de Persistent Systems.

    Tomadores de decisiones de datos

    ¡Bienvenido a la comunidad VentureBeat!

    DataDecisionMakers es el lugar donde los expertos, incluidos los ingenieros de datos, pueden compartir ideas e innovaciones relacionadas con los datos.

    Si desea leer ideas de vanguardia e información actualizada, las mejores prácticas y el futuro de los datos y la tecnología de datos, únase a nosotros en DataDecisionMakers.

    ¡Incluso podría considerar contribuir con su propio artículo!

    Leer más de DataDecisionMakers

    Compruebe también

    Demanda que solo los fans corrompidos por Meta pueden seguir adelante: Juez

    La demanda contra Meta y la empresa matriz de OnlyFans pasará a la siguiente etapa: …

    Deja una respuesta

    Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *