Une image des résultats du générateur d'images Gemini AI de Google Photo : capture d'écran de Twitter
Google a partiellement désactivé son générateur d'images d'intelligence artificielle (IA) Gemini après que le logiciel ait produit des images racialement diverses et historiquement inexactes de Vikings noirs, de femmes papes et de personnes de couleur en tant que « pères fondateurs » des États-Unis.
Gemini a produit ces images sans y être invité par les utilisateurs, ce qui a conduit les critiques de droite à qualifier le logiciel de « réveillé ». Cependant, l’incident a révélé non seulement un problème technique, mais aussi un problème « philosophique » sur la manière dont l’IA et les autres technologies devraient lutter contre les préjugés à l’encontre des groupes marginalisés.
« Il est clair que cette fonctionnalité a raté le but. Certaines des images générées sont inexactes, voire offensantes », a écrit le vice-président senior de Google, Prabhakar Raghavan, dans un article de blog sur le sujet.
Ne manquez jamais un battement
Abonnez-vous à notre newsletter quotidienne pour rester au courant des dernières actualités et idées politiques LGBTQ+.
Il a expliqué que Google essayait de s'assurer que Gemini ne « tombe pas dans certains des pièges que nous avons vus dans le passé avec la technologie de génération d'images », comme la création d'images violentes ou sexuellement explicites, de représentations de personnes réelles ou d'images qui ne font que montrer des personnes d’un seul type d’origine ethnique, de sexe ou d’autres caractéristiques.
« Notre réglage pour garantir que Gemini montre un éventail de personnes n'a pas pris en compte les cas qui devraient clairement pas montrer une gamme », a écrit Raghavan. « [This] a conduit le modèle à surcompenser dans certains cas… conduisant à des images embarrassantes et fausses.
Il a ensuite déclaré que Gemini serait amélioré « de manière significative » et subirait des « tests approfondis » avant de générer davantage d’images de personnes. Mais il a averti que l’IA est imparfaite et peut toujours « générer des résultats embarrassants, inexacts ou offensants ».
Alors que certains internautes de droite, comme le milliardaire transphobe Elon Musk, a accusé Gemini d'être « réveillé », ce genre de problème n'est pas propre à Google. Sam Altman, le PDG gay d'OpenAI, a reconnu en 2023 que la technologie de son entreprise « a des lacunes en matière de biais » après que son logiciel ChatGPT basé sur l'IA ait généré des réponses racistes et sexistes. De nombreux types de logiciels basés sur l’IA ont également fait preuve de préjugés à l’égard des personnes et des femmes noires, ce qui a conduit ces groupes à être faussement étiquetés comme criminels, à se voir refuser des soins médicaux ou à être rejetés de leur emploi.
Un tel biais dans la technologie de l’IA se produit parce que la technologie prend ses décisions sur la base d’ensembles de données préexistants massifs. Étant donné que ces données sont souvent favorables ou défavorables à un certain groupe démographique, la technologie reflète souvent ce biais. Par exemple, certains générateurs d’images basés sur l’IA, comme Stable Diffusion, créent des images racistes et sexistes basées sur des stéréotypes occidentaux qui décrivent les dirigeants comme des hommes, les personnes attirantes comme minces et blanches, les criminels et les bénéficiaires des services sociaux comme noirs, et les familles et conjoints comme différents. -les couples sexuels.
« Vous demandez à l’IA de générer une image de PDG. Et voilà, c'est un homme. Voix L'écrivain technique Sigal Samuel a écrit, expliquant le dilemme du biais de l'IA. « D’un côté, vous vivez dans un monde où la grande majorité des PDG sont des hommes, alors peut-être que votre outil devrait refléter cela avec précision, en créant des images d’homme après homme après homme. D’un autre côté, cela peut renforcer les stéréotypes de genre qui empêchent les femmes d’accéder aux postes de direction. Et il n’y a rien dans la définition de « PDG » qui précise un sexe. Alors faut-il plutôt créer un outil qui montre un mix équilibré, même si ce n'est pas un mix qui reflète la réalité d'aujourd'hui ?
Résoudre ces préjugés n'est pas facile et nécessite souvent une approche à plusieurs volets, explique Samuel. Avant tout, les développeurs d’IA doivent préméditer les biais qui pourraient survenir, puis calibrer les logiciels pour les minimiser de manière à produire les résultats souhaités. Certains utilisateurs de générateurs d’images IA, par exemple, peuvent vouloir des photos d’une femme pape ou de pères fondateurs noirs – après tout, l’art crée souvent de nouvelles visions qui remettent en question les normes sociales.
Mais les logiciels d’IA doivent également donner aux utilisateurs la possibilité de donner leur avis lorsque les résultats générés ne correspondent pas à leurs attentes. Cela donne aux développeurs un aperçu de ce que veulent les utilisateurs et les aide à créer des interfaces qui permettent aux utilisateurs de demander des caractéristiques spécifiques, telles que certains âges, races, sexes, sexualités, types de corps et autres traits reflétés dans les images de personnes.
Le sénateur Ron Wyden (D-OR) a tenté de légiférer sur cette question en co-parrainant l'Algorithmic Accountability Act de 2022, un projet de loi qui obligerait les entreprises à mener des évaluations d'impact pour les biais basés sur le code qu'elles utilisent pour générer des résultats. Le projet de loi n'obligerait pas les entreprises à produire des résultats impartiaux, mais il donnerait au moins un aperçu de la manière dont la technologie a tendance à préférer certaines données démographiques à d'autres.
Pendant ce temps, même si les critiques ont qualifié Gemini de « réveillé », le logiciel a au moins essayé de créer des images racialement inclusives, ce que de nombreux autres générateurs d'images n'ont pas pris la peine de faire. Google va maintenant passer les prochaines semaines à rééquiper Gemini pour créer des images plus précises sur le plan historique, mais des générateurs d'images similaires alimentés par l'IA feraient bien de rééquiper leur propre logiciel pour créer des images plus inclusives. D’ici là, les deux continueront à produire des images qui reflètent nos propres préjugés plutôt que la véritable diversité du monde.