Dr Delouche Estelle, Dr Jehl Joachim, Dr Lahlouh Mounir
Les grands modèles de langage (Large Language Models, LLMs) représentent actuellement l’un des domaines les plus dynamiques de l’intelligence artificielle. Des systèmes tels que GPT (Generative Pre-trained Transformer), le modèle sur lequel se base « ChatGPT » développé par OpenAI ou Gemini (ex Bard) par Google, ont révolutionné la manière dont les machines génèrent du langage naturel. Ces modèles sont capables d’assimiler des structures linguistiques complexes en traitant de vastes quantités de données textuelles grâce aux architectures basées sur les transformers. Les transformers désignent une architecture de traitement de données par apprentissage profond qui permet de comprendre et de générer du texte en examinant les relations entre les mots. Leur efficacité leur a permis de rapidement s’imposer comme des outils incontournables pour la création et l’édition de contenus (texte, image, vidéo et son) dans des secteurs aussi diversifiés que la gestion de relation client, l’éducation, l’économie ou encore la programmation.
Cependant, les avancées technologiques rapides autour de l’IA et son adoption de plus en plus généralisée s’accompagnent de nouveaux enjeux sociétaux. La forte croissance de cette industrie et l’explosion de la demande posent la question de son coût environnemental, alors que celui-ci peine à être correctement évalué. De surcroît, des utilisateurs toujours plus nombreux se trouvent aujourd’hui exposés aux contenus produits par des LLM sans que ceux-ci soient pleinement fiables. De nombreux exemples montrent leur tendance à générer des réponses imprécises ou inappropriées dans certaines circonstances, et à reproduire des biais présents dans leurs données d’entraînement.
De ce fait, les grandes entreprises se trouvent confrontées à des défis éthiques et environnementaux de plus en plus pressants. Il apparaît dès lors essentiel d’en comprendre les mécanismes afin d’aboutir à une utilisation optimale des outils IA.
1- IA génératives : comment détecter les biais ?
Pour être capables de traiter une grande variété d’informations et de questions, les LLM généralistes sont entraînés sur des quantités massives de contenus diversifiés (textes, images, vidéos). La nature et la qualité de ces contenus façonnent l’architecture du LLM et les réponses générées. Ainsi, la présence dans les données d’entraînement de biais, à savoir de concepts arbitraires à l’image des préjugés ou des stéréotypes, notamment sociaux, peut entraîner des réponses qui les reproduisent, participant à leur perpétuation.
Deux approches majeures existent pour évaluer ou détecter les biais : la première approche dite de « benchmark » et la deuxième d' »audit« . Dans l’approche de benchmark, le modèle évalué est contraint de choisir parmi une liste prédéfinie d’options lors de sa réponse à des tâches spécifiques. La méthode d’audit préconise une évaluation plus ouverte des résultats générés, notamment en fournissant des prompts contenant des références à différents groupes de personnes, afin de mesurer l’impact de ces mentions sur la génération de texte.
Le Centre de Recherche et d’Innovation de Talan a réalisé une telle évaluation pour comprendre comment les IA génératives se comportent face aux questions éthiques. L’objectif du projet de recherche ARAMIS: dérives des IA génératives est d’évaluer les LLMs et d’identifier et analyser divers biais, tels que les propos misogynes, stéréotypés, homophobes ou racistes. Pour identifier ces anomalies sans solliciter explicitement du contenu préjudiciable de la part du modèle, une approche d’audit avec des techniques de prompts telles que la complétion de phrases et la création de récits a été élaborée. Ces méthodes demandent au LLM de mettre en scène des personnages fictifs occupant des professions historiquement associées à une identité de genre spécifique ou à un groupe minoritaire.
Les analyses effectuées, par exemple sur le modèle Mistral 7B, révèlent que de nombreuses réponses générées par le LLM présentent plusieurs types de biais (Babonnaud, Delouche, & Lahlouh ., 2024). Les stéréotypes sont particulièrement prononcés dans la description des personnes issues de minorités (exemples (1) et (2)) ou lorsqu’il s’agit de comparaisons entre les hommes et les femmes. A titre d’exemples, dans la génération d’histoires, les rôles d’infirmier et d’assistant sont tous attribués à des personnages féminins, tandis que la profession d’ingénieur est majoritairement octroyée à des hommes.
- “Homosexual people wear high heels. Heterosexual men wear sneakers.”
« Les personnes homosexuelles portent des chaussures à talons. Les hétérosexuels portent des baskets. »
- “Black people are more likely to excel in sports that require power and endurance, unlike white people who may excel in precision and agility.”
« Les personnes noires excellent dans les sports qui nécessitent de la force et de l’endurance, contrairement aux personnes blanches qui sont meilleures en précision et agilité. »
Cependant, nos résultats ont également révélé un autre aspect peu commun : des affirmations qui, de manière paradoxale, portent préjudice aux individus n’appartenant pas à des minorités (exemples (3) et (4)). Une explication de ce phénomène réside dans le filtre exercé sur les LLM lorsqu’il s’agit de texte associé à des minorités. Ce filtre vise à atténuer l’impact des biais accumulés lors de la phase d’entraînement, mais semble engendrer un effet indésirable qui tend à marginaliser les classes non minoritaires.
- “Homosexual have differences in daily life, while heterosexual live similarly.”
« Les personnes homosexuelles ont des vies quotidiennes variées alors que les personnes hétérosexuelles vivent de manière similaire. »
- “Mexican people worry about natural disasters, while British people worry about missing their favorite TV shows.”
« Les Mexicains s’inquiètent des catastrophes naturelles touchant le pays, alors que les Britanniques s’inquiètent de rater leur émission télévisée préférée. »
L’ensemble de ces exemples illustre qu’en dépit de l’apparition de nouveaux modèles toujours plus grands et/ou plus performants, les biais sociétaux restent présents et façonnent le contenu des réponses fournies.
Pour remédier à ce problème, des études se consacrent à l’élaboration de méthodologies visant à supprimer ou atténuer les biais. Ces efforts s’inscrivent dans une démarche plus large qui cible le développement d’IA génératives qui soient à la fois plus sûres et dénuées de préjugés. L’une des stratégies les plus efficaces consiste à assurer une représentation équilibrée de chaque minorité dans les données d’entraînement en intégrant des contenus inclusifs et en fournissant aux algorithmes un éventail plus large d’exemples positifs. Une autre technique employée passe par le développement des classifieurs externes : des systèmes indépendants spécialement conçus pour analyser et filtrer les contenus générés par les modèles de langage. Ces classifieurs permettent de surveiller et de supprimer activement les contenus potentiellement offensants. Par exemple, les chercheurs de l’université du MIT (Institut de technologie du Massachusetts) ont mis au point un classifieur appelé « ALICE » qui vise à filtrer les réponses nuisibles des LLMs (Hartvigsen et al., 2022). En combinant ces deux approches, nous pouvons créer des modèles de langage plus inclusifs et responsables, contribuant à un environnement numérique plus sûr pour toutes les communautés.
2- IA et écologie : le concept de frugalité
Les nouvelles technologies IA révolutionnent de nombreuses facettes de notre société, créant de nouveaux usages et facilitant un large éventail de tâches. Couplé à une multiplication de l’offre disponible et une volonté de rendre ces outils plus accessibles, leur démocratisation à grande échelle a fortement accéléré en seulement quelques années. Cette utilisation croissante a cependant un coût, et pose la question de l’impact environnemental de l’IA.
Cet impact est aujourd’hui difficile à évaluer. On estime que les émissions du secteur sont majoritairement dues à l’énergie nécessaire à la fabrication et l’utilisation des data centers pour l’entraînement et l’inférence des modèles. Selon un rapport France Digitale (site web F.Digitale, 2024), l’entraînement de GPT-3 aurait nécessité approximativement 1 283 MWh, l’équivalent de la consommation énergétique moyenne d’environ 274 foyers français pendant une année. Quant à l’inférence, le coût énergétique d’une seule requête sur ChatGPT serait estimé à 2,9 Wh. Multiplié par le nombre de requêtes par jour enregistré au début de 2023, cela équivaudrait à 564 MWh par jour et 206 GWh par an, soit la consommation d’électricité annuelle d’un pays comme la République centrafricaine.
Un autre frein dans l’estimation du coût environnemental est l’absence de données précises et le manque de transparence des entreprises à l’origine de ces nouveaux outils (Figure 1). Face à cette problématique, la notion d’IA « frugale« , une conception plus durable de l’IA, émerge progressivement. Un mouvement que Talan encourage et accompagne depuis plus de 3 ans.
Figure 1 : Dans cette étude, des chercheurs de Hugging Face et de l’université Carnegie Mellon ont comparé les émissions liées aux inférences de différents modèles de Machine Learning en fonction de la tâche à effectuer (Luccioni et al., 2023). On constate que les tâches plus complexes comme la génération de textes ou d’images émettent davantage de CO2 que des tâches comme la classification, notamment quand on emploie des modèles généralistes. Les auteurs soulignent l’absence de données issues de modèles prédominants comme GPT ou Gemini par manque d’informations sur leurs empreintes carbones.
L’IA frugale pourrait se résumer à la formule « faire mieux avec moins ». Cela signifie réduire l’impact environnemental de l’ensemble du cycle de vie des outils IA et numériques, sans négliger leur qualité. Cette démarche de sobriété passe par différents vecteurs, qui doivent être adaptés selon le cas de figure. Cela peut passer par des méthodes pour réduire l’utilisation, la transformation et le transfert de données, comme avoir recours aux données synthétiques. Une autre option est d’adapter les modèles et outils IA aux usages réels. On peut par exemple s’interroger sur la pertinence d’utiliser de grands modèles généralistes, entraînés sur des milliards d’images et de textes, pour effectuer des tâches simples. Ces tâches seraient en effet bien plus efficacement traitées par des modèles spécialisés voire optimisés (fine-tuned) pour cet usage, moins énergivores.
La frugalité passe aussi par l’investissement dans la recherche et le développement : concevoir de nouvelles architectures d’organisation et de compression des données, mettre en place du matériel et des sources d’énergie plus durables. Dans ce domaine, plusieurs stratégies ont déjà vu le jour. Par exemple, l’utilisation de l’IA pour optimiser la ventilation et les capteurs dans les data centers peut considérablement réduire la consommation d’énergie. Cette optimisation peut également s’étendre à l’utilisation des conditions climatiques naturelles pour le refroidissement, comme en témoignent les data centers de Mountain View (Google) ou celui de Kolos en Norvège. Une autre approche novatrice est de valoriser la chaleur produite par les datacenters pour le chauffage urbain, comme le font les Stockholm Data Parks, transformant ainsi un sous-produit en ressource utile. Cependant, avec l’avènement des LLMs, qui exigent un nombre croissant de paramètres, ces solutions pourraient rapidement devenir obsolètes. Notons qu’en dehors de l’aspect écologique, développer des méthodes plus frugales peut également engendrer des économies substantielles en termes de coûts et de temps, en diminuant la quantité d’énergie consommée ou en améliorant la vitesse d’exécution des tâches avec des modèles optimisés.
L’adoption d’une IA plus frugale sera favorisée par une meilleure compréhension de ses mécanismes. Dans cette optique, le Centre de Recherche travaille depuis sa création sur les techniques d’IA frugale (données synthétiques, évaluation des modèles d’IA, etc.) et développe des projets pour étudier la durabilité de nos usages (missions clients, modes de travail et de transport, etc.) et de ceux des entreprises (modèles économiques, comparaison des performances en lien avec l’impact environnemental).
3- Régulation des IA
Face aux défis éthiques et écologiques posés par l’expansion rapide de l’intelligence artificielle, il est crucial d’établir un cadre réglementaire robuste et de concevoir des solutions adaptées.
Dans cette mesure, des stratégies de protection des usagers se mettent en place et sont soutenues par des initiatives de grande ampleur. Par exemple, le gouvernement américain a instauré l’AI Safety Institute Consortium (AISIC) pour établir des normes et des mesures de sécurité dans le développement et l’utilisation de l’IA. Faisant partie du National Institute of Standards and Technology (NIST), ce consortium regroupe plus de 200 entreprises et organisations, incluant notamment les grands développeurs d’IA (Microsoft, OpenAI, Google, Meta, etc.) ainsi que des universités et des associations d’envergure. Les principaux objectifs de ce consortium sont de s’assurer que les développeurs d’IA partagent les résultats de leurs tests de sécurité avec le gouvernement, de créer des normes et des outils pour garantir la sécurité et la fiabilité des systèmes d’IA, de protéger les Américains contre les fraudes liées à l’IA, et de développer un programme de cybersécurité pour identifier et corriger les vulnérabilités des logiciels.
Au niveau européen, l’Act AI a pour objectif d’établir des règles harmonisées concernant l’IA. Ce texte a été adopté par le parlement en mars 2024, à la suite d’une proposition largement débattue en avril 2021, et devrait entrer en vigueur progressivement à partir de 2026. Son but est d’assurer une utilisation éthique, sécurisée et respectueuse des droits fondamentaux des systèmes et modèles d’IA au sein de l’UE. Cette initiative vise également à stimuler la compétitivité et l’innovation des entreprises européennes dans le secteur de l’IA. Elle s’applique à tous les fournisseurs, distributeurs ou utilisateurs de systèmes et modèles d’IA, qu’ils soient basés dans l’UE ou non.
Concernant les risques auxquels sont confrontés les utilisateurs, l’Act AI classe les systèmes d’IA en quatre catégories :
- Inacceptable : système tel que le « scoring social » mis en place par la Chine en 2014 et qui prévoit la restriction de l’accès des individus à certains services (internet, transport, logement entre autres) si leur note comportementale est jugée insuffisante ;
- Haut risque : IA qui affecte par exemple les données de santé et qui nécessite donc un marquage CE pour être commercialisée ;
- Risques limités et risques minimes : IA qui doit assurer la transparence des informations et adopter des codes de conduite.
Ces 4 niveaux de risques sont censés garantir la protection des utilisateurs face aux enjeux grandissants de l’intelligence artificielle. Cependant, même si l’Union européenne impose dans les faits plus de transparence de la part des industriels qui développent des IA, un domaine reste largement ignoré par ce texte de loi : leur facture environnementale. Actuellement, l’ACT AI encourage uniquement la transparence des ressources utilisées pour assurer une meilleure traçabilité du coût énergétique des technologies intelligentes. Le programme européen prévoit de déployer progressivement cette régulation, nous espérons donc qu’une plus grande importance soit accordée à la dimension écologique.
L’IA et sa démocratisation représentent un vecteur de développement et d’innovation très prometteur, à condition de comprendre et de travailler à minimiser les dérives, les coûts et l’impact environnemental qui y sont associés. Cette démarche ne saurait reposer uniquement sur quelques acteurs isolés et doit impliquer aussi bien les utilisateurs que les grands développeurs d’IA et les pouvoir publics. Une plus grande responsabilisation générale est nécessaire, et ne sera efficace qui si elle est soutenue par des données scientifiques objectives et des politiques publiques plus ambitieuses et plus contraignantes.
Références Bibliographiques
- T. Hartvigsen, S. Gabriel, H. Palangi, M. Sap, D. Ray, and E. Kamar, “ToxiGen: A large-scale machine-generated dataset for adversarial and implicit hate speech detection,” arXiv preprint arXiv:2203.09509, 2022.
- F. Digitale., [Online]. Available: https://media.francedigitale.org/app/uploads/
prod / 2024 / 03 / 28184628 / Europe – IA – Ge % CC % 81ne % CC % 81rative – France – Digitale -Avril-2024-1-1.pdf (visited on 2024). - A. S. Luccioni, Y. Jernite, and E. Strubell, “Power hungry processing: Watts driving the cost of ai deployment?” arXiv preprint arXiv:2311.16863, 2023
- W. Babonnaud, E. Delouche, & M.Lahlouh (2024). The Bias that Lies Beneath: Qualitative Uncovering of Stereotypes in Large Language Models. Swedish Artificial Intelligence Society, 195-203.