Dr. Rita Nohra
Il y a quelques années, Amazon a découvert un gros problème avec son moteur de recrutement. L’équipe de machine learning d’Amazon a travaillé sur un outil qui simplifie le processus d’embauche et utilise l’intelligence artificielle pour attribuer des notes de 0 à 5 aux candidats. Cependant, un an après son déploiement, l’équipe s’est rendu compte que l’algorithme n’avait pas une méthode de notation neutre des candidats [1]. Il privilégiait largement les CV masculins au dépend des CV féminins. Il s’agit là d’un exemple de biais algorithmique. Malheureusement, cet exemple est loin d’être le seul cas de discrimination dans le domaine de l’intelligence artificielle.
Une étude intitulée Gender Shades réalisée par Buolamwini et Gebru au MIT Media Lab [2] a mis en évidence des divergences majeures dans les systèmes commerciaux de reconnaissance faciale. Dans leur étude, les auteurs ont évalué des systèmes commerciaux de reconnaissance faciale développés par de grandes entreprises technologiques. Ils se sont concentrés sur la précision de la classification des genres. Ils ont montré que les meilleures performances étaient enregistrées pour les hommes à la peau claire, avec des taux d’erreur inférieurs à 1 %. Les pires performances ont été enregistrées pour les femmes à la peau foncée, avec des taux d’erreur allant jusqu’à 34,7 %. Cette différence importante dans les taux d’erreur s’explique par le fait que les données d’entraînement comportaient principalement des visages d’hommes clairs.
Les algorithmes, censés être objectifs en théorie, peuvent, en pratique, perpétuer des préjugés sociaux existants. Les systèmes entraînés sur des données biaisées ou incomplètes peuvent reproduire ces mêmes biais dans les résultats. Cela conduit à des résultats injustes. L’article suivant traite les biais algorithmiques, qu’est ce qu’ils sont, leurs causes et comment les éviter.
Qu’est-ce qu’un biais algorithmique ?
Les biais algorithmiques sont des erreurs systématiques et répétables dans un système informatique qui créent des résultats injustes, par exemple en privilégiant un groupe d’utilisateurs par rapport à d’autres. C’est le cas lorsque l’algorithme favorise certains types de personnes et défavorise celles qui ne correspondent pas aux critères « habituels ». Dans l’exemple du logiciel d’embauche d’Amazon, l’algorithme avait tendance à préférer les CV masculins aux CV féminins, ce qui ne permettait pas aux femmes qui postulaient à l’emploi d’avoir les mêmes chances. Toutefois, l’intelligence artificielle ne fait pas de discrimination intentionnelle. Les préjugés proviennent de plusieurs sources.
Pourquoi les biais algorithmiques se produisent-ils ?
Pour comprendre comment se produisent les biais algorithmiques, il est essentiel de comprendre le fonctionnement des algorithmes. Bien que les rouages de l’apprentissage automatique puissent être techniquement complexes, ils sont basés sur un processus de base qui comporte quatre éléments clés : la collecte de données, l’entraînement, la prédiction et l’évaluation. Une fois les données collectées, l’algorithme est entraîné pour identifier des configurations.Dans l’apprentissage automatique supervisé, il tente d’apprendre la relation entre les données d’entrée (comme un CV ou une image) et les données de sortie souhaitées (comme « embauche » ou « genre : féminin »). Ce processus est similaire à celui de l’apprentissage humain. Toutefois, contrairement aux humains, les algorithmes n’ont pas de contexte ni de raisonnement éthique. Les prédictions sont faites en fonction de l’évaluation et du retour d’information. Le modèle procède en optimisant la précision en fonction des données qui lui sont fournies. La qualité des données est donc au cœur du modèle, et ses prédictions en sont fortement affectées. Par exemple, dans l’algorithme d’embauche d’Amazon, les données sont constituées d’images et d’étiquettes indiquant l’identité ou le genre de l’image. Si la plupart des CV de l’ensemble de données proviennent de candidats masculins, l’algorithme apprendra à associer les traits masculins à un bon résultat. Si les données de reconnaissance faciale comprennent principalement des visages masculins à la peau claire, l’algorithme obtiendra de mauvais résultats sur d’autres visages. En outre, de nombreux algorithmes sont développés pour poursuivre leur apprentissage même après l’entraînement. Ils s’améliorent au fil du temps en intégrant de nouvelles données. C’est ce qu’on appelle une feedback loop. Ce processus contribue également à renforcer les mêmes conclusions. L’algorithme qui a appris à partir de données biaisées continue d’apprendre et d’amplifier le biais.
Les biais algorithmiques peuvent provenir des données d’apprentissage, mais il existe plusieurs types de biais de données qui peuvent affecter un algorithme d’intelligence artificielle. Ils peuvent être divisés en 5 catégories :
- Biais historique : On parle de biais historique lorsque les données utilisées pour entraîner un algorithme reflètent des inégalités sociales préexistantes. Même si les données sont collectées correctement, le biais est ancré dans les préjugés sociaux. Par exemple, dans l’algorithme d’embauche d’Amazon, les données collectées étaient constituées de CV majoritairement masculins, reflétant la réalité de la prédominance de la présence masculine dans le domaine technologique.
- Biais de représentation : On parle de biais de représentation lorsqu’un certain groupe est sous-représenté ou surreprésenté dans les données d’apprentissage. Par exemple, dans les systèmes de reconnaissance faciales commerciale, les données utilisées pour former le modèle surreprésentaient les hommes à la peau claire et sous-représentaient les femmes à la peau foncée.
- Biais de labélisation : De nombreux algorithmes s’appuient sur des données labélisées qui sont annotées par un humain, ce qui peut être subjectif. Prenons l’exemple d’un chatbot conçu pour détecter les messages avec un ton « en colère ». Les données d’entraînement sont constituées de nombreux messages qui ont été labélisés par un humain comme étant « en colère » ou « pas en colère ». Cependant, il n’existe aucune mesure permettant d’évaluer la « colère ». Par conséquent, l’étiquette « en colère » est subjective pour la personne qui labélise le texte.
- Biais de mesure : Le biais de mesure se produit lorsque les variables ou les paramètres utilisés pour évaluer un modèle sont inexacts, trompeurs ou trop simplifiés. Cela se produit surtout lorsque le modèle tente d’évaluer des concepts abstraits difficiles à mesurer tels que la « loyauté » ou le « leadership ». Par exemple, une entreprise tente de mesurer la « productivité » de ses employés. La « productivité » étant un concept abstrait, elle décide de la représenter par l’« activité du clavier », en partant du principe que plus un employé tape sur son clavier, plus il est productif. Toutefois, ce paramètre ne tient pas compte des différents rôles au sein de l’entreprise. Un chercheur peut avoir besoin de plus de temps de réflexion sans activité au clavier, alors qu’un agent de communication tape beaucoup plus. Il en résulte une évaluation inexacte du travail des deux collaborateurs.
- Biais d’évaluation : Le biais d’évaluation se produit lorsque les données de test ne sont pas représentatives de la réalité. Si la précision du modèle est testée sur un ensemble de données limité qui ne présente pas beaucoup de variations, le modèle risque d’être peu performant lorsqu’il sera utilisé sur de nouvelles données différentes.
Comment prévenir les biais algorithmiques ?
Les biais algorithmiques ont des conséquences réelles et graves qui peuvent affecter les individus et les communautés. Étant donné que l’utilisation de l’intelligence artificielle a augmenté au cours des dernières années et continuera à le faire, il est important de prévenir ces problèmes. Plusieurs solutions [3] sont disponibles pour détecter, réduire et prévenir les biais :
- Qualité des données : Comme expliqué précédemment, les données utilisées pour tester et former un modèle affectent considérablement son résultat. Il est important de veiller à ce que les données soient représentatives, diversifiées et équilibrées. Il s’agit notamment d’inclure des échantillons pour tous les groupes concernés (genre, âge, profession…), de s’assurer qu’aucun groupe n’est sous-représenté ou surreprésenté et d’examiner les ensembles de données historiques pour y déceler des déséquilibres préexistants.
- Tests d’équité et audits : Pour s’assurer que les données utilisées sont équitables et n’entraînent pas de discrimination entre différents groupes de personnes, il est essentiel d’évaluer les performances du modèle dans différents sous-groupes. Une solution possible consisterait à tester la précision et les taux d’erreur par sous-groupe. Lorsqu’il n’y a pas suffisamment de données pour un sous-groupe spécifique, il est également possible de générer des données synthétiques pour tester le modèle.
- Impliquer des équipes interdisciplinaires : Pour construire un algorithme éthique, il est parfois important d’envisager la collaboration de plusieurs spécialistes. Par exemple, les sociologues peuvent aider à comprendre les dynamiques sociales. Les experts juridiques veillent au respect de la législation antidiscriminatoire. Les experts du domaine concerné veillent à l’utilisation de mesures correctes et significatives.
En conclusion, l’intelligence artificielle est de plus en plus présente dans la vie quotidienne des gens. Elle intervient dans les processus d’embauche, les soins médicaux, les services à la clientèle et bien d’autres encore. Lorsque ces systèmes ont des préjugés cachés, ils renforcent les inégalités et les discriminations existantes. Pour construire des technologies au service de tous, il est essentiel de comprendre comment les préjugés apparaissent, de reconnaître leur impact et de travailler activement à leur prévention. C’est pourquoi il est important de suivre les biais des algorithmes et de s’assurer qu’ils sont « équitables ». Il ne s’agit pas seulement d’une question technique, mais aussi d’une question sociétale et éthique.
Bibliographie:
[1] Dastin, J. (2018). Amazon scraps secret AI recruiting tool that showed bias against women. Reuters. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G
[2] Buolamwini, J., & Gebru, T. (2018, January). Gender shades: Intersectional accuracy disparities in commercial gender classification. In Conference on Fairness, Accountability and Transparency (pp. 77–91). PMLR.
[3] Barocas, S., Hardt, M., & Narayanan, A. (2019). Fairness and Machine Learning. https://fairmlbook.org/