Autrice : Dr Sophie FAYAD, Ingénieure R&D, Centre de recherche & Innovation
Le rapport AI Index publié par l’Institute for Human-Centered AI de l’Université de Stanford est devenu une référence incontournable, décrivant chaque année une analyse précise et rigoureuse des tendances et des développements en intelligence artificielle (IA). La 7e édition, publiée fin avril 2024, met en évidence l’évolution rapide des technologies, en particulier des modèles génératifs [1]. En effet, depuis la sortie de ChatGPT fin novembre 2022, d’importants acteurs concurrents tels que Google, Meta ou Anthropic ont emboité le pas d’OpenAI, enclenchant une véritable course à l’armement. Depuis, divers modèles émergent régulièrement et se diffusent dans de très nombreux secteurs d’activité, et jusque dans nos foyers. Pourtant les technologies sur lesquelles reposent ces outils sont moins récentes et les dernières innovations technologiques sont toutes autres. Par ailleurs, depuis leur émergence, ces outils nourrissent beaucoup de spéculations sur leurs enjeux socio-économiques, le besoin de régulation gouvernementale, ainsi que l’impact carbone associé. Nous souhaitons investiguer ici les éléments de réponse chiffrés que fournit ce rapport pour nourrir une analyse objective de l’explosion de l’usage de l’IA et une réflexion sur les enjeux et l’avenir de ce phénomène.
Les IA génératives : véritable innovation ou démocratisation technologique ?
Les outils « révolutionnaires » les plus populaires aujourd’hui que sont les IA génératives, telles que ChatGPT (Novembre 2022) pour la génération de texte ou DALL.E. (Janvier 2021) reposent sur des avancées technologiques préexistantes. En effet, les modèles de langage large reposent sur une architecture de réseau de neurones profonds particulières et les mécanismes d’attention proposée dès 2017 [2]. Les modèles de génération d’image sont quant à eux basés sur des modèles de diffusion latente, proposés pour la première fois en 2015 [3] et appliqués à la génération d’image en 2020 [4]. Il aura donc fallu 2 ans pour que les industriels capitalisent sur ces technologies et que les entreprises utilisatrices s’en emparent. Faire état des réelles innovations en matière d’IA nécessite de regarder du côté de la recherche fondamentale avec un recul plus important. Le rapport souligne que les plus gros progrès techniques récents en matière d’IA observés au cours de la dernière décennie concernent non seulement le traitement du langage naturel, mais aussi la vision par ordinateur (reconnaissance d’objet et classification d’image). Ils vont donc au-delà des seules IA génératives qui en sont le prolongement.
Le nombre de publications sur les sujets de machine learning a été multiplié par 3 depuis 2010 (journaux et conférences). Cependant, suite à cette explosion, une décélération apparaît au cours de la dernière année. Y a-t-il un essoufflement dans l’innovation technologique ? En réalité, les progrès de la recherche sont toujours discontinus. Ces derniers sont mesurés en termes d’évaluations de performances, souvent effectuées en comparaison avec les performances humaines. Celles-ci ont été atteintes avec des modèles de traitement du langage sur des tâches de compréhension du langage et de génération de texte, avec les performances les plus élevées observées pour GPT-4 en 2023. Ces évaluations sont néanmoins à traiter avec précaution du fait du manque de critères objectifs dans l’évaluation du langage. Ces modèles sont par ailleurs toujours sujets aux hallucinations, bien que celles-ci aient diminué de 20% depuis 2022. De nets progrès ont également émergé avec les modèles d’image, pour lesquels le dépassement des performances humaines n’est pas récent puisqu’il débuta en 2016 avec ImageNet sur la reconnaissance d’objet. Les prochaines étapes concernent donc la combinaison des performances aussi bien sur de l’image que du texte avec des modèles multimodaux qui commencent déjà à émerger avec GPT-4, Gemini et Claude 3 notamment. Par ailleurs, si les systèmes d’IA dépassent désormais les performances humaines dans plusieurs domaines spécifiques, une nette marge de progression demeure sur des tâches complexes telles que le « Visual Commonsense Reasoning » ou encore les mathématiques de niveau compétitif.
Les innovations techniques résident donc principalement dans l’amélioration des performances. Celles-ci ont été permises par la taille des modèles et la quantité de données d’entraînement utilisées par ces industriels, allant de concert avec des performances élevées, comme l’illustrent GPT4 et Gemini pour les modèles de langage, et DALL.E. 3 pour les modèles d’image. Cependant, ayant été entraînés sur une part considérable des données disponibles sur internet, une limitation dans la quantité de données d’entraînement capable de permettre des améliorations supplémentaires et à craindre. Une alternative à cet obstacle consiste en l’utilisation de données synthétiques. Malheureusement les performances chutent pour les modèles entraînés sur ce type de données en comparaison aux modèles mixtes, soulignant les limites de cette approche et l’importance des données réelles dans l’entraînement. Cette limite de stocks de données disponibles impacte aussi l’évaluation puisque les benchmarks actuellement utilisés deviennent obsolètes, ou inadaptés, notamment pour les tâches de complexité supérieures telles que le raisonnement.
Des enjeux considérables pour les entreprises et la société
Ces progrès sont accompagnés d’une croissance de l’adoption de l’IA dans les entreprises et dans leurs pratiques commerciales. En effet, 55% des entreprises considèrent aujourd’hui l’IA, contre 20% en 2017. Le rapport dépeint un bilan précoce très positif pour les entreprises, avec une amélioration de la productivité des travailleurs, de la qualité du travail, combinant rapidité d’exécution des tâches et de meilleurs résultats. 42% des entreprises auraient réduit leurs coûts et 59% auraient augmenté leurs revenus grâce à l’IA (contre 10% en 2022). Le rapport souligne par ailleurs que ces outils sont un bon moyen de renforcer les liens entre les travailleurs peu et très qualifiés. Cependant, 50% des entreprises se disent préoccupées par les risques associés. Ces avantages nécessitent effectivement une utilisation éclairée. Beaucoup de pédagogie est nécessaire quant au bon usage de ces outils, afin d’améliorer les performances et la qualité du travail, tout en restant vigilant sur les risques associés et l’importance cruciale du contrôle et de la vérification humaine. Au-delà de l’usage dans les entreprises, le rôle sociétal de l’IA est également crucial. Le rapport montre clairement comment l’IA peut augmenter la productivité et améliorer la prise de décision dans d’autres domaines tels que la santé et la science. Cela est particulièrement pertinent pour les prédictions de pandémies et les classifications de mutations, où l’IA commence à jouer un rôle transformationnel.
Les limitations techniques que la recherche s’attèle constamment à repousser et les enjeux socio-économiques qu’elles représentent attirent désormais l’attention particulière des gouvernements pour encourager le développement de l’IA. Cela se dessine via des financements de la recherche et développement dans les universités. Ces investissements sont essentiels car bien que les grands modèles industriels fondateurs affichent des performances record, il ne faudrait pas que ceux-ci éclipsent les recherches plus fondamentales, disposant souvent de points de moyens mais qui n’en demeurent pas moins cruciales, comme vu précédemment. Par ailleurs, malgré une baisse globale des investissements privés dans l’IA pour la deuxième année consécutive, ceux concernant l’IA générative ont été multipliés par 8 depuis 2022 et plafonnent depuis.
De nouveaux défis : IA responsable et durable
En s’impliquant dans le développement de l’IA, les gouvernements affichent également une volonté de contrôle et d’encadrement des risques associés concernant les données privées, de désinformation et les droits de propriété intellectuelle. L’année 2023 a vu émerger un nombre record de réglementations liées à l’IA, principalement aux États-Unis, et une augmentation des contributions législatives à l’échelle mondiale, soulignant une prise de conscience politique accrue des défis qu’elle pose. L’augmentation des réglementations est en effet nécessaire pour favoriser un usage éthique et transparent, et donc une exploitation bénéfique, sécurisée et responsable. Cependant, une certaine fragmentation et un manque de cohérence qui pourraient entraver l’innovation sans pour autant atténuer les risques de manière efficace. La diversité des approches réglementaires pourrait également compliquer la collaboration internationale en matière d’IA.
L’augmentation des performances des modèles d’IA de pointe a nécessité des coûts d’entraînement sans précédent (78 millions $ pour GPT4, 191 millions $ pour Gemini Ultra). Ceci reflète une augmentation considérable des ressources nécessaires pour le développement de modèles avancés. Cet entraînement de plus en plus coûteux est fatalement associé à un coût environnemental de plus en plus élevé et les chiffres en termes d’impact carbone sont de plus en plus difficiles à obtenir de la part des propriétaires. Ces coûts prohibitifs pourraient limiter l’innovation dans le secteur académique, où les ressources sont souvent plus restreintes.
L’IA est indubitablement une force de transformation, mais sa trajectoire future dépendra fortement de la manière dont nous, en tant que société, choisissons de la réguler et de l’intégrer dans nos cadres éthiques et économiques. Ce rapport est un rappel opportun de cette responsabilité partagée. Il souligne l’importance de l’investissement continu dans la recherche, le développement et surtout, dans les infrastructures éthiques et réglementaires qui accompagneront l’IA dans les années à venir.
Sources :
[1] Nestor Maslej, Loredana Fattorini, Raymond Perrault, Vanessa Parli, Anka Reuel, Erik Brynjolfsson, John Etchemendy, Katrina Ligett, Terah Lyons, James Manyika, Juan Carlos Niebles, Yoav Shoham, Russell Wald, and Jack Clark, “The AI Index 2024 Annual Report,” AI Index Steering Committee, Institute for Human-Centered AI, Stanford University, Stanford, CA, Avril 2024.
[2] A. Vaswani et al., « Attention Is All You Need ». arXiv, 5 décembre 2017. Consulté le: 16 juin 2023. [En ligne]. Disponible sur: http://arxiv.org/abs/1706.03762
[3] J. Sohl-Dickstein, E. A. Weiss, N. Maheswaranathan, et S. Ganguli, « Deep Unsupervised Learning using Nonequilibrium Thermodynamics ». arXiv, 18 novembre 2015. Consulté le: 7 mai 2024. [En ligne]. Disponible sur: http://arxiv.org/abs/1503.03585
[4] J. Ho, A. Jain, et P. Abbeel, « Denoising Diffusion Probabilistic Models ». arXiv, 16 décembre 2020. Consulté le: 7 mai 2024. [En ligne]. Disponible sur: http://arxiv.org/abs/2006.11239