"Une IA de confiance va s’imposer encore plus fort que le RGPD."

Bonjour je suis Caroline Goulard, j’ai créé deux entreprises dans le domaine de la visualisation de données et je travaille depuis plus de 10 ans à créer des ponts entre les humains et les données. On se retrouve pour un nouvel épisode de The Bridge la plateforme de contenu d’Artefact qui démocratise la culture des données et de l’intelligence artificielle. Aujourd’hui on reçoit Christine Balagué. Christine bonjour. 

Bonjour. 

Christine Balagué, peux-tu te présenter ? Sur quoi travailles-tu actuellement ? 

Alors je suis professeure à l’Institut Mines-Télecom et j’ai fondé, je dirige depuis trois ans un centre de recherche qui s’appelle Good in Tech dont artefact est partenaire et nous travaillons sur deux sujets principaux. Le premier c’est l’intelligence artificielle de confiance donc comment on peut rendre ces technologies plus responsables et à impact positif et le deuxième sujet c’est la responsabilité digitale des entreprises. 

Pourquoi parle-t-on aujourd’hui d’IA de confiance ? Pourquoi est-ce un sujet qui mérite qu’on s’y intéresse ?

Alors aujourd’hui c’est important de parler d’IA de confiance parce que l’IA se déploie dans tous les services, dans tous les produits, dans tous les secteurs économiques et autant il y a des impacts de l’IA extrêmement positifs. Par exemple, il y a des sociétés comme Thera Panacea qui ont déployé des technologies d’ia dans le domaine de la radiologie pour individualiser les doses de radiothérapie dans le cas de cancer. Donc évidemment ça ce sont des impacts extrêmement positifs et puis il y a d’autres effets potentiellement négatifs de l’IA qu’il faut adresser. On connaît bien sûr aujourd’hui le grand souci des fake news sur les réseaux sociaux, ça en fait partie mais je dirais qu’il faut aussi adresser ces questions d’impact potentiellement négatif sur la société. Alors sur ce point peut-être que je peux citer deux recherches qui ont été faites assez récemment, il y a une recherche qui a été pilotée par Virginia Dignum qui fait partie du groupe européen des experts sur l’IA. Et en fait ce qu’ont fait ces chercheurs ils ont regardé l’impact à partir de toutes les publications sur l’IA, de l’intelligence artificielle sur les ODD, les objectifs de développement durable. Et en fait ils ont montré que dans 79% des cas, dans les applications d’ia on avait un impact positif sur ces objectifs de développement durable. 

Peux-tu nous donner des exemples de ces objectifs de développement durable ?

Alors qu’est-ce que c’est que les objectifs de développement durable, il y en a 17. C’est par exemple réduire les inégalités, c’est par exemple trouver des solutions face au climat. Donc ce qu’a constaté cette étude c’est vraiment un effet positif important et ils ont mesuré aussi quand l’IA était inhibiteur de changement d’impact sur le sur les objectifs de développement durable et on a quand même dans 38% des cas aussi des effets potentiellement négatifs. Alors évidemment ça dépasse 100% parce qu’on a des applications directes qui ont à la fois des effets positifs et négatifs et donc ce qui nous intéresse c’est justement, quand il y a des effets sur la société est-ce qu’on peut les limiter, est-ce qu’on peut avoir une garantie et c’est ça qu’on appelle l’IA de confiance. 

As-tu des exemples de situation où l’IA ne répond pas à des critères éthiques, où elle n’est pas “de confiance” justement ? 

Oui, alors il y a une autre recherche aussi très intéressante qui vient d’être publiée en 2022 d’un chercheur qui s’appelle Wirtz qui a catégorisé un peu tous les risques de l’IA. Donc il y a des risques qui sont d’abord liés à la technologie, à l’analyse de données et à la collecte des données donc par exemple un des risques c’est la violation de la vie privée parce qu’on sait qu’il faut beaucoup de données pour utiliser des algorithmes d’intelligence artificielle. Ensuite il y a une deuxième famille de risques, qui sont des risques je dirais économiques par exemple la transformation des modes de travail, on parle de métaverse demain, aujourd’hui on est ici en face à face mais peut-être que demain on se retrouvera dans des univers tout à fait virtuels et ça pose également tout un tas de questions. Il y a d’autres types de risques qui ont été identifiés qui sont des risques informationnels, communicationnels, j’en ai parlé tout à l’heure, les fake news, les deep fake qui sont des algorithmes basés sur des algorithmes qui poussent donc cette désinformation. Et enfin il y a des risques que je dirais sociaux éthiques très liés au concept même de l’IA, aux algorithmes d’IA, notamment des effets potentiels de discrimination. Alors nous on a beaucoup travaillé sur des algorithmes de recrutement par exemple, lorsqu’on traite des algorithmes de recrutement et bien si on a des biais des données ou si on utilise certaines données je prends un exemple sur lequel on est tombé. Par exemple les trous dans les CV et bien les trous dans les CV c’est plus souvent des CV de femmes que d’hommes et donc si on prend cette variable on va entraîner une potentielle discrimination des femmes par rapport aux hommes. Donc ça ce sont des sujets qu’il faut adresser donc ces risques existent, on les connaît et puis il y a également un certain nombre de solutions justement pour adresser ces risques et pour déployer une IA de confiance. 

Quelles sont donc les solutions envisageables pour répondre à ces problématiques ?

Alors c’est intéressant de regarder comment les solutions ont émergé dans le temps, les premiers rapports vraiment qui ont mis en avant ces risques de l’intelligence artificielle, les risques du Big Data datent de 2016. C’était aux États-Unis, le bureau à l’époque d’Obama, Trump n’était pas encore élu, et on a des premiers rapports qui sortent sur quand même ce Big Data, ces données massives, ces algorithmes automatiques, est-ce qu’il n’y a pas des conséquences sur la société, sur les citoyens et donc ces rapports montrent quelques risques. Et donc derrière ces premiers rapports il y a eu des publications scientifiques et puis un certain nombre d’organisations internationales, ça c’est vraiment le premier grand débat et les premiers grands rapports sur le sujet de l’IA de confiance, avec en 2018 l’Université de Montréal qui a élaboré un rapport qui s’appelle la Déclaration de Montréal, qui a été piloté par Yoshua Bengio est quelqu’un de très connu, a encadré les tests de Yann Le Cun, de beaucoup de gens très connus dans le domaine de l’IA aujourd’hui, et puis par un philosophe qui s’appelle Marc-Antoine Dilhac et ils ont sorti cette déclaration de Montréal disant ok pour le développement de l’intelligence artificielle, mais il faut respecter une dizaine de principes qui sont des grands principes un peu philosophiques comme l’équité, la justice, le respect de l’autonomie, etc. Le deuxième grand rapport sur cette IA de confiance il a été élaboré par un groupe d’experts européens en 2019, c’est un rapport qui s’appelle Guidelines on Ethics of Artificial Intelligence et donc ces 52 experts là aussi se sont appuyés sur des grands principes donc dans toutes ces rapports internationaux on se base sur des grandes principes philosophiques. Alors ces grands principes c’est de dire voilà on développe des technologies mais il faut que ces technologies soient justes, alors juste ça veut dire quoi en terme d’éthique, ça veut dire qu’on ne peut pas discriminer des individus ou des populations les unes par rapport aux autres et il a été montré que l’IA peut discriminer par exemple des femmes par rapport aux hommes dans le domaine du recrutement, dans le domaine de la publicité ou des populations noires par rapport aux populations blanches il y a beaucoup de travaux autour de ces questions. Donc des technologies justes. Ensuite deuxième grand principe c’est l’autonomie des individus, le respect de la vie privée et donc si on prend par exemple des technologies comme des systèmes de recommandation ou des réseaux sociaux, on a pu constater des bulles d’enfermement parce qu’en fait des données d’intelligence artificielle qui sont utilisées c’est des données passées et on va prédire le futur en fonction des données passées de l’individu. Donc on va l’enfermer soit dans un type de produit acheté parce qu’il l’a acheté précédemment, soit dans un type d’information à regarder parce qu’il a cliqué précédemment sur ce type d’information. Donc ce grand principe d’autonomie de l’individu doit être respecté donc ça évidemment ça implique des contraintes sur les programmes d’IA. Le troisième grand principe c’est le principe de bienfaisance, c’est à dire qu’il faut prouver que la technologie d’IA a une valeur ajoutée, alors par exemple en santé on est obligé en France d’avoir un label de la Haute Autorité de Santé donc il faut prouver par des expérimentations que vraiment il y a un apport en termes de santé. Et enfin le dernier critère c’est la non malfaisance et il faut des garanties que vraiment il n’y a pas d’effet négatif. Donc ça ça a été le travail de la Commission européenne basé sur ces grands principes et la Commission européenne a dans son rapport dit qu’il faut 7 critères à l’IA dont la transparence des accords, le principe d’accountability c’est-à-dire le fait de pouvoir auditer les algorithmes et de rendre des comptes, la garantie humaine aussi qui est intéressante et puis les questions techniques de robustesse, donc tout un tas de critères. Et puis derrière la Commission Européenne il y a eu l’OCDE, l’UNESCO, donc tout un tas de pays qui ont dit la même chose. C’est la première phase sur les grands principes éthiques à respecter. 

Comment en est-on arriver à définir une IA de confiance, qui engage à respecter un traitement éthique des données et des algorithmes ?

Alors en fait cette première étape elle était quand même créée, je dirais philosophiquement, on va dire sur des grandes principes, alors quand on a une équipe de Data scientists on se dit ce grand principe de justice qu’est-ce que ça devient, qu’est-ce que je peux faire au quotidien. Donc ces grands principes ils ont été posés mais le gros développement ça a été le FAIR ML, le fair Machine Learning, qui a consisté donc en data science et en computer science à imposer dans les algorithmes cette notion de fairness, alors il y a plusieurs calculs possibles mais par exemple si je prends une discrimination entre des hommes et des femmes, pour qu’il n’y ait pas cette discrimination dans l’algorithme, on va imposer par une équation dans l’algorithme d’avoir par exemple des calculs c’est le taux de faux positif ou faux négatif équivalent chez les hommes et chez les femmes. Donc il y a plusieurs calculs possibles donc ça c’est je dirais très opérationnel, c’est mis en place sauf que ça présente aussi un certain nombre de limites parce qu’en général la discrimination potentielle n’est pas sur un critère, par exemple homme femme, mais elle est sur pleins de variables potentielles donc comment fait-on, et puis il y a certains auteurs qui ont dit finalement ces calculs de la fairness génèrent des effets qui ne solutionnent pas du tout cette question vraiment de justice. Donc on a des effets qu’on dit rebond c’est-à-dire qu’on traite une partie du problème mais en fait on crée d’autres discriminations potentielles, donc cette question reste importante. 

Donc il y a une troisième phase dans laquelle on est un peu aujourd’hui, qui est la phase de la régulation, on voit arriver l’IA Act européen, qui est encore basé sur une autre notion qui est la question du risk management. C’est à dire qu’on va classer les applications d’IA en fonction de leur niveau de risque sur la société, sur l’environnement, et on va dire voilà il y a des applications à très haut risque, alors l’exemple donné par l’Europe c’est le credit scoring qui est appliqué en Chine mais qui n’est heureusement pas appliqué en Europe. Et ce credit scoring et bien on va l’interdire, ça c’est vraiment une application qui ne sera pas acceptée en Europe. Et puis il va y avoir du high risk, alors le high risk il y a tout un tas d’applications notamment le recrutement qui est cité, notamment des applications santé et là on aura des contraintes vraiment de la régulation, notamment sur la question de la transparence des algorithmes, sur la question de la qualité des données, comment on peut avoir un jeu de données qui ne soit pas biaisé, sur le fait que l’algorithme doit être auditable donc des critères qui étaient dans ces rapports de la Commission européenne mais qu’on va avoir vraiment ancrés dans la régulation. 

Comment rendre transparent et explicable le fonctionnement des algorithmes ?

Alors le mot transparent qui est en fait dans le texte de loi et qui est aussi dans le rapport européen, donc nous dans Good In Tech on a mené beaucoup de travaux sur l’explicabilité des algorithmes et en fait on s’aperçoit que ça n’est pas que technique. C’est vrai qu’il faut comprendre comment fonctionne l’algorithme, il faut comprendre quelles sont les variables qui vont expliquer le résultat, mais il faut aussi être capable d’expliquer auprès de l’utilisateur de l’algorithme donc ça peut être en B2B, ça peut être auprès d’un utilisateur en B2C par exemple dans le cadre de credit scoring de banque, et bien il faut être capable d’expliquer comment fonctionne l’algorithme. Donc nous on a testé sur du credit scoring par exemple auprès d’utilisateurs qui demandent des prêts, plusieurs types d’explications. Donc on a expliqué de manière différente, je vais pas rentrer dans la technique mais il y a des explications par exemple contre factuelles etc, donc on va avoir des systèmes d’explications différents et on va mesurer la réaction des gens. Et ce dont on s’aperçoit c’est qu’effectivement la confiance de l’utilisateur dans l’algorithme, donc dans sa demande de credit scoring, elle n’est pas la même suivant le fait qu’on lui explique ou pas comment l’algorithme fonctionne et qu’on lui explique pourquoi lorsqu’il demande un prêt, soit il a une réponse positive soit il a une réponse négative. Donc cette question d’expicabilité elle est majeure donc on utilise plutôt explicabilité que transparence et encore mieux qu’explicabilité le terme interprétabilité, qui veut dire quoi, qui veut dire que non seulement on a expliqué, mais en plus l’utilisateur a compris parce qu’on peut avoir la meilleure explication du monde mais on peut avoir aussi en face des gens qui n’ont pas compris cette explication. Et donc ne sert à rien donc il faut qu’on arrive à cette ce concept d’interprétabilité alors il y a beaucoup de recherches sur le sujet qui sont en train d’être menés. On en mène dans le cadre de Good In Tech et effectivement on aura beaucoup de travaux aussi avec l’IA Act s’il est voté au niveau européen. 

Avec cette notion d’interprétabilité, l’IA Act va-t-elle apparaître comme le nouveau RGPD ?

Alors je dirais avant l’IA Act, il y a quand même une régulation européenne qui a été votée cet été 2022 et qui va démarrer en 2023. Nous on organise avec Good In Tech une grande conférence internationale les 16 et 17 janvier sur le DSA, qui est la régulation et sur la modération des contenus. Et dans la loi DSA, il y a déjà une partie, alors plutôt destinée aux grandes plateformes, mais une partie de la loi qui concerne une certaine transparence des algorithmes des grandes plateformes en particulier sur la manière dont ils luttent contre la désinformation et en particulier dans les périodes électorales sur la manière dont ils poussent des contenus. Donc cette idée elle est déjà très présente dans le DSA et puis toute la question et l’enjeu vraiment sociétal de la modération des contenus sur les plateformes donc il y a une régulation qui existe. Dans cette régulation il y a également, et ça c’est très intéressant, une ouverture des données des grandes plateformes, donc une obligation des grandes plateformes à ouvrir leurs données pour des chercheurs. Donc on va pouvoir aller contrôler comment les algorithmes fonctionnent. 

C’est super intéressant, c’est l’ouverture des données d’entraînement, c’est l’ouverture des données de sortie. Qu’est-ce qui va être fait ?

Alors c’est en train d’être discuté et l’ARCOM en France vient de faire une consultation publique auprès des chercheurs, on est en train d’y répondre, pour l’accès aux données des plateformes en ligne. Donc ça c’est le DSA, donc on voit qu’il y a quand même des éléments qui touchent les algorithmes et puis sera discuté donc ce fameux IA Act, qui est vraiment très intéressant et derrière l’IA Act, bon il y a la régulation mais il y a aussi tous ces travaux internationaux et nationaux dans tous les pays, sur la question de la standardisation. Probablement qu’il va y avoir des standards dans l’IA, il y a une association internationale qui s’appelle IEEE, qui crée des standards des technologies. J’étais il y a quelques jours à La Haye à une conférence internationale d’IEEE, ça s’appelle Positive Planet 2030 et c’était sur les standards de l’IA, vraiment tout à fait en phase avec les travaux qu’on mène dans Good In Tech. Et donc cette idée qu’on va travailler à standardiser, qu’est-ce que ça veut dire une base de données de qualité, qu’est-ce que ça veut dire la transparence, qu’est-ce que ça veut dire l’explication, voilà un certain nombre de critères et les travaux d’IEEE sont déjà existant sur beaucoup de critères d’intelligence artificielle de confiance. 

Est ce que la définition d’une IA responsable et de confiance est propre à chaque pays ou s’agit-il d’une collaboration européenne voire internationale  ?

Alors ça c’est très intéressant parce qu’effectivement il y a une différence culturelle et les rapports dont je parlais tout à l’heure de la Commission Européenne, de l’OCDE, de l’UNESCO, ils sont basés sur ces quatre grands principes philosophiques qui sont défendus évidemment par des sociétés démocratiques et plutôt par l’Europe. Et on a dans le monde trois visions probablement des technologies, du monde des technologies. On a une vision européenne qui est de défendre l’utilisateur, c’est le RGPD, de faire attention aux risques de l’IA, c’est l’IA Act donc de protection quand même des citoyens face à ces technologies. Et puis des débats autour de ces questions. On a une vision américaine bien sûr beaucoup plus business et basée sur le fait que si une technologie est utile et bien il faut la déployer. Et puis on a une troisième vision qui est la vision chinoise ou malheureusement ni l’un ni l’autre n’est mis en avant, mais on est plutôt sur des technologies qui, tout le monde le sait, servent aussi à surveiller massivement la population. Et donc ces questions de privacy, de fairness, n’intéressent pas du tout évidemment un pays comme la Chine. Donc on a des différences culturelles et ces différences culturelles on les travaille aussi dans ces questions de fairness ou de principe de justice, ou dans les choix qu’on va faire dans les algorithmes. Alors il y a un site interactif qui a été développé par le MIT, qui s’appelle Moral Machine, que j’utilise moi dans mes cours avec mes étudiants, où en fait on demande aux individus de faire le choix d’une voiture connectée et donc l’individu va choisir l’algorithme et va choisir la décision que va prendre l’algorithme entre différents scénarios. 

Donc voiture autonome qui roule sur une route et à un moment elle doit faire le choix entre un piéton et un animal, entre un enfant et une personne âgée, c’est ce genre de chose ?

Exactement, c’est ce genre de choses. Alors moi j’ai un de mes cours où j’ai, je crois, une quarantaine de nationalités et puis évidemment des jeunes étudiants entre 20 et 30 ans et donc on fait cet exercice en direct et c’est quand même assez incroyable parce qu’on trouve comme résultat systématique, quasiment chaque année, qu’en fait on va plutôt tuer les personnes âgées, on va plutôt tuer les personnes obèses, on va plutôt tuer des gens qui n’ont pas d’emploi et on va je dirais favoriser l’homme blanc, cadre supérieur et donc on voit bien qu’il y a des différences culturelles entre toutes les nationalités qu’il y a dans l’assistant. Ca a été aussi montré par le MIT donc sur cette question, là c’était juste à titre indicatif, mais sur cette question il y a des différences culturelles. Mais je crois que ce qui est intéressant c’est qu’en Europe on a quand même cette volonté d’encadrer ces technologies et cette technologie d’IA de confiance, c’est pas uniquement du frein à l’innovation, c’est pas uniquement des contraintes qu’on va mettre dans les algorithmes, ça représente des marchés considérables. Et nous ce qui nous intéresse dans Good In Tech c’est de regarder aussi si ces contraintes de transparence, de fairness, etc sont perçues positivement par les consommateurs. Et on vient de mener des travaux qui montrent que plus les consommateurs perçoivent l’algorithme comme transparent, fair, auditable, etc, plus ils acceptent d’acheter la technologie et donc on crée de la confiance, donc c’est vraiment de l’IA de confiance mais perçu vraiment comme tel par les consommateurs. Et donc c’est un marché qui a été d’ailleurs quantifié, cette IA de confiance, dans un certain nombre de secteurs économiques et dans un certain nombre d’industries donc c’est loin d’être un frein à l’innovation, c’est plutôt une opportunité et en particulier en Europe. 

On peut pas dire que c’est un frein aux entreprise car ça peut aussi donner un avantage concurrentiel au final. 

Absolument.

Comment les principes d’éthique dans l’IA vont-ils impacter les entreprises ? Comment ces principes peuvent-ils être concrètement mis en place ?

Evidemment ces questions elles doivent être traitées à plusieurs niveaux. Il y a d’abord la partie technique, donc là il faut que ces entreprises travaillent avec des partenaires qui sont des prestataires, qui développent des algorithmes mais qui tiennent compte de ces sujets donc qui savent faire un algorithme fair justement, qui savent traiter les questions d’explicabilité, qui savent regarder en particulier les biais des données. Dans les entreprises qui aujourd’hui fabriquent des programmes d’intelligence artificielle, il y en a certaines qui se positionnent sur ces questions et d’autres non, mais je crois que ce ne sont pas que des aspects techniques qu’il faut traiter et c’est la vision que l’on porte dans Good In Tech. Bien sûr, le premier axe qu’on traite ce sont ces questions techniques d’IA de confiance, mais il faut aller plus loin il faut avoir des KPI dans l’entreprise et il faut que ça devienne des KPI qui permettent de mesurer une responsabilité numérique de l’entreprise et ces KPI doivent remonter dans ce qu’on appelle la responsabilité sociale de l’entreprise. Donc on anime avec Good In Tech par exemple, au sein du pôle de compétitivité Cap Digital, des travaux sur numérique de confiance et numérique écologique, puisqu’il y a les deux dimensions. On travaille 150 entreprises membres du pôle de compétitivité pour identifier quelles sont les dimensions, quels sont les KPI à identifier et à mesurer et comment on peut remonter ces critères dans ce qu’on appelle une responsabilité numérique de l’entreprise sur laquelle  l’entreprise va aussi s’appuyer dans des rapports annuels, dans des évaluations et je crois qu’il faut un engagement dans ces démarches sur les techniques d’IA mais sur tout le numérique qui est déployé au sein d’une entreprise.

Et alors des exemples de KPI ? 

Alors des exemples de KPI dans les travaux qu’on a menés avec Cap Digital par exemple, il y a un premier niveau indispensable qui est, est-ce que c’est important dans la stratégie de l’entreprise ou pas. Alors là il y a évidemment des entreprises qui sont des entreprises à mission donc un des KPI c’est est ce que je suis une entreprise à mission ou pas. Et puis il y a plein d’autres entreprises qui ne sont pas à mission mais qui dans leur plan stratégique mettent le numérique de confiance et écologique comme prioritaire, donc évidemment ça c’est un KPI. Donc ça c’est l’aspect stratégique, ensuite il y a l’aspect technique dont on parlait précédemment, c’est à dire tous les KPI de est-ce que je respecte évidemment le RGPD. En général les entreprises respectent la régulation, mais est-ce que je vais plus loin sur l’IA de confiance, donc ça c’est ce qu’on a évoqué tout à l’heure, est-ce que j’ai des algorithmes auditables, est-ce que j’ai des algorithmes explicables, est-ce que j’ai des biais dans les données que j’utilise dans le cadre des algorithmes que je développe, est-ce que j’ai vérifié qu’il y ait pas de discrimination. Donc tout un tas de KPI techniques sur la technologie qu’on développe et puis il y a d’autres KPI. L’organisation, qui est responsable de cette partie numérique de confiance, est-ce que on identifie des gens ? Alors il y a un poste qui a été créé dans les entreprises, d’ailleurs dans Good In Tech on a fait tout un travail c’est le Chief Data Officer. Le Chief Data Officer pour l’instant il regarde la mise en conformité avec le RGPD mais son rôle il peut être beaucoup plus large, est-ce que dans les algorithmes d’IA par exemple, les questions de biais des données sont traitées. Donc qui dans l’organisation va porter ces questions, c’est très important et si on est dans des grands groupes, je prends un exemple qu’on a vu chez Cap Digital qui est par exemple la Poste qui a développé beaucoup de critères de responsabilité un peu partout dans l’organisation et bien chaque service a des objectifs très précis et des KPI sur ces questions. Et puis il y a également derrière l’organisation le marché. Est-ce que vis-à-vis des utilisateurs, de mes consommateurs j’ai une certaine transparence. C’est à dire que si je développe des chatbots par exemple, est-ce que je dis à mes consommateurs que le chatbot c’est une machine ou est-ce que je lui fais croire que c’est un service client. Les chatbots c’est assez paradoxal, c’est du Customer Relationship Management et probablement que dans 80% des cas, en tout cas à titre personnel, ça n’a jamais répondu à ma question. Donc il y a quand même ce paradoxe donc il faut quand même des outils qui marchent et il faut être transparent vis-à-vis de ses clients. Et enfin le dernier critère c’est des catalyseurs, c’est à dire quel financement on met sur cette stratégie, est-ce que vraiment il y a du financement ou pas, est-ce qu’on est dans des écosystèmes par exemple, le réseau de recherche qu’on a dans Good In Tech, mais il y a plein de d’écosystèmes qui travaillent sur ces sujets voilà quelles sont les catalyseurs qui fait que l’organisation elle va se transformer vers cette vision numérique responsable et écologique parce que l’écologie est aussi un critère important. 

On va en parler. 

Comment mettre en place et tester des IA de confiance ? Comment être sûr que ces IA ne présentent pas de biais cognitifs ?

Alors dans les biais il y a plusieurs enjeux, il y a les résultats de l’algorithme donc là il y a déjà la robustesse, c’est à dire est-ce que j’ai beaucoup de faux positifs, beaucoup de faux négatifs. Je prends un exemple un peu provocateur, il y a des chercheurs de l’AP-HP, dans le domaine de la santé en France, qui ont eu des publications incroyables au niveau mondial et qui ont créé un algorithme. L’objectif de cet algorithme c’est de prédire si dans les services de réanimation les gens vont sortir du coma ou pas, les patients vont sortir du coma. Vous voyez l’enjeu éthique derrière. Et puis il peut y avoir une décision dans le service qui est de dire bon ce patient ne peut pas sortir du coma, j’ai un patient de 20 ans qui arrive, bon je vais peut-être privilégier celui de 20 ans. Donc je dis ça parce que c’est, dans certains cas, ce qui s’est passé pendant le Covid dans les services de réanimation. Donc ce cas qui est quand même un cas éthique majeur, si j’ai beaucoup de faux positifs, c’est à dire des gens où je dis effectivement ils ne vont pas sortir du coma, mais en fait c’est faux peut-être que je les condamne pour rien. Donc il y a des enjeux en particulier dans la santé mais pas que, où en fait c’est c’est vraiment très très ennuyeux ce biais lié au fait que je fais des erreurs et tout algorithme fait des erreurs, donc là l’idée c’est de diminuer le plus possible les erreurs que l’on fait. Et puis les biais c’est surtout une question de base de données de départ et c’est peut-être l’un des sujets le plus important dans l’IA, c’est à dire que quand j’entraîne un algorithme, est-ce que je m’assure que la base de données que j’ai au départ elle n’est pas biaisée. Je prends un exemple, j’étais il y a 2 ans à Moscou et j’avais visité une entreprise qui gère la reconnaissance faciale, je crois qu’il y a 200 000 caméras dans Moscou, et donc c’est pour identifier des gens qui font des vols etc. Et cette entreprise avait entraîné son modèle pendant la coupe du monde. Et pendant la coupe du monde, qui est allé à Moscou pour la finale ? Essentiellement des gens blancs de type caucasien, plutôt des hommes et effectivement ils avaient de très bons résultats sur cette population parce qu’ils avaient entraîné leurs données sur ça. Mais supposons qu’il y ait des personnes de couleur noire par exemple qui vont à Moscou ou plus de femmes etc, les résultats étaient très mauvais. Donc la conséquence c’est qu’on pouvait accuser une personne d’avoir volé quelque chose, d’avoir fait une action non citoyenne dans la rue et c’était une erreur de l’algorithme, c’était pas une réalité. Donc la question des biais des données c’est une question assez fréquente, certains chercheurs chez nous disent que c’est probablement là où on a le plus de biais potentiels et le biais aussi potentiel de discrimination, d’injustice dont on parlait tout à l’heure. Et on a beaucoup travaillé sur les algorithmes de recrutement par exemple, les données qui servent aux algorithmes de recrutement, elles posent vraiment problème. Je donne un exemple sur le recrutement, il y a une société qui s’appelle HireVue aux États-Unis dans le domaine des algorithmes de recrutement. HireVue est considéré comme “License to discriminate” par certains chercheurs de NYU, New York University. Pourquoi parce que c’est un algorithme qui fait du traitement automatique de CV, mais qui en plus demande aux candidats, et moi j’ai des étudiants qui sont passés par HireVue et qui demande aux candidats de répondre à 5 questions sur une plateforme avec une vidéo. Et de tout ça HireVue calcule un score d’employabilité et donne à ses clients les peut-être 30 candidats qui ont le meilleur score d’employabilité. Comment ça marche ? On ne sait pas. D’autres modèles d’intelligence artificielle ont montré qu’avec juste votre visage on peut détecter votre orientation sexuelle par exemple, est-ce que ça c’est pris en compte on n’en sait rien, ou alors vous avez dans la vidéo, il y a aussi d’autres modèles d’intelligence artificielle qui à partir de votre ton de voix détecte si vous êtes dépressif ou pas. Tout ça c’est plein de faux positifs et de faux  négatifs. Est-ce que ces techniques elles sont utilisées ? Donc voyez que dès qu’on passe à ces systèmes là, ça pose d’énormes enjeux éthiques et donc avoir cette IA de confiance c’est quand même quelque chose de nécessaire et je dirais de rassurant aussi, à la fois pour les entreprises qu’utilisent ces outils et à la fois aussi pour, les en l’occurrence là, les candidats qui postulent à ces entreprises. Et une entreprise qui tamponne son algorithme de recrutement IA de confiance, peut-être qu’elle aura plus de candidats que d’autres entreprises. 

Quelle place occupe l’environnement dans la réflexion sur l’IA responsable ? Quel est l’impact de l’IA sur l’environnement ? Comment mesure-t-on cela ?

Alors c’est un sujet majeur, c’est probablement d’ailleurs le sujet sur lequel toutes les entreprises qui font de l’IA travaillent en priorité aujourd’hui. C’est cette fameuse neutralité carbone, certains groupes ont des objectifs neutralité carbone 2030, y compris d’ailleurs les grandes plateformes comme Google, Facebook qui ont vraiment développé tout un tas de démarches. Je crois que Facebook a un data  enter qui chauffe toute une ville au Pays-Bas. Donc c’est un vrai enjeu, il a été montré que l’intelligence artificielle a un impact assez fort dans tout son cycle de vie d’abord, dans la collecte des données, puis dans le stockage et dans les data centers, donc aujourd’hui il y a des solutions où on en a primé une via le prix Good In Tech qui s’appelle Data Farm qui sont des data centers avec de nouveaux modèles économiques pour les agriculteurs, mais des data centers à zéro impact carbone, qui sont installés dans des fermes. Donc il y a ce cycle de vie de data center, comment on réduit l’énergie du data center et puis après tout l’algorithme lui-même et l’entraînement de cet algorithme, certains ont montré que l’entraînement d’un seul algorithme de NLP, Natural Language Processing et bien c’était l’équivalent en CO2 de la durée de vie d’une voiture donc c’est quand même très élevé. Donc je pense que le secteur a pris en compte ce sujet, travaille sur des solutions, à l’Institut Mines-Télécom on a beaucoup de chercheurs qui travaillent sur cette question de la mesure très précisément de l’impact carbone et puis de l’impact plus global du numérique sur l’environnement. On est sur la bonne voie, il faut des données, c’est une question également de données, puisqu’il faut pouvoir mesurer les effets des actions qui sont mises en place par les entreprises, mais sur ce sujet moi j’ai assez confiance parce que je pense que c’est un sujet que les entreprises sont en train d’adresser. Et il faut pas oublier non plus que l’IA fournit aussi des algorithmes très utilisés dans la lutte contre le réchauffement climatique, notamment pour détecter par exemple des endroits de biodiversité dans le monde qui ont été touchés par le réchauffement climatique, donc il y a des images satellites, toute une partie de l’IA qui est vraiment dédiée à comment on peut contribuer à la lutte contre le réchauffement climatique par des données et puis par des traitements automatisés. 

Penses-tu que l’IA puisse avoir un impact sociétal positif, qu’elle permette de rendre la société plus juste et plus inclusive ?

Alors il y a beaucoup de travail à faire dans ce domaine et effectivement c’est probablement l’un des enjeux majeurs de nos sociétés démocratiques parce qu’aujourd’hui on sait qu’en particulier sur les grandes plateformes de réseaux sociaux, que ce soit Instagram, que ce soit YouTube, que ce soit TikTok, donc on retrouve bien les Américains et les Chinois sur ces plateformes, se déploient massivement des fake news, voire des deep fake qui sont des algorithmes d’IA encore plus intrusifs où en fait on crée des vidéos et en tant qu’utilisateur on ne se rend pas compte que ces vidéos sont entièrement fabriquées artificiellement. Et donc on fait dire à quelqu’un un discours qu’il n’a jamais prononcé donc ça pose d’énormes problèmes et puis ça pose également des problèmes parce que les algorithmes eux-mêmes des réseaux sociaux, donc qui sont des algorithmes qui filtrent l’information, poussent ces contenus de désinformation sans le vouloir forcément parce qu’en fait cette désinformation souvent elle fait de l’audience et qu’ils ont des modèles publicitaires. Donc on a un souci de gouvernance des plateformes et puis un impact important sur nos démocraties, en particulier on l’a vu pendant le Covid. Il se trouve que  je fais partie aussi d’un groupe d’experts de l’ARCOM qui est le régulateur des médias en France, sur la désinformation en ligne et on a travaillé sur deux périodes qui sont les périodes du Covid et puis les élections à la fois américaine et puis françaises. On voit bien que pendant en tout cas les périodes électorales se déploient massivement des fausses informations et sur le Covid vraiment ça a été mondial, sur des traitements qui solutionnaient, par exemple prendre l’eau de javel etc, repris par des grands présidents en particulier des États-Unis et malheureusement il y a des gens qui ont écouté ça et qui en sont morts. Voilà on est dans des systèmes de technologies de persuasion massive avec beaucoup d’influenceurs et tout ça a besoin de régulation et donc là, au cœur de ces questions et bien l’IA de confiance est très importantes donc comment rendre ces grandes plateformes plus explicables, comment on peut comprendre comment ça fonctionne sans révéler des secrets professionnels, puisque évidemment ce sont des secrets d’affaires des algorithmes aussi, un secret commercial, mais comment on peut mieux comprendre les phénomènes et puis comment on peut mieux lutter contre cette désinformation. Et tous les travaux qui sont faits par ailleurs sur l’IA de confiance appliquée à ce domaine là sont très importants, par exemple l’ARCOM en France dans ce groupe d’experts audite les plateformes régulièrement sur la lutte contre la désinformation et il y a tout un collectif, avec aussi une initiative à Sciences Po qui s’appelle De Facto qui est un projet européen, donc il y a tout un tas de gens qui travaillent aussi sur ces questions, comment on peut modérer les contenus, comment on peut lutter contre la désinformation par aussi ce numérique de confiance dont on a parlé. 

Peux-tu donner des exemples où l’IA a pu aider à lutter contre les fake news ?

Alors bien sûr, il y a de la détection de fausses informations aujourd’hui. Il faut savoir que les plateformes par exemple lorsqu’elles ont à détecter des fausses informations ou lorsqu’elles ont à détecter des contenus haineux par exemple ou terroristes, on va dire qui pose problème, elles utilisent deux types de solutions : des humains donc des journalistes, ce qu’on appelle les fact checker qui vont vérifier l’information, qui vont vérifier que c’est un discours de haine et à quel point ce discours est problématique et donc par rapport à ça les plateformes elles vont retirer le contenu ou mettre des alertes, enfin il y a plusieurs niveaux. Et puis il y a une deuxième solution qui est algorithmique, c’est-à-dire que comme il y a énormément de données, on va développer, et en tout cas les plateformes développent aussi des technologies algorithmiques qui permettent d’identifier ces contenus, voire automatiquement de baisser en visibilité ces contenus, voire on l’a vu et compris sur des gens extrêmement connus dans le monde, supprimer des comptes. 

Comment envisages-tu le rôle d’une IA de confiance et responsable dans 4 à 5 ans ? Quels sont les prochains enjeux à venir ?

Alors dans ce centre de recherche Good In Tech, on est sur l’IA qui est le premier axe concret parce que c’est un sujet très actuel, mais en fait notre travaux sur le deuxième axe qui est la responsabilité digitale il porte sur tous les types de technologie. Et aujourd’hui il y a un focus particulier sur l’IA parce qu’il y a beaucoup de déploiements d’IA dans les métiers et dans tous les secteurs économiques et dans toutes les entreprises, mais demain on sait qu’on sera sur d’autres technologies, peut-être l’ordinateur quantique, peut-être encore d’autres choses comme le Métaverse qu’on adresse aussi dans Good In Tech et donc il faut que ce qui soit fait dans les travaux qu’on mène aujourd’hui ou dans ces questions d’IA de confiance et bien puissent aussi se faire, en tout cas s’appliquer dans des technologies du futur. Et c’est intéressant parce que la régulation européenne quand vous écoutez les régulateurs européens, c’est exactement ce qu’ils disent sur le DSA. Le DSA est une régulation assez large, de manière à ce qu’elle puisse s’appliquer probablement à d’autres technologies du futur donc c’est ça qui est intéressant, donc on sait que les technologies c’est un monde qui évolue tous les jours. Il y aura d’autres technologies demain et nous ce qui nous intéresse c’est surtout comment rendre ces technologies je dirais plus responsables par rapport à la société, par rapport à l’environnement mais surtout aussi je dirais l’idée derrière c’est de construire un monde, c’est le claim qu’on a dans ce centre de recherche Good In Tech, un monde meilleur pour et par l’humain, c’est à dire qu’on parle technologie, mais quand même il faut que ces technologies elles soient avant tout développées par l’humain au service des humains. 

Pour conclure, quelle serait ta recommandation pour approfondir ses connaissances en Data & IA ? As-tu un livre, un article, une vidéo, un site à nous recommander ?

Alors j’invite évidemment à venir sur le site de notre centre de recherche Good In Tech, on a beaucoup de webinars qui sont tout à fait disponibles en replay, on a beaucoup de contenus aussi, des travaux, des notes de réflexion qui peuvent être utilisés par les entreprises. On a aussi des outils que l’on a mis en place, des rapports, des interviews donc ce site est très riche, c’est un premier élément. Et puis moi j’invite aussi peut-être les entreprises ou en tout cas les personnes qui s’intéressent à ce sujet à ne pas hésiter à se rapprocher de chercheurs qu’on oublie parfois, on traite souvent les problèmes quotidiens dans les entreprises etc, mais se rapprocher de chercheurs qui regardent au niveau national ce qui se passe, qui sont peut-être un peu en amont par rapport aux sujets traités dans l’entreprise. Entre la recherche et la pratique il y a peut-être selon moi trois à quatre ans d’écart, entre des articles de recherche et un moment où ça devient benchmark enfin vraiment un outil standard dans l’entreprise. On l’a vu vraiment avec l’IA de confiance. Donc j’invite à vraiment se nourrir de tout ce qui est fait dans le domaine de la recherche et ne pas se dire que les chercheurs sont des gens complètement à côté de la plaque ou pas sur la planète, ils sont parfois sur leurs planètes mais mais ils peuvent être aussi très appliqués et en tout cas nous c’est ce qu’on fait. 

C’est bien noté et on mettra les liens associés au contenu. Christine merci beaucoup. 

Merci beaucoup Caroline.

On se retrouve très bientôt pour un nouvel épisode de The Bridge.