Cette vidéo fait partie du cycle d’auditions TESaCo sur l’IA et la Robotique.
Raja Chatila est professeur émérite de robotique, d’intelligence artificielle et d’éthique à Sorbonne Université. Auparavant, il a été directeur de recherche au CNRS, et a dirigé deux grands laboratoires du CNRS : le Laboratoire d’Analyse et d’Architecture des Systèmes (LAAS) à Toulouse, et l’Institut des Systèmes Intelligents et de Robotique (ISIR) à Paris. Ses domaines de recherche portent principalement sur la robotique autonome, et la robotique cognitive et interactive. Président de la société savante IEEE Robotics and Automation Society de 2014 à 2015, il préside une initiative internationale IEEE pour l’éthique dans l’intelligence artificielle et les systèmes autonomes. Il a participé à plusieurs travaux au niveau national et européen sur les implications éthiques et sociétales de la robotique et est membre du Comité National Pilote d’éthique du Numérique.
Troisième partie de l’audition : sur le déploiement de l’IA dans la société
[0.12] Mehdi Khamassi : J’aimerais qu’on bascule maintenant sur des questions de déploiement de l’IA, et son implication dans la société à différents niveaux. On sait qu’il y a tout un mouvement de mode en ce moment, de plus en plus d’entreprises veulent avoir leurs chercheurs en IA. Il y a par ailleurs toujours des recherches dans le milieu universitaire, mais il y a néanmoins un certain nombre de chercheurs universitaires qui partent dans des start-ups, en entreprises. Les géants du Web se positionnent, intéressés à faire beaucoup d’applications. Et puis les États tentent tant bien que mal de réguler. Une question un peu globale, un peu méta, pour rentrer direct dans le vif du sujet : est-ce que tu penses que la façon dont les États, l’Europe, mais aussi les sociétés savantes essaient de gérer cette poussée de l’IA, relève d’un processus d’intelligence collective ? Et si non, qu’est-ce qui selon toi devrait être amélioré ? Est-ce que le travail que font les comités d’éthique suffisent ? Est-ce qu’il manque quelque chose à tout ça ?
Les comités d’éthique suffisent-ils ?
[1.12] Raja Chatila : C’est une question difficile. Ça m’amène à soulever la question de l’expertise. Parce que les comités d’éthique sont en général composés par des experts. C’est-à-dire des gens qui ont une certaine connaissance d’un domaine, soit le domaine de l’intelligence artificielle en l’occurrence, pour ce qui nous concerne, soit par exemple ce sont des juristes, des sociologues, en tout cas plutôt des personnes qui sont des expertes dans un domaine donné. Donc il manque dans les comités d’éthique la perception de l’homme de la rue, le citoyen plus exactement. Et donc la question ici touche à comment impliquer les citoyens dans cette réflexion éthique ? Je n’ai pas de solution miracle. Mais je crois que c’est ce qui peut manquer aux comités d’éthique.
Les comités d’éthique parfois font des auditions, ils font des consultations, notamment avec des questionnaires, etc., pour essayer de sentir un peu comment l’ensemble des citoyens ressentent les choses. Mais ce n’est pas suffisant, car le citoyen ne participe pas ainsi à la réflexion elle-même. Je pense qu’on pourrait utilement améliorer l’appréhension de ces questions par la société si on avait un moyen d’avoir des comités d’éthiques, disons d’experts, qui travaillent et incluent des citoyens. Je ne sais pas comment choisir ces citoyens. Peut-être au hasard, après tout. En tout cas ces citoyens pourraient apporter un éclairage différent. Évidemment cela ne se passera pas de la même manière. On ne pourra pas utiliser toutes les mêmes démarches, mais l’expérience a montré que des groupes de citoyens sont tout à fait capables d’appréhender des sujets du moment qu’on leur donne les informations et connaissances nécessaires, et d’apporter un éclairage tout à fait neuf à ces questions-là. Voilà pour ma réponse à une partie de ta question sur les comités d’éthique.
En même temps, les comités d’éthique, qui vont avoir une démarche philosophique et un peu technique, ont autre chose qui leur manque. Ou plutôt qui ne leur manque pas mais qui est inhérente à leur définition : ce sont des experts normalement indépendants, ou en tout cas ils devraient l’être. Ils ont donc une posture d’indépendance pour aboutir à des avis, des opinions, des propositions, qu’ensuite les décideurs politiques vont éventuellement prendre en compte ou pas. Le problème là aussi, c’est qu’on a un hiatus entre les décideurs politiques et les experts. Parce que les décideurs politiques, comme on le sait, ne lisent souvent pas ce qu’on leur donne. Ils veulent quelque chose de résumé, d’actionnable comme on dit en anglais. Et ils n’ont pas non plus la connaissance ou la formation nécessaire pour comprendre les tenants et les aboutissants. Donc là il y a un autre côté de la question qui est : comment les comités d’éthique doivent-ils travailler avec le politique ? Est-ce que le format « Avis » et puis le politique en fait ce qu’il veut est le bon format ? Je pense que c’est quelque chose qui est limité aujourd’hui ; on en voit les limites. Et il faut trouver un mécanisme d’implication aussi parlementaire peut-être, ou des chargés de mission peut-être, en tout cas ça ne pourrait pas être des ministres. En tout cas, il y a un vide qui me semble important à combler.
Voilà donc les deux volets qui me semblent manquer aux comités d’éthique.
Régulations au niveau des États ou européen
[6.32] Mehdi Khamassi : Merci beaucoup, ça clarifie les choses qu’on pourrait améliorer de ce côté-là. Et je me demande du coup, à un niveau plus haut, au niveau des États ou au niveau européen, est-ce que les tentatives de régulation de cette poussée de l’IA te semblent aller dans la bonne direction ? Est-ce que pareil il y a des choses qui manqueraient à ton avis ?
[6.52] Raja Chatila : Alors il faut bien comprendre que ce n’est pas l’éthique qui motive les gouvernements. Ce qui les motive, c’est l’économie. Donc quand la commission européenne fait une position de réglementation, celle-ci est dans un cadre qui est celui de la politique économique de l’Europe. Cela s’applique pour tous les domaines évidemment. L’intelligence artificielle est ici considérée comme un domaine scientifique et aussi comme une technologie au service du développement économique. Or à partir du moment où on réfléchit sur le développement économique, il y a beaucoup de facteurs dont il faut tenir compte : d’une part, la liberté d’entreprendre des entreprises, donc les moyens pour que ces entreprises puissent être performantes, par la concurrence internationale. Une certaine forme de soutien et/ou de protection, bien que le mot « protection » ne soit pas à la mode actuellement dans notre économie. Et c’est ça qui vient finalement ensuite essayer de tenir compte de certains principes d’éthique et où la réglementation va s’exprimer. Il faut bien tenir compte de cela : la réglementation européenne n’est pas issue des travaux sur l’éthique du groupe d’expert ; elle n’est pas issue d’une volonté d’avoir des systèmes d’intelligence artificielle qui respectent les valeurs éthiques. Elle est issue d’une volonté d’avoir une économie européenne forte utilisant une technologie puissante.
Mais ce faisant, on va regarder le paysage international, la concurrence et en particulier les États-Unis et la Chine, car ce sont les deux grands acteurs dans ce domaine. Et on va voir quel est le positionnement européen là-dedans, compte-tenu des forces et des faiblesses des entreprises européennes. Donc pour moi les choix de la règlementation européenne s’appuient d’une part sur des cadres réglementaires précédents, préétablis, sur la protection des données personnelles, sur le respect de la charte européenne des droits humains, qui sont propres à l’Union Européenne mais qui sont aussi partagés par d’autres pays. Aux États-Unis, dans la constitution, normalement on respecte aussi les droits humains. Mais ils n’ont pas la même approche en termes de libéralisme économique. La protection du citoyen européen est plus importante en termes législatifs qu’aux États-Unis, et elle est tout à fait différente en Chine. Donc il y a des systèmes politiques qui sont tout à fait différents. C’est pour ça je crois qu’il faut lire la proposition de législation européenne, qui est une sorte de législation minimale, c’est-à-dire qu’on interdit les choses qui sont vraiment choquantes pour les droits humains en Europe. Par exemple, la surveillance de masse et la notation des citoyens. Ça on dit « non, ce n’est pas acceptable », et donc c’est interdit. La surveillance néanmoins reste permise dans certaines conditions. On ne veut pas la déployer en temps réel. La reconnaissance faciale en particulier n’entre pas dans le cadre législatif qui doit être bien défini. La tension sécurité/liberté est gérée de cette manière-là, par la règlementation.
Ensuite, on ne veut pas légiférer d’une manière qui mette trop de contraintes sur les entreprises. Pour tout ce qui concerne l’utilisation de l’intelligence artificielle dans des domaines dits « à haut risque », car ils concernent la vie humaine, comme dans le domaine de la santé, des transports, on va prendre la réglementation de ces domaines-là, qui est déjà très exigeante (comme par exemple la réglementation sur les dispositifs médicaux, ou sur les logiciels utilisés dans les transports, etc.), et on va dire : « si on met de l’intelligence artificielle là-dedans, celle-ci doit continuer à respecter les dispositions législatives qui sont celles de ces domaines-là. Donc c’est une orientation vers les applications. Ce n’est pas une législation qui concerne l’IA en général.
Et puis la législation dit que pour les domaines où les logiciels ne concernent pas les domaines sensibles, en termes d’intégrité, de santé humaine, etc., donc sont à part, on va faire une distinction en deux catégories : une catégorie qui ne nécessite aucune réglementation, aucune contrainte, parce que c’est dans des applications dans des secteurs qui ne prêtent pas à conséquence ; et pour l’autre catégorie, on va demander une certaine transparence et une certaine certification par des tiers, au sens de la marque CE. Par exemple si on utilise des logiciels pour faire du recrutement, analyse des CV, etc., l’entreprise qui va les développer et les utiliser va devoir les faire certifier par un tiers pour montrer leur conformité avec un certain nombre de critères, en particulier l’équité, la non-discrimination, etc.
Problème de l’auto-certification
[14.30] Raja Chatila : Je trouve que c’est relativement minimal, parce que l’auto-certification, et la certification par des tiers – qui va certifier les certifieurs ? –, tout ça n’est pas très défini. Les domaines vont être définis d’une manière agile. C’est une bonne chose car on ne peut pas savoir a priori quelles sont les applications qui vont poser problème. Mais on en a prédéfini quelques-unes. L’objectif est de respecter un certain nombre de valeurs qui sont dans la législation européenne, mais en embêtant le moins possible les entreprises. Voilà ma lecture très résumée de la législation européenne. Donc il ne faut pas non plus l’interpréter comme quelque chose qui soit très exigeant pour ces entreprises-là.
L’une des difficultés de cette approche qui est basée sur le risque, c’est de définir le risque véritablement, et non pas en disant « la santé est un domaine risqué » et voilà. Le risque est un concept qui est difficile à manier, avec des probabilités le cas échéant, des dangers possibles, qui peuvent se manifester ou pas. C’est quelque chose qui n’est pas bien défini et qui va sans doute faire couler beaucoup d’encre. Aussi, les mécanismes de vérification et de validation des logiciels en vue de leur certification sont quelque chose qui va sans doute être amené à être précisé. Et on va sans doute voir beaucoup de start-up qui vont commencer à travailler sur ce domaine-là, je pense. En même temps, globalement, je pense que c’est une bonne chose, quelque chose de positif par rapport au paysage international ; c’est-à-dire le laisser-faire total par exemple États-Unis. Ceci est à mettre en comparaison avec la règlementation sur les données personnelles, le RGPD, qui protège quand même le citoyen européen, et qui peut devenir un exemple pour d’autres pays, pour exiger que les systèmes d’IA qui sont déployés sur leur territoire respectent un certain nombre d’exigences de ce type-là.
Disparité des moyens publics/privés et guerre de l’IA
[17.01] Mehdi Khamassi : J’aurais une dernière question, un peu dans ces dimensions mais pas exactement les mêmes : finalement, est-ce que la disparité des moyens, des géants du web et des entreprises et programmes chinois d’un côté, et des laboratoires publics français et sans doute européens de l’autre, est-ce que c’est quelque chose d’inquiétant ? Y’a-t-il un espoir de rééquilibrage ? Et sinon, comment vivre la situation le moins mal possible ?
[17.25] Raja Chatila : Ceci est la question de la guerre de l’IA. Il s’agit d’une illusion, à mon avis, qu’il y a une course à l’IA, une course à l’armement. Cette vision qui consiste à dire qu’il y a une guerre de l’IA, et que la Chine et les États-Unis sont déjà bien installés, avec leurs grandes entreprises, les GAFA d’un côté, les Weibo et autres Tencent de l’autre, etc., est une vision qui n’est pas très bien fondée. Parce que d’abord, revenons à la réalité de l’informatique. Les grands systèmes d’exploitation sont américains. Qu’ils soient en logiciel libre, par exemple UNIX et ses descendants – LINUX est européen, mais c’est un descendant de UNIX ou s’y apparente –, ou qu’ils soient propriétaires, comme Mac OS, comme Windows, etc., ils sont américains. Il n’y a pas de système d’exploitation européen véritablement, à part des logiciels libres. Il n’y en a pas de chinois non plus. Quand on regarde les mobiles, les téléphones portables, c’est la même situation. Avec le partage de marché globalement entre IOS et ANDROID. A cause de la politique américaine, les Chinois ont été amenés à développer leur propre leur propre système d’exploitation pour les mobiles, parce que Huawei n’avait pas l’autorisation d’utiliser ANDROID. Je dirais que les dés sont pipés dès le départ, parce que les États-Unis maîtrisent les systèmes d’exploitation sur lesquels tournent tous les ordinateurs.
Maintenant oublions les systèmes d’exploitation et regardons les ordinateurs eux-mêmes. Sur quoi fonctionnent ces ordinateurs ? Les chips sont produits par qui ? Le géant, c’est Intel, même s’ils sont fabriqués ailleurs, y compris en Chine d’ailleurs. Je pense que la place des États-Unis, sans même parler d’IA, ne serait-ce qu’en parlant de moyens informatiques, est bien évidemment prépondérante. Il n’y a plus d’informatique véritablement européenne depuis longtemps. On a essayé. Et puis pour différentes raisons on a abandonné. Mais c’est comme ça.
Les entreprises américaines sont installées en Europe. Il y a IBM France. Il y a des centres de recherche, de Facebook, Google, etc. Donc il y a une très forte interaction entre l’économie américaine de l’intelligence artificielle et l’économie européenne de l’intelligence artificielle. Cette situation fait qu’il est très difficile de dire qu’on va prendre notre indépendance totale et faire notre Airbus de l’IA, comme on l’a fait face à Boeing. Beaucoup de gens disent que c’est plus vraiment possible. Ce n’est pas parce qu’ils ont tellement d’avance. C’est parce qu’on très imbriqués déjà. N’oublions pas par exemple que le Health Data Hub a confié à Microsoft ses données, qu’IBM est vendeur d’énormément de solutions en IA pour beaucoup d’entreprises françaises, etc.
Donc c’est une illusion de croire qu’il y a l’Europe, les États-Unis et les Chine, et que l’Europe doit trouver sa place entre les deux géants. On est déjà du côté américain, pour dire les choses. Et les américains ont tout fait pour empêcher les Chinois de pénétrer notre marché, avec la bataille contre Huawei en particulier, et ce n’était même pas dans le domaine de l’IA mais dans le domaine des Télécoms.
Dire qu’on doit choisir de s’allier aux États-Unis contre la Chine, ou quelque chose comme ça, c’est une fausse question. On est déjà dans le domaine. Et je pense que poser les choses en termes d’Occident contre l’Asie est forcément faux, parce que ce qui intéresse les Chinois, c’est de vendre au marché européen et au marché américain. Il ne s’agit pas de développer des têtes nucléaires qu’on va stocker pour les utiliser un jour. Donc cette image de la guerre et de la course aux armements est complètement fausse. Elle est là pour nous amener à forcer une alliance politique, et non pas dans le domaine de l’IA, dans la bataille commerciale des États-Unis même contre la Chine. Je pense que cette question de la concurrence entre les États-Unis et la Chine pour trouver la place de l’Europe est un peu faussée par tout ce contexte.
Problème de souveraineté numérique
[23.35] Raja Chatila : Maintenant, il y a quand même un problème de souveraineté numérique. Pourquoi ? A cause de tout ce que j’ai dit tout à l’heure. Par exemple, quand la France a voulu développer une application sur le traçage pour le Covid, la France a fait un certain choix sur la manière de gérer les données. Et ce choix n’était pas accepté par Apple. Donc ils ont dit « non, vous ne pouvez pas utiliser le système d’exploitation d’Apple pour que l’application soit tout le temps en train de traiter des données, que le Bluetooth soit ouvert tout le temps ». C’est-à-dire qu’un des géants du numérique, et je ne parle pas d’IA, impose à un pays souverain, et pas le moindre, des solutions techniques, et refuse tout simplement de faire autrement. D’ailleurs, vis-à-vis du gouvernement américain, Apple a une attitude similaire, pour ce qui concerne la protection des données de ses utilisateurs.
Ces entreprises ont une place qui met en cause la souveraineté des États, pas seulement dans ce type de choix que je viens de mentionner, mais aussi dans le domaine des réseaux sociaux, à Facebook, Twitter, etc., qui sont complètement supranationaux dans les moyens de communication entre les individus, et qui bien sûr sont le canal de propagation de toutes sortes de propos racistes, de problématiques liées au harcèlement, etc., pour laquelle les États ont beaucoup de mal à les réglementer, même si parfois il y a des tentatives.
Pour moi, le problème est là. L’IA n’est qu’un outil dans ce domaine-là. N’oubliez pas que l’idéal, ou plutôt le comble d’une start-up est de se faire racheter par une grosse boîte. Donc quand une start-up se développe dans le domaine de l’IA et se fait racheter par Apple, ils sont très contents. Cette idée de concurrence dans le marché dans lequel nous sommes n’est pas réelle. Le problème réside plutôt dans quelle règlementation il faut mettre en œuvre pour qu’il y ait une certaine souveraineté démocratique face à des entreprises géantes. Pour moi c’est ça la vraie question.
Développer par exemple une entreprise comme OVH, qui s’engage à garder les données personnelles en respectant la règlementation européenne, etc., ça fait partie du sujet, parce qu’on veut protéger les données. Et les outils d’intelligence artificielle qui sont derrière, ça fait partie du sujet. Mais il vaut mieux poser les choses de cette manière-là, je pense, plutôt que dans l’idée d’une course mondiale où l’acteur européen a une troisième place misérable et ne se préoccupe du coup que d’éthique et de philosophie. Ce n’est pas ça le sujet.
Comme je le dis sur la règlementation, c’est une règlementation minimale pour protéger d’une certaine façon le citoyen européen, conformément à des règlementations existantes, mais qui ne donne pas à l’entreprise européenne un avantage positif particulier.
Je pense qu’il n’y a pas d’approche spécifique à l’IA. C’est une question beaucoup plus globale sur l’économie du numérique d’une manière générale dans le monde, je crois.
Formation et éducation en IA
[28.09] Mehdi Khamassi : Eh bien merci, je comprends tout à fait. Est-ce que dans tout ce qu’on a discuté aujourd’hui sur les problématiques liées à l’IA, il y aurait des questions qui te sembleraient importantes à souligner et qu’on n’a pas abordées ?
[28.29] Raja Chatila : La formation et l’éducation sont des sujets qui sont importants. Quand je parle de formation, je parle de formation de ceux qui vont développer de l’IA : des chercheurs, des ingénieurs, etc., qui devraient avoir une formation qui inclut les questionnements éthiques qui sont aujourd’hui posés, et pas seulement être focalisés sur la course au traitement de la donnée et à la réalisation des systèmes, et éventuellement à la création de la start-up qui va commercialiser le système. Là il y a un problème de formation. Il y a aussi un problème de formation pour les entreprises qui développent. Je ne parle pas seulement de formation dans les écoles d’ingénieurs et les universités, mais aussi de formation des décideurs de l’entreprise, pour qu’ils soient formés à la nature de la technologie et de ses implications, de formation des politiques, c’est-à-dire dans les écoles – l’ENA n’existe plus, mais je ne me souviens plus comment elle s’appelle maintenant –, en tout cas la formation dans les écoles d’administration envers ceux qui vont gouverner, qui vont être les décideurs, et qui parlent de technologies qu’ils ne connaissent pas. Donc là aussi la formation doit être à la fois technique et sur les questions d’éthique qui se posent. Et puis l’éducation, l’information et la formation du public pour prévenir toutes les illusions que les gens ont sur les capacités de l’intelligence artificielle, les notions très approximatives, la peur de la prise de pouvoir de l’IA, tout ça. Il faut sortir de ces illusions et donc la médiation scientifique, l’explication au public, doivent être quelque chose qui mérite une réflexion. Comment faire ça ? Comment mettre ça en œuvre ? Comme on dit en anglais : AI literacy, par opposition au fait d’être illettré.
Ceci est un sujet qui n’est pas au centre des réflexions que vous menez, mais qui est quand même quelque chose qui du point de vue sociétal devrait être pris en compte : faire en sorte que globalement l’ensemble de la société comprenne les enjeux et les réalités de ce domaine technologique.
Réflexion philosophique sur l’être humain et la machine
[32.08] Raja Chatila : Ensuite, à l’opposé de l’éducation, il faut mener la réflexion philosophique, multidisciplinaire – celle que vous menez ici – sur l’Homme (l’être humain) et la machine. Parce que l’un des problèmes que je perçois avec le développement de l’IA, est la réduction de l’être humain à une fonction machiniste ; la perception de l’être humain comme étant une sorte de machine en partant justement de modèles mal compris, qui sont des modèles computationnels, des modèles de comment fonctionne l’IA, comment fonctionnent les systèmes, les ordinateurs. A partir de ces modèles, on projette d’une part des capacités humaines sur les machines, et on réduit les capacités humaines en même temps en automatisant le comportement humain. En fait, les machines fonctionneraient mieux si les êtres humains fonctionnaient comme des machines. Donc on essaie de les rendre le plus automatisés possibles. Et en même temps on projette des capacités humaines, émotions, conscience, etc., sur des machines, alors qu’elles ne possèdent évidemment pas ces capacités-là. C’est très facile de projeter, c’est inévitable. On anthropomorphise les choses. Mais dans le cas présent, quand les choses en question s’appellent « systèmes intelligents » ou « intelligence artificielle », ça prend une dimension différente. Donc cette réflexion sur la différence entre l’être humain et la machine doit être plus ciblée dans le débat.
[34.36] Mehdi Khamassi : Merci beaucoup, Raja, pour ton temps et pour ton éclairage. On va clôturer pour aujourd’hui. Et si on a d’autres questions, on échangera avec toi par la suite.
[32.08] Raja Chatila : Avec plaisir ! Merci en tout cas.