"Une IA générative privée, sécurisée et éthique."

Bonjour, je suis Caroline Gouard, j’ai créé deux entreprises dans le domaine de la visualisation de données. Je travaille depuis plus de 10 ans à créer des ponts entre les humains et les données. 

 

Aujourd’hui on est ensemble pour un nouvel épisode de The Bridge, le média d’Artefact qui démocratise la culture des datas et de l’intelligence artificielle. Nous recevons Laurent Daudet. Laurent bonjour. Bonjour Caroline. 

 

Laurent est-ce que tu peux te présenter ?

 

Alors je m’appelle Laurent Daudet, effectivement je suis directeur général

et cofondateur de lighton, une startup dans l’ia générative. 

 

Qu’est-ce que ça fait Lighton ? 

 

Ah Lighton qu’est-ce que ça fait, alors on a on a deux activités vraiment à lighton. On a une activité de créateur de modèles, on crée des grands modèles de langage ce qu’on appelle les LLM, on arrive à les recréer vraiment de de A à Z, donc on est totalement indépendants de la technologie d’Open AI, et finalement on est un peu concurrent sur cette partie là on a créé 12 LLM entre 1 et 180 milliards de

paramètres donc vraiment des choses absolument colossales. 

Donc ça c’est notre premier type d’activité, on en fait pour nous, on en fait pour nos clients et on les met en open source après ce qu’on crée pour nous. 

 

Deuxième activité : on les déploie sur les environnements de nos clients. Alors ça peut être des souvent des grands comptes ou des administrations des services publics et on a toute la panoplie d’outils qui permet de les déployer sur l’infrastructure quelle qu’elle soit, ça peut être sur du clot privé, sur du on premis etc.

 

Toute l’utilisation pour apprendre à Prompter c’est-à-dire apprendre à utiliser ces LLM, c’est pas forcément facile de savoir les utiliser, et il y a pas forcément les compétences, donc on a une sorte de copilot pour apprendre à faire des prompts, qui eux-mêmes vont être injectés dans l’ia. C’est un truc un peu méta.

 

Et puis la troisième partie c’est toute la partie monitoring des usages, où on va loguer toutes les interactions que les employés de l’entreprise ont avec le modèle, et avec ça le 4è étage de la fusée c’est prendre toutes ces données d’usage d’accumulation et faire du fine tuning basé sur l’usage basé sur les données, mais tout en restant totalement propriétaire, toujours dans le monde fermé de l’entreprise pour éviter cette question qui a été beaucoup reprochée au modèle open AI, quand tu te connectes via l’api en direct mais en fait c’est une fuite d’information, tu donnes ton information, tu fais cadeau de ton information à open ai. 

Donc là au contraire on est dans un mode totalement fermé “souverain” même si j’adore pas forcément ce mot, mais disons que c’est en tout cas l’idée qui est derrière. 

 

Effectivement différent de chat GPT dans le sens où c’est dans un environnement fermé, mais vos modèles de langage dans la face façon dont vous les avez créé, est-ce qu’il y a des différences avec la façon dont ont travaillé Open AI ? 

 

Alors c’est une architecture qui est très similaire c’est quand même au niveau architecture du modèle. Par contre on a beaucoup travaillé sur la donnée au départ, et c’est ça qui fait aussi une différence entre deux types de modèles. C’est quelle a été la donnée qui a été créée. 

Et typiquement on met plus de Français qu’il y a dans Open AI parce que bah voilà on a envie que ça reflète la nos clients et que quand il nous parle de consommation voiture ce soit pas en en mile per gallon et et que ce soit plutôt en en combien de litres pour 100 km. Il y a vraiment un côté culturel assez fort et on a envie que les modèles reflètent ça. Donc les données on en a beaucoup et on arrive à avoir ce compromis entre quantité de données, parce qu’il faut des quantité données absolument colossales.

Pour te donner un ordre de grandeur, le plus gros modèle qu’on a entraîné, on a utilisé à peu près 2000 milliards de mots. Ca dit rien à personne mais 2000 milliards de mots c’est à peu près le même nombre de mots que tu aurais à la BNF par exemple. 

 

Donc c’est c’est absolument colossal la quantité de données sur laquelle on entraîne et on a fait beaucoup d’efforts sur le filtrage de ces données. Que ce soient des données aussi de bonne qualité, qu’elles ne soient pas redondantes. On évite que ce soit des données qui soient dupliquées et voilà donc je pense que ça c’est peut-être le plus gros différenciateur quelque part sur le modèle lui-même, sur la qualité des données d’apprentissage. 

 

Et après il y a aussi une différence par rapport au modèle Open AI, c’est la façon dont on fait le fine tuning des modèles le post processing. Une fois qu’on a entraîné un modèle d’une façon générique, et bien on lui on fait ce qu’on appelle de l’alignement par rapport aux tâches qu’on veut lui faire faire. Et ça on aligne nos modèles plutôt en ce moment, on a notre notre petit dernier né là il s’appelle Alfred, et Alfred il a été aligné spécifiquement pour ce qu’on appelle les modèles rag, les modèle rag c’est le dernier truc à la mode là. C’est reteval augmented generation, c’est hybrider l’ià générative avec les moteur de recherche interne. 

 

Ca veut dire, tu poses une question par rapport à une base documentaire, le LLM il sert de un peu de front hein et il va retranscrire ta question d’une façon numérique. Le moteur de recherche va extraire les documents pertinent par rapport à ta question, va extraire les paragraphes dans ces documents et à partir de ces paragraphes, le LLM va recombiner tous ces éléments là pour en faire la réponse que tu veux avoir. Donc c’est vraiment cette hybridation, et on a optimisé nous notre Alfred pour qu’il soit bon dans ces systèmes rag. Et en particulier une des choses qu’on reproche beaucoup au LLM c’est cette notion d’hallucination, tu sais les hallucinations c’est quand le modèles bah quand il sait pas il invente une réponse parce que c’est comme ça parce statistiquement c’est comme ça que c’est créé et là Alfred dans le contexte du rag il sait dire “je ne sais pas”. Il dit ben voilà “j’ai pas trouvé de document qui correspondait à ta question dans la base documentaire” donc voilà c’est aussi pour ça qu’il a été optimisé. Et il sait citer ses sources voilà il dit “je te fais cette réponse là” et “j’ai pris dans tel document paragraphe 17 dans tel document page 3 et dans tel document page 52”. 

 

Pour revenir sur les l’entraînement donc tu disais “plus de français dans le corpus d’entraînement, l’équivalent un corpus équivalent à la BNF”, et du coup d’où vient ce corpus ? 

 

Le corpus il vient un peu comme tout le monde, c’est ce qu’on appelle du command Core, c’est-à-dire c’est une sorte de photo d’Internet. Il y a un site qui s’appelle command core qui, tous les 3 mois je crois, met à disposition tout le contenu textuel d’Internet. Ces énormes dum qui sont là quelque part. Et dans ce cas-là après il faut trier, donc il y a tout un travail. Nous notre tout notre savoir-faire, notre mise en œuvre et notre stack logiciel pour extraire les langues qui nous intéressent pour enlever tout ce qui n’est pas texte finalement parce qu’il y a plein de trucs qui traînent du code enfin plein plein de choses etc. pour enlever tout le contenu qui est offensif, pornographique, publicitaire etc. Et dieu sais qu’il y en a sur Internet. 

 

Et puis finalement, pour faire ce qu’on appelle la “déduplication de données” au sens où il y a plein de contenu, si tu fais pas attention il y a plein de contenu qui est dupliqué et ça c’est pas bon en fait par opposition à ce qu’on faisait dans le Deep learning, il y a une dizaine d’années. Dans cette génération d’IA, c’est bien mieux si l’entraînement ne voit qu’une fois chacun des texte pour ne pas lui donner un poids outre mesure. 

 

Donc voilà tout un gros travail de préparation de ce corpus, ça c’est à peu près 80 % de notre corpus d’entraînement c’est du command core, donc filtré dédupliqués. 

Les 20 % restants c’est du contenu qu’on appelle du “contenu haute qualité” qu’on est allés chercher spécifiquement. Par exemple, tous les livres qui sont en accès libre, donc libre de droit, des forums de discussion, des cours en ligne qui sont libres de droit enfin etc. 

 

Donc on est allés chercher plein de sites parce que c’est du contenu particulier de haute valeur. Tout Wikipédia, par exemple c’est je sais plus combien c’est mais c’est genre

0.1 % de notre corpus d’apprentissage pour encore te donner une idée du volume. 

 

Et alors du coup chez LightOn, vous êtes des consultants, vous êtes des développeurs, vous êtes des chercheurs, comment tu définirais ? 

 

On est une boîte de soft. On est vraiment une boîte de software, mais comme on est sur des techno vraiment très nouvelles, ça nous oblige à effectivement avoir de la R&D assez à la pointe de la R&D. Donc ça c’est notre notre ADN de chercheur on est quand même une start-up issu de la recherche universitaire, moi-même j’étais prof de fac avant de créer LightOn. On vient de la recherche et on est vraiment à la pointe, on prend des solutions à la pointe mais on crée du software. Et après de fait aussi comme nos clients sont des grands comptes ou sont des administrations etc., il y a toujours une part de service pour déjà pour faire de la formation, il faut expliquer aux gens comment utiliser ça, il faut expliquer aux gens 

qu’est-ce que ça veut dire de ”faire du tuning”. Qu’est-ce que ça veut dire et après comment déployer ça dans l’infrastructure. Donc c’est en gros je dirais c’est 80 % de Software et 20 % de services. 

 

Super intéressant, tu disais que tu viens du monde de la recherche que tu as été professeur, mais alors à quel moment tu t’es dit “il faut que je monte une entreprise” et qu’est-ce que ça a changé pour toi de changer ce modèle là ?

 

Ah ouais alors là c’était c’était une histoire de fou en fait ce truc. C’est c’est parti d’un projet de recherche qui était fait en collaboration avec des copains chercheurs, Florent et

Sylvain. Et puis avec ce type qui s’appelle Igor Caron, moi je le connaissais à travers son blog, il avait un blog très très très technique et moi je m’en servais pour ma recherche. 

Et puis tous les quatre on travaillait sur un système de photonique, en fait. Au départ, on a lancé LightOn comme étant des des accélérateurs photoniques, utiliser la photonique pour accélérer certains calculs de l’IA. c’était un truc assez génial en fait moi je suis super fier de ce qu’on a fait. On a pris un truc qui était une manip dans un sous-sol à Normal Sup, vraiment la table optique quoi, vraiment le truc avec des lasers,  des miroirs des trucs comme ça, et on en a fait des boîtes.

La première idée, c’est Igor qui a eu cette idée là, idée géniale, c’est dire il faut absolument que on le mette tout de suite sur internet et on a eu des chercheurs du monde entier qui se sont amusés à faire des calculs sur notre processeur photonique, c’est génial. Après voilà ça reste du hardware et la difficulté qu’on a eu c’était qu’il fallait changer totalement la façon de programmer, la façon de repenser la programmation, tu vois un peu comme le quantique, tu vois c’est un truc qui était tellement radical que la barrière d’entrée dans ces technologies, les chercheurs adoraient mais après avant de passer en production dans les entreprises c’était un horizon super lointain. 

 

Et à ce moment-là GPT 3 et arrivé en mai 2020, GPT 3 et arrivé et on s’est dit entre une techno qui est super long-terme, super prometteuse, mais dont on verra les résultats à 10 ans et là il y a un truc qui est en train d’exploser sous nos yeux et on a toutes les compétences en interne pour faire ça, parce qu’on était bon sur l’IA de très grande taille etc. on va aller là où est le marché tout de suite, pas là où le marché dans 5 ou 10 ans. 

Et du coup, on a fait totalement pivoter LightOn sur cette techno, à partir de l’automne 2020, et on s’est mis à ça. On a eu accès au supercalculateur Jean Zay. 

 

Après on a été dans le projet Bloom je sais pas si tu as entendu parler, c’est un projet collaboratif avec coordonné par hugging face mais avec des centaines de chercheurs. Nous on a été une des équipes cœur sur la modélisation. Et après on a fait d’autres projets en collaboration avec un centre de recherche à Abu Dhabi…Voilà après c’était les LLM et on a fait plus des LLM et on voyait que le marché a répondu tout de suite c’est à dire par opposition à quand on faisait du hardware photonique, là il y avait les copains qui nous appelaient qui disaient “mais ton truc là c’est génial, je veux le passer en production la semaine prochaine, combien ça coûte?” Où est-ce que je mets mon numéro de carte bleue ?” 

 

Et alors depuis ChatGPT maintenant c’est la folie quoi. Depuis 1 an (j’ai vérifié la date c’était le 30 novembre 2022 qui a été annoncé chat GPT), donc en 1 an et et 5 jours là c’est devenu en fait. 

 

Là et du coup là j’ai un bon problème d’entrepreneur, au sens où j’ai plus de clients qui m’appellent que pour l’instant de capacité à faire croître mon équipe pour traiter toute la demande. Donc voilà je suis content d’avoir ce problème d’entrepreneur.

 

Effectivement et du coup tu as créé cette entreprise pour pouvoir adresser cette demande, en fait pour pouvoir aller sur le marché. Au final, pourquoi ne pas se contenter de continuer à faire des super projets de recherche ? 

 

Ben on on avait cette techno d’accélérateur photonique et on s’est dit ce truc là ouais on

pourrait continuer à la développer en tant que chercheur, mais l’impact on s’est dit ce truc ça peut avoir vraiment de l’impact, ça peut changer le monde entre guillemets, enfin tu vois, toujours à sa mesure, hein. Et ça aura pas le même impact et si on fait des papiers de recherche finalement, ou si ben ça y est on l’a construit, on passe d’une table optique à des des prototypes, des prototypes à des préséries, des préséries etc. Et du coup c’était ça notre idée, de passer du côté obscur, c’était vraiment le côté voilà si je veux avoir de l’impact je le ferai pas en étant universitaire. Et on pensait vraiment que ça avait un potentiel, on continue à penser que ça avait un potentiel c’était ça un peu mais c’est vrai que c’est un monde différent.

 

Qu’est-ce que tu as, en particulier, qu’est-ce que tu as appris ? Qu’est-ce qui t’a demandé le plus d’adaptation ? 

 

Alors moi le truc qui me surprend le plus c’est que tu es pas sur la même temporalité. Moi je regarde en tant que chercheur, en tant qu’enseignant, tu as ton planning d’enseignement pour tout le semestre tu sais exactement ce que tu vas faire 4 mois à l’avance, salle 17, tout les trucs, planning d’examens… Tu fais des demandes de financement à l’ANR (l’Agence nationale de la recherche), tu travailles 3 mois sur ton projet, ils te répondent 4 mois plus tard, et puis après tu as ton financement qui tombe 4 mois après, et puis c’est un financement sur 4 ans et puis tu as 4 ans… des trucs comme ça. Mon emploi du temps il était assez avancé, tu prévois d’aller une conférence à l’autre bout du monde 6 mois plus tard, tu vois c’est comme ça.

Là je regarde mon planning d’entrepreneur, tu regardes à 3 semaines il y a quasiment rien en fait, tu vois c’est tout vide, et après tout se remplit. Mais après j’ai quand même des semaines de 70 h, mais tout est rempli à la dernière minute. Et un moment je m’étais dit que j’allais gérer les deux en parallèle, tu vois, que j’allais garder une activité d’enseignement etc. mais après je me suis dit mais je vais devenir totalement schizophrène, tu vois, c’était pas possible. 

 

Mais justement pour cette question de temporalité en tant que startupper, tu fais tout dans l’urgence, ça fait partie du truc quoi. Il faut accepter que c’est tout dans l’urgence, tu passes ton temps à éteindre des incendies quoi. 

Voilà alors après au fur à mesure quand même que la boîte grandit il y a quand même un peu les trucs qui se structurent. Il y a les process qui se mettent en place. Mais après c’est vrai que c’est un peu ça quand tu es startuper, tu as connu ça, tu mets pas en place les process tant que tu en as pas strictement besoin. Je veux dire, il faut faire le truc minimum, oui tu passes ton temps à éteindre des incendies, au bout d’un moment quand tu as éteint 4 fois le même incendie, tu dis “ah ouais ok, là c’est peut-être temps de mettre en place le bon process” et puis voilà. C’est ce qu’on apprend. Et puis on fait des erreurs, on fait des conneries et ça fait partie du truc et puis on apprend quoi. 

 

Tu disais aujourd’hui tu as tu as plus de demande que tu as de ressources pour les adresser. Mais du coup, qu’est-ce qu’il te manque pour grossir plus vite ? 

 

En fait et ben en ce moment c’est effectivement c’est recruter, former les gens qu’on va recruter, parce qu’on est sur des technos très nouvelles, tu peux pas recruter des gens qui ont 10 ans d’expérience en génératif, ça existe pas. Donc voilà c’est un peu ça

 

C’est intéressant parce que vous venez d’un aspect plutôt hardware et c’est hyper clé aujourd’hui l’accès aux ressources traitement GPU. Et du coup, tu dirais que ça vous donne un avantage sur la compréhension de comment ça marche ? 

 

Sur l’accès à ces ressources là, oui peut-être, mais surtout ça nous donne une, tu as raison de dire que c’est la clé, ça nous donne peut-être une sensibilité particulière sur le fait que oui, tu dois optimiser ton code tu dois vraiment faire un gain de 5 % sur un calcul qui te prend plusieurs semaines à 3000 GPU. Ouais c’est à la fin, c’est beaucoup de fric de différence quoi. C’est donc, oui je pense que venir du hardware ça nous donne une sensibilité particulière par rapport à ça, que le calcul c’est pas quelque chose qui est gratuit et c’est une ressource qui devient rare aussi, en ce moment.

 

Comment tu sécurises tes capacités de calcul ? Puisque aujourd’hui ça devient même un frein au développement de certaines entreprises de pouvoir accéder à ces ressources GPU.

 

Alors nous on a fait un choix qui est celui de pas se marier avec un seul provider de calcul. On a des très bonnes relations avec pas mal de gens, d’ailleurs avec tout le monde sur le marché, parce que en fait aussi ça vient de notre business model. Notre business model c’est de se dire “on va aller installer notre infra toute le LLM et tous le soft qui va avec l’environnement qu’on appelle paradigme”. Donc le LLM et paradigme on va l’installer sur l’infra de l’entreprise, ce qui fait que si l’entreprise elle est chez OVH bah OVH est super content parce que ça fait cramer plein de GPU. Pour ça si l’entreprise est chez AWS… Donc du coup on est copain avec tout le monde parce qu’on leur fait pleuvoir de l’argent chez eux en fait, et c’est pas comme une boîte de, tu vois, une boîte de SAS ou quelque part c’est sa propre infra. Là une boîte de SAS elle a son infra, il faut qu’elle scelle mais forcément il faut qu’elle fasse un choix, et nous au contraire on a fait le choix d’être totalement agnostique au provider de compute, mais du coup on on est copain avec tout le monde. Et du coup pour nos propres besoins de calcul, bah on sait qui appeler et puis on dit “voilà tu as pas 500 GPU pendant 3 semaines”, et on arrive à les trouver après parfois cher hein c’est après à la fin c’est une question d’argent aussi.

 

Et justement pour vos clients, finalement il y a toute une gamme de modèles entre le tout propriétaire, tout clé en main chat GPT et le tout Open Source, tout à faire soi-même Falcon Lama. Comment toi, qu’est-ce que tu recommandes à tes clients selon quel cas d’usage et et comment tu vois ces deux modèles ? 

 

Là ouais tu as parfaitement raison. Tous les choix sont légitimes, mais il faut qu’ils soient assumés. C’est soit effectivement, comme tu dis, tu vas chez le truc propriétaire, tu fais du Open AI, tu déploies sur un tenant de Microsoft Azure. Ok super ça marche vachement bien, c’est les leaders du marché incontestablement, mais c’est un système qui est fermé, donc tu es en dépendance techno, tu es en dépendance économique, donc tu dépends d’eux. Ok parfait si ça te va c’est très bien. Tu as raison, il y a l’extrême inverse, en disant je vais

tout internaliser, tu vas sur Hugging Face, il y a 250 000 modèle hugging face, et ça ça te demande des capacités, un vrai savoir-faire. Parce que déjà, comme tu dis, choisir le modèle c’est pas évident, savoir le déployer de façon à ce que tu puisses, au-delà de jouer avec oui c’est facile de jouer avec, mais savoir le déployer pour que tu puisses faire des centaines de requêtes en production par derrière de façon robust, c’est pas facile. C’est vraiment du DevOps pas évident de savoir faire le bon fine tuning, avec tout ce que ça peut vouloir dire fine tuning etc. 

 

Donc nous si tu veux on se situe un peu à l’intermédiaire entre ces deux-là. On dit “ouais nous on a des modèles qu’on pousse, le modèle Alfred c’est une version de Falcon fine tuné pour les système rag, donc on a nos modèles qu’on pousse c’est les modèles qui sont Open Source. Tu peux récupérer Alfred, mais on offre tout la suite logicielle qui permet de déployer, qui permet de fine tuner, qui permet d’utiliser, qui permet de prompter etc. 

Donc voilà nous on est un peu intermédiaire entre ces deux extrêmes, mais encore je répète il y a pas de bon modèle, il y a pas de bon choix. Tu peux vouloir tout internaliser, ou tout faire open source, ou juste dire bah tu vas avec LightOn, bah ça te fait gagner du temps en fait tout de suite, moi je te déploie un système rag sur ta propre infra en 15 jours. 

 

Et du coup l’idée c’est pour une entreprise, à un moment il faut faire un choix. C’est soit je me mets côté propriétaire, soit je me mets Open Source, j’investis dans les ressources, ou ça peut être beaucoup plus ponctuel “pour ce cas d’usage je vais plutôt passer par là, pour ce cas d’usage par là”.

Oui oui nous on est absolument persuadés, nous nos cibles c’est vraiment les grands comptes et de la même manière que les grands comptes, bah très souvent ils sont multicloud, par exemple nous on pense que dans le futur les ils seront aussi mult-LLM pour certains cas d’usage. Ils iront sur OpenAI parce qu’il y a aucun problème de confidentialité des données, ça marche super bien et tout c’est totalement intégré avec leur Word, super. Et sur d’autres cas d’usage “ouais mes rapports stratégiques confidentiels etc., moi je veux le faire en interne en propriétaire etc. et il y aura que des ingés de chez moi qui s’occuperont de ça”. C’est hyper stratégique, c’est clé, je veux maîtriser la techno de A à Z et puis il y aura tous les intermédiaires donc moi je pense effectivement qu’il y aura multiplicité de modèles, il y aura pas un winner takes all, il y aura de la place pour beaucoup d’acteurs et même à l’intérieur d’une même entreprise. 

 

Et en dehors des grandes entreprises, dont on parle beaucoup sur les cas d’usage, mais est-ce que toi tu vois des cas d’usage plus sociétaux dans le domaine ? Je sais pas de la santé, de la justice, sur lequel tu as travaillé ? 

 

Alors sur la santé oui, on a lancé avec Docaposte en particulier et Aléa, on est en train de lancer un produit de LLM pour les professionnels de santé pour le dossier médical personnalisé. Donc là dans des environnements qui respectent toutes les contraintes de sécurité bien sûr pour les données de santé, à destination des professionnels de santé, des hôpitaux etc. Donc pour nous c’est bien de passer par quelqu’un comme Docaposte, qui a la possibilité de distribuer et de parler à ces professionnels de santé, un langage que moi je connais pas particulièrement. 

 

Mais c’est évident que ces LLM ont un gros potentiel pour tout ce qui est la paperasse des hôpitaux, pour que finalement un peu, la promesse c’est que les médecins passent plus de temps à te parler à t’ausculter etc. qu’à remplir leur ordinateur, ce qu’ils ne font pas très bien d’ailleurs, ils n’aiment pas passer du temps sur leur ordinateur. L’IA est parfaite pour ça; Donc c’est un peu la promesse, après est-ce que ça va être vrai ça sera la grande question, mais donc ça je pense que la santé c’est quelque chose qui est extrêmement important. 

 

On parle aussi, alors pour l’instant on a pas de projet, mais moi je suis persuadé que l’éducation c’est vraiment un enjeu crucial. Education à l’IA, éducation par l’IA, voilà je pense qu’il y a beaucoup beaucoup de choses à faire. Et un des enjeux, à mon avis, c’est que quelque part il y a cette notion de, tu sais, il y a 15 % des Français qui ne savent pas se servir d’un ordinateur. C’est vraiment ça le le fossé numérique, c’est quand même pour des choses très simples, est-ce que cette IA va accroître, ou au contraire, peut servir à combler le fossé numérique ? Grande question. 

Moi j’ai l’intuition, parce qu’il y a cette notion de langage naturel, il y a pas besoin d’être spécialiste de python pour savoir se servir de chat GPT. Tout le monde peut se servir de chat GPT, et même tu peux imaginer les interfaces vocales. Donc j’ai cette intuition, après savoir comment ça se met en concrètement, mais j’ai cette intuition que ça peut contribuer à combler une partie du fossé numérique.

 

Et du coup on voit bien l’importance, là que ce soit en langue française, qu’il y ait cette imprégnation culturelle pour pouvoir justement travailler sur des use cases plus centrés éducation. On voit bien l’importance du sujet souveraineté sur des sujets comme la santé. Mais alors, il y a pas toujours cette vision très positive de l’intelligence artificielle générative, il y a même une certaine ambiance à la défiance avec des gens comme Elon Musk, qui vont appeler à faire un moratoire, une pause face à la dangerosité potentielle de l’intelligence artificielle. Qu’est-ce que tu en penses toi ?

 

Ouais alors moi tous ces discours comme quoi ces trucs ça va détruire l’humanité, il y a un risque existentiel etc. pour moi c’est un peu des rideaux de fumée par rapport à tous les enjeux très concrets sociétaux dont tu parles. Je veux dire, il a les enjeux oui il y a les emplois qui sont en train d’être détruits aujourd’hui par l’IA. Les Call Center sont en ce moment très différents de ce qu’ils étaient il y a ne serait-ce que 2 ans. Ou tu es graphiste… Enfin on peut imaginer plein de métiers dans lequel, concrètement, les métiers soit sont en train de carrément disparaître, soit au moins de totalement changer à cause de l’IA. 

Donc il y a des vrais enjeux sociétaux maintenant, il y a les enjeux monopolistiques, il y a des enjeux de, oui aussi d’utilisation, de cette IA pour la désinformation, l’utilisation de cette IA pour… Enfin il y a plein de risques, mais très très concrets qui sont pas du tout des risques terminators, des risques de GI, et qui va prendre le contrôle, enfin comme on voit dans je sais pas le dernier Mission Impossible là c’était une IA qui devenait ROG, qui allait se cacher quelque part. 

 

Enfin tout ça c’est pour moi c’est de la science-fiction. J’adore la science-fiction, mais actuellement aujourd’hui on a des enjeux sociétaux qui sont réels et on peut comprendre qu’ il y ait une partie de la société qui s’inquiète, et surtout qui s’inquiète de la vitesse. Enfin même moi, qui, enfin ou LightOn, on est au cœur de ce truc là, on n’arrive pas à suivre tout ce qui se passe, alors imagine quelqu’un, le citoyen lambda qui est pas spécialement dans le monde numérique, oui c’est vertigineux en fait la vitesse de déploiement. Donc un truc qu’on ne comprend pas, qu’on ne maîtrise pas, ça fait peur forcément. 

 

Et c’est pour ça que tu as choisi de faire un peu de pédagogie, et je crois que tu as écrit une BD sur ce sujet. 

 

Oui oui alors j’ai écrit cette BD qui s’appelle “Dream Machine”. C’est la rencontre avec un type totalement génial qui s’appelle Apoupene : c’est un dessinateur de BD indien que j’ai croisé, alors qu’il venait faire une résidence en France à Angoulême (Angoulême fait des résidences d’artistes) et lui alors justement il avait des réactions super négatives quand quand je lui ai dit que je travaillais dans une boîte d’IA, mais lui l’IA “non mais c’est pour que les grands groupes te piquent ton fric, c’est pour faire de la désinformation…” Puis je lui dit “ah ouais puis aussi tu sais pas, mais écologiquement en plus c’est une catastrophe parce qu’il faut des énormes serveurs”, “ah ouais ouais c’est écologiquement…”. 

Donc on a listé tous les trucs super négatifs et puis j’ai dit “non mais après bon ça oui c’est vrai tu as raison, tout ça c’est vrai, mais il y a aussi, mais oui ça va changer l’éducation, ça change déjà la santé, ça change déjà la façon dont on va interagir avec les machines, ça change la science, la science fondamentale est en train d’être totalement bouleversée par par l’IA… Donc il y a aussi plein d’aspects super positifs. 

 

Et ben on a créé une BD ensemble là-dessus. Et on voit avec la BD de Jancovici, la BD c’est un super moyen de faire passer des concepts qui sont pas simples, hein c’est vrai que c’est des trucs un peu complexes, et je trouve qu’Apoupène a fait un boulot absolument génial de retranscrire dans ses dessins un peu cette ambiguïté, qu’on retrouve dans le personnage principal. 

 

Le personnage principal, alors c’est un entrepreneur, il fait la recherche de qui a monté une une boîte d’IA à Paris. Toute ressemblance avec des personnage existants ne serait que pure coïncidence, comme on dit. 

 

Mine de rien, il y a quand même des sujets, on en a parlé, sur les emplois, sur la propriété intellectuelle, sur les positions dominantes… Est-ce que ces sujets ils méritent, même s’ils ne sont pas un énorme danger y’a pas forcément de raison d’avoir peur, mais est-ce qu’ils ne méritent pas quand même une certaine régulation ? Qu’est-ce que tu penses des débats qui sont en cours en ce moment au niveau européen ? 

 

Oui oui, régulation absolument. Je pense que là on est dans une zone grise sur pleins de niveaux, et la zone grise c’est bon pour personne. Donc on est absolument pour la régulation, mais on est pour la régulation principalement sur les usages. Moi je prends toujours l’analogie de l’automobile : c’est super qu’il y ait des régulations sur la qualité des freins, la qualité des ceintures de sécurité, mais en fin de compte ce qui est plus important, c’est qu’il y a un code de la route pour apprendre aux gens à conduire. La plupart des morts, ce ne sont pas les freins qui ont lâché, ce sont des gens qui ont fait des conneries en conduisant. Donc nous on pense que notamment sur ce type d’IA, oui il y a des principes de base à garantir sur les modèles eux-mêmes. C’est vrai que nous notre le premier modèle qu’on a fait à LightOn, on avait pas trop fait ce filtrage de données, et il était carrément porno en fait pour tout te dire. C’est parce qu’on avait pris les données sur Internet et ben voilà, sur internet il y a du porno et donc le modèle il partait très vite, et on a été raisonnables, on ne l’a pas sorti dans le public. 

 

Je veux dire c’est un truc, c’est normal d’avoir des principes de base sur les modèles, mais on doit rester au niveau des grands principes et à mon avis là où il faut faire super attention c’est sur le déploiement le déploiement de ces modèles là tu peux définir dans le déploiement des modèles tu peux définir ce que ça veut dire qu’un modèle non biaisé par exemple imagine que tu veux utiliser un LLM et un grand une générative pour faire du du tri de CV dans une entreprise qui reçoit le CV et se dit ahis je vais prendre une IA pour refire mon tri CV évidemment là tu as c’est un devoir de faire attention à ce qu’il a pas de discrimination de enfin tout toutes les discriminations qu’on qu’on peut imaginer là c’est bien défini imaginez queon puisse dire qu’un modèle lui-même est non biaisé c’est une question mal posée le modèle lui-même il est biaisé il a tous les biais de tout entraînement mais c’est pas grave il enfin il suffit de il suffit de comprendre ce que ce que ça implique euh c’est vraiment à mon avis dans les dans le déploiement un partage de risque si tu veux entre ceux qui créent les modèles et le déploiement dans des cas d’usage réel et moi je suis assez inquiet de certaines versions du texte du eu Act que j’ai vu passer où en en toute bonne en toute bonne foi hein les gens qui poussent une régulation forte il risqueent de tuer les modèles ouverts il risque de tuer les modèles ouverts parce que si moi en tant que producteur de modèle je mets disposition du public un modèle et que quelqu’un l’utilise pour faire une campagne massive de désinformation à la prochaine élection présidentielle par exemple est-ce que je suis tenu responsable moi de de ça si je suis tenu responsable c’est clair que je mettrai plus modè ouvert enfin je peux pas prendre cette responsabilité là dans le monde du logiciel il y a plein de Logiciel Libre personne va attaquer un quelqu’un qui a fait un os et l’os a craché bah ben l’os l’os a craché oui ben tu avais qu’à le tester dans ton cas d’usage et cetera enfin je veux dire c’est il y a plein de logiciel libre et c’est la responsabilité de celui qui l’utilise de s’assurer que dans son cas d’usage il répondra bien donc voilà c’est nous on plaide vraiment pour ce partage de responsabilités donc euh pour pour résumer hyper important qu’ est la régulation oui mais attention euh à pas tuer à pas tuer les les modèles ouverts parce que nous on pense que les modèles ouverts c’est hyper important justement aussi pour la confiance des pour la confiance des gens il faut que les gens voilà bah tu tu veux t c’est le modèle, prends-le, tu peux le télécharger gratuitement tu peux l’utiliser tu peux voir si ça c’est c’est bien pour ton cas d’usage c’est pas bien et ceter donc hyper important par opposition modèle fermé qu qui qui va certifier que le modèle d’OP que chat GPT il est il est compliant par rapport à certaines certaines normes oui bah alors open il va sûrement sortir je sais pas tel ou tel un auditeur tiers qui va dire mettre un tampon et tu auras le tampon de l’auditeur tiers il faudra lui faire confiance oui bon ça c’est un modèle ok ça va marcher nous on pense que le le l’Internet ouvert les modèles ouverts c’est aussi un autre modèle qui et et ces deux doivent rester c’est sain pour pour tout l’écosystème que il y a cohabitation entre les modèles fermés et les modèles ouverts reprenons un exemple hyper concret celui des CV histoire qu’on comprenne bien comment ça marche comment on fait pour éviter de d’avoir un algorithme biaisé à ce stade de du tri des CV est-ce que c’est l’entraînement c’est vraiment contrôler sur quoi on l’entraîne est-ce que c’est au contraire contrôler les résultats de sorti et F tuner le modèle pour comment comment on fait ça ouais ouais c’est contrôler les résultat de sortie c’est vraiment sur le le côté euh s’assurer que tu fais tu fais des tu peux faire vraiment des tests très simple du testing he comme on fait du testing de sur la discrimination tu peux le faire avec ta machine et et puis après funer ton modèle si tu vois que bah qu’il y a des bets qu’ y a des enfin tous les bets qu’on peut imaginer donc ça c’est euh et et d’ailleurs ce qui est intéressant c’est que moi la dernière fois où j’ai participé à un jour de recrutement à l’université on m’a demandé de biaiser en faveur des femmes d’ailleurs donc ce que je veux dire c’est que tous les bets sont pas sont pas mauvais ce qui est important c’est les bets qui sont non assumés donc après voilà moi moi je je trouve ça très bien qu’on qu’on dise à de CV ego tu favoriseras le CV féminin parce que en physique il y a du coup il y a 20 % de femmes et c’est très bien de favoriser les candidatures féminines euh donc mais c’est vraiment que dans le cas final voilà on dit pour une candidature de prof de physique à l’université on veut favoriser tel type tel type de profil donc quelque part un biais c’est pas mauvais en soi ce qui ce qui est mauvais c’est le BIA de la discrimination non non choisie non voulu ou voilà parce que tu as telle ou telle adresse on on part du principe que tu es tu es pas enfin voilà tu tu vois ce que je veux dire mais c’est vraiment à la fin c’est dans l’utilisation finale que tu peux définir quel biais voulu ou pas d’où l’importance d’avoir cette expertise ce savoir-faire pas seulement dans le choix du modèle mais aussi dans son fine tuning ouais exactement exactement ça c’est ça ça va vraiment ça ça va vraiment ensemble et puis je pense que c’est aussi ce qu’on apporte nous à lighton c’est vraiment cette pas juste le déploiement d’un modèle mais comme on a cette capacité on a ce savoir-faire savoir créer des modèles de A à Z on est vraiment très bien placé pour pouvoir faire le meilleur type de F tuning qui correspond à ce à ce que demande le client lon vous êtes installé en France à ton échelle comment tu vois faire de l’IA en France versus le faire aux États-Unis le faire en Chine quelles sont les forces en présence c’est ce que le côté politique joue et mais forcément oui c’est c’est que l’a est un vrai enjeu de géopolitique on voit euh euh les les Américains qui mettent par exemple de l’export contrôle sur les puces Nvidia à 100 ou H1 donc c’est voilà c’est c’est devenu euh comme en exportc contrôle hein c’est ça veut dire la même chose que les armes hein donc c’est c’est quand même un truc assez assez fort et euh et c’est vrai qu’en Europe on a on a un peu cette position un peu singulière euh pris entre euh tu vois il y a c’est 80 % de l’IA il est fait entre les États-Unis et la Chine donc l’Europe on a un peu ce qui ce qui reste ce qui est intéressant c’est d’ailleurs qu’ a des acteurs émergents d’ailleurs aussi comme les pays du Golf aussi qui ont beaucoup d’ambition et qui qui vont aller très vite ou Singapour enfin il y a c’est c’est pas tout à fait juste aussi simple qu’on peut qu’on peut imaginer il y a a les acteurs émergents mais pour revenir sur l’Europe oui c’est vrai que je pense qu’on a aussi on a des forces en Europe on a des forces comme un excellent système de d’éducation donc on a vraiment des on a vraiment des bons chercheurs et des bons et des bons ingénieurs ça c’est ça c’est clair on a des bonnes entreprises je veux dire l’Europe l’ c’est la première pris dans sa globalité c’est la première économie du monde quand même enfin je veux dire c’est euh par contre on n pas de champion de numérique on n pas des des des gfames comme on dit donc ça c’est c’est ça qui manque c’est grosses locomotives et ce qui est important c’est que les grosses entreprises françaises et européennes se saisissent de ça et je peux que me féliciter quand je vois par exemple les initiatives qui ont été annoncées récemment en France où euh cmacgm par exemple décide de mettre beaucoup d’argent pour mettre de l’argent dans C par exemple enfin il y a tout tout un écosystème qui est en train de se créer euh pour pour fédérer des communautés aussi autour de l’Open Source je pense que c’est aussi quelque chose le côté communautaire on va pas avoir une entreprise qui est la taille d’Open a euh mais mais si on a plusieurs entreprises qui chacune collabore chacune trouve leur leur positionnement et puis il y a une taille de marché tellement phénoménale qui est en train de se créer que il y a de la place pour plein de monde et du coup on peut on peut aussi collaborer c’est comme ça que je vois un peu le le cette dynamique qui est en train de se mettre en place ici en France et moi j’ai quand même l’impression je suis plutôt optimiste j’ai quand même l’impression que depuis quelques mois il se passe des choses il y a plein plein d’initiatives qui se montent en France plein d’entrepreneurs super talentueux euh de l’argent pas pas pas les dizaines de milliards qui a aux États-Unis mais quand même de l’argent là-dedans donc voilà attendons de voir mais ça ça bouge quand même alors comment tu vois ton secteur évoluer d’ici 45 ans les génératifs ça va donner quoi wou al 4 5 ans la première chose c’est qu’il faut être hyper modeste en ce qui concerne les prédictions dans le futur parce que tu vois si on regarde 5 ans en arrière si si tu m’avais dit il y a 5 ans que les scénaristes de Hollywood allaient se mettre en grève parce qu’il se sentaient menacé par l’IA enfin je t’aurais pris pour une folle quoi enfin je veux dire c’est et là ce truccl arrive et c’est c’est maintenant donc 4 5 ans en fait je sais pas je pense qu’il va y avoir des trucs absolument on n’est pas au bout des nouveautés dans l’ il va y avoir des des nouvelles ruptures des nouvelles frontières des nouvelles capacités par exemple de planification de raisonnement desas qui vont devenir de plus en plus capables desas de plus en plus personn is euh aussi et et et aussi je pense que on va avancer dans les i ok donc ça ça sera les gros Ia il va y avoir des mé des méga systèm toujours plus gros toujours plus puissant et cetera mais aussi des systèmes plus petits euh des systèmes qui seront capables de passer en production avec des milliers des millions des milliards d’utilisateurs et on peut pas faire tourner des méga serveurs pour des milliards d’utilisateurs il faudra trouver les modèles qui sont plus frugau aussi pour des usages plus pointus plus raisonnaablees et on n pas voilà on pas pas besoin tout le temps du méga modèle pour tout et donc aussi ça je pense que c’est une des grandes une des grandes tendances de modèle plus plus personnalisé plus petit et plus plus raisonnable aussi en en capacité dans le dans dans l’ voilà donc ça c’est pour moi c’est c’est ce que je vois arriver dans les dans les prochaines dans les prochaines années d’un point de vue des entreprises je pense qu’aussi ça va être le le moment de passer le moment de la découverte les beaucoup d’entreprises son sont dans le dans le côté qu’est-ce que ça peut faire pour moi et cetera je pense qu’on va arriver aussi dans les vrais grande diversité de modèles vraiment mis en production on va avoir des gains de des gains de productivité dans beaucoup de domaines et puis il y a certains domaines où on va se rendre compte que Ben peut-être que c’est pas tout à fait assez mature peut-être qu’il faut attendre encore un peu euh mais ça va être aussi je pense aussi intéressant de voir voir ce qui va se passer dans la dans la mise en production réelle 

 

Et en terme d’interface tu vois ça évoluer comment ? Est-ce qu’on va rester sur cette interface un peu froide chat je tape du texte, est-ce que ça va prendre d’autres formes peut-être plus imprégnées dans notre vie quotidienne ? 

 

Oui absolument moi je pense que c’est c’est effectivement sur l’ d’ailleurs tu parles d’interface mais c’est intéressant de voir chat GPT par rapport à gpt3 en fait c’est c’est la seule la seule différence c’est l’interface finalement et et chat GPT c’était c’est gpt3 qui dit jeu où c’est vraiment tu tu tu tu tu chates avec avec avec gpt3 mais finalement la techno était là depuis 2 ans et et c’est ce truccl là qui a explosé alors qu’en plus même open il na pas vu venir enfin à ce pointl que ça allait être la telle explosion et et donc cette notion d’interface c’est vraiment ça qui est qui est clé à mon avis il va y avoir des interfaces vocales il va y avoir je pense ça va changer notre façon d’interagir avec les machines alors c’est marrant parce que on on pose souvent la question de la science-fiction et puis tu vois on a toujs cette idée de ça mais moi il y a il y a un film qui est sorti il y a 10 ans exactement que j’ai adoré c’était her et et her c’était ça c’était une interface et à l’époque il y a 10 ans on se disait mais ce Tru c’est c’est c’est de la science-fiction ça va ça sera peut-être dans 20 30 ans on aura des et et maintenant ça ça y est c’est en train d’arriver quoi après et et justement il y a ce côté un peu plus émotionnel et ce côté est-ce que voilà donc est-ce qu’on va pouvoir tomber amoureux de son de son agent conversationnel je je sais pas mais en tout cas c’est je je pense que voilà le on est en train d’aller vers vers des choses comme ça vers des assistants plus personnalisés qui comprendront mieux le le contexte de ton interaction qu’ils comprendront mieux toi parce que ben voilà il tu auras interagi plus tu auras interagi avec avec lui et plus plus il te comprendra mieux et et et et ça al il faut pas trop anthropomorphiser de toute façon ça reste des machines mais le côté émotionnel des choses ça veut dire que ça ça comprendra mieux tes réactions et du coup ça sera peut-être plus plus empathique aussi en tout cas ça semblera athique ça restera des machines alors pour conclure on peut peut-être redonner les références de ta BD ouais alors c’est Dream machine de apouen et Laur Doé donc qui qui est chez flan Marion donc qui se trouve dans toutes les bonnes librairie que vous pouvez commander en ligne et et en plus j’ai ça devrait être traduit dans pas mal de langues d’ailleurs en 2024 donc je suis super content parce que on va pouvoir faire essmer cette cette bonne parole traduit par l’intelligence artificielle ah alors en fait non d’ailleurs puisque ce qui ce qui est intéressant c’est que apoupen étant indien on on a écrit le bouquin d’abord en anglais et et je me suis coltiné la traduction et c’est c’est un sacré boulot en fait de traduit NBD Laurent merci beaucoup merci j’espère que cet épisode vous a plu on se retrouve très bientôt pour un nouvel épisode de The Bridge.