Romain Kuzniak - Pragmatic AI: Reshaping the Product Opportunity Tree

[00:00:04] Salut tout le monde. Euh, je suis vraiment content d'être ici, euh, de faire partie de cet événement. Je veux dire, il y a de super conférences partout. Euh, et c'est toujours un plaisir de parler de produit et de technologie. Mais en attendant, j'ai des sentiments mitigés. J'ai des sentiments mitigés. J'ai ce genre de euh syndrome de l'imposteur. Euh, je vais parler d'IA, mais je ne suis pas un ingénieur IA. Je ne vais pas parler de euh comment nous entraînons des modèles parce que nous n'entraînons pas vraiment de modèles. Euh, je ne vais pas parler d'un algorithme révolutionnaire que nous avons mis en place et qui a changé et euh solutionné tous les problèmes. Je ne suis pas ce genre de personne. Cependant, je vais parler d'IA. Et j'ai une histoire à raconter.
[00:00:53] C'est l'histoire de notre relation avec l'apprentissage automatique et l'IA. Et tout a commencé il y a presque si ma télécommande fonctionnait. Ça ne marche pas. Oui, ça marche. Euh, ça a commencé il y a presque 10 ans. Euh, avec ce que nous appelons, euh, l'abandon des cours. Donc, je suis Romain, je suis CTO et responsable produit chez Open Classrooms. Euh, vous le savez peut-être, Open Classrooms est une école en ligne. Nous proposons, euh, des programmes de formation et des pré-cours. Et il y a 10 ans, il y avait cette, euh, tendance autour des learning analytics. Alors, qu'est-ce que les learning analytics ? Les learning analytics, c'est l'analyse de toutes les traces qu'un étudiant peut laisser, euh, pendant son parcours de formation. Cela peut être notamment sur des cours, les chapitres qu'il a vus, les exercices qu'il a tentés, la réussite, l'échec, et c'est toute cette analyse des traces. Et, euh, comme vous le savez, en data, si vous voulez être précis, il vous faut beaucoup de données. Et en fait, il n'y a pas tant de plateformes, surtout en France, qui ont, euh, des millions de données. Et nous en faisions partie. Nous avons des millions d'utilisateurs et, euh, des milliers de cours. Donc, beaucoup de gens nous ont contactés, euh, juste pour travailler sur les learning analytics. Et l'un des principaux cas d'utilisation des learning analytics est, euh, la prédiction de la réussite ou de l'échec sur un cours. Donc, c'est ce que nous appelons l'abandon des cours.
[00:02:37] Donc, à cette époque, nous nous sommes associés avec, euh, des universités, euh, une douzaine d'universités juste pour trouver un algorithme qui pourrait prédire la réussite ou l'échec d'un étudiant. Je pense que nous avons passé environ deux ans parce que, vous savez, le temps académique est vraiment différent du, euh, temps de l'entreprise. Et nous sommes tombés sur quelque chose d'assez, euh, d'assez efficace en fait. Euh, nous étions assez contents de cet, euh, algorithme. Euh, il était basé sur l'apprentissage automatique. Mais vous savez, il y a une différence entre, euh, avoir une preuve de concept qui fonctionne et être prêt à la mettre en production et à servir des millions d'utilisateurs en temps réel.
[00:03:22] Il y avait des expertises que nous devions embaucher, euh, il y avait une pile technique que nous devions implémenter. Et si je mets un diagramme vraiment basique, basique, euh, il y avait de la valeur ici, mais en fait, euh, il y avait un effort qui était assez élevé.
[00:03:45] Mais rappelez-vous, à cette époque, nous étions une startup avec des ressources limitées. Et en fait, en fait, en fait. Alors, euh, euh, euh, euh.
[00:04:08] Il y avait aussi, euh, d'autres opportunités, euh, certaines avec le même genre de valeur, mais avec un effort moindre. Certaines avec une valeur plus faible et un effort élevé, donc nous ne l'avons pas fait. Euh, et donc, nous avons décidé de ne pas aller de l'avant. Euh, nous avons décidé de rechercher des opportunités qui apporteraient plus de valeur à un coût inférieur.
[00:04:31] Je veux bien.
[00:04:39] Alors, en allant de l'avant, merci. Euh,
[00:04:49] vous savez, il y a eu une grande évolution dans le domaine, euh, de l'apprentissage automatique, surtout dans la pile technique. Euh, il y a eu de nouveaux services dans le cloud qui facilitent l'accès et qui facilitent la fourniture de certaines fonctionnalités pour entraîner votre modèle, etc. Euh, c'était super, mais, ce n'était pas un grand changement. Cela a en fait réduit un peu le coût. Mais si l'on considère l'opportunité, enfin, même si nous avions déjà eu des opportunités précédentes, il y avait encore des opportunités qui étaient, euh, plus efficaces. Donc, nous n'avons pas avancé.
[00:05:30] Nous n'avons pas avancé avant novembre 2022. Pourquoi novembre 2022 ? Devinez quoi, euh, la sortie publique de ChatGPT. Désolé, c'est intéressant. Ce n'est pas le même type d'IA ou d'apprentissage automatique. C'est une valeur différente. On ne fait pas de prédiction avec ChatGPT. Mais cela a ouvert de nouveaux domaines, surtout dans l'éducation. Je veux dire, dans l'éducation, nous générons généralement beaucoup de contenu. Donc, ce que nous avons fait, c'est que nous nous sommes lancés dans, euh, cette nouvelle technologie. Euh, nous avons vu tellement de cas d'utilisation, cela pouvait être en interne, mais aussi pour les clients. Et juste parce que nous sommes une école, il y avait aussi, euh, un accès juste pour fournir des compétences à nos étudiants. Mais concentrons-nous sur le premier, la valeur qu'il pourrait créer en interne et en externe.
[00:06:27] C'est un cas d'utilisation différent, comme je l'ai mentionné, désolé. Euh, mais, le changement majeur pour nous, et je pense pour l'industrie, est la réduction des coûts. Merci.
[00:06:43] Euh, cela a ouvert de nouvelles opportunités avec une grande valeur, mais à un coût beaucoup plus bas. En fait, pour utiliser des LLM, vous n'avez pas besoin de data scientist. Et en fait, la plupart d'entre eux fournissent des API, donc vous n'avez pas besoin d'une énorme pile pour l'utiliser. Donc, cela a remodelé tout l'arbre des opportunités. Alors, ce que nous avons fait, c'est que nous avons commencé beaucoup de preuves de concept, et nous avons été très rapides à obtenir de, euh, grands, euh, euh, succès. Non, pas encore. Désolé. Euh, mais il y a eu, euh, d'autres types de problèmes. Euh, nous avons commencé à publier notre première preuve de concept, euh, mais, vous savez, le LLM n'est qu'une partie de ce que vous devez donner à votre client. Vous devez également construire, euh, un mécanisme pour, euh, l'évolutivité, la qualité, euh, la sécurité, et donc, chaque fois que nous voulions mettre une nouvelle preuve de concept en production, nous devions reconstruire ces choses.
[00:07:58] Donc, facile n'était pas assez facile pour nous, et rapide n'était pas assez rapide pour nous. S'il vous plaît.
[00:08:08] Nous avons donc eu l'idée de fournir un service, un service interne qui nous aiderait encore plus à passer en production. Plus rapide, plus facile. Nous l'avons appelé 'AI as a Service', non pas que, euh, nous ayons beaucoup brainstormé là-dessus. Euh, pas du tout. Euh, et qu'est-ce que c'est ? Euh, c'est vraiment penser à, euh, différents sujets. Le premier concerne vraiment, euh, l'expérience, euh, non seulement l'expérience du client, mais aussi l'expérience en interne. Comment pourrions-nous implémenter l'IA de la manière la plus simple possible ? Euh, il y a quelques points clés.
[00:08:57] Nous avons d'abord défini ce que pourrait être notre expérience idéale en interne. Et nous pensions que notre expérience idéale était simplement d'écrire une invite, d'écrire une seule ligne de code pour intégrer cette invite dans la plateforme ou le système et de la déployer. Et un autre paramètre était de s'assurer que si nous mettions à jour l'invite, cela ne nécessitait pas un nouveau déploiement. C'est le premier point. Le deuxième point est les multi-modèles. Euh, nous devons faire une pause ici.
[00:09:38] Euh, l'écosystème des LLM est très volatile. Cela signifie que, euh, vous n'avez qu'à regarder notre boîte mail. Je veux dire, il y a de nouveaux modèles presque toutes les semaines. Euh, avec, euh, vous savez, de nouveaux concurrents, de nouveaux cas d'utilisation, même chaque modèle est meilleur que le précédent. Donc, c'est très volatil. Il est difficile de dire, oh, ce modèle est le bon.
[00:10:04] Il y a aussi une forte volatilité car ce n'est pas encore une technologie vraiment mature et un écosystème mature. Quelques exemples, par exemple, je suppose que vous vous souvenez tous, euh, de certains à mes portes, euh, d'un jour à l'autre. Euh, vous savez, Open AI était sur le point de, euh, fermer. Euh, nous avons également vu cela récemment avec Gemini et cette, euh, porte de génération d'images, euh. Donc, ils ont dû supprimer, euh, d'un jour à l'autre, euh, ces capacités. Donc, c'est un deuxième, euh, point pour cette forte volatilité. Et le troisième point est que, euh, je crois et nous croyons que, euh, dans un avenir proche, nous devrons gérer de nombreux modèles plus spécialisés. Euh, laissez-moi, euh, laissez-moi préciser cela. Euh, vous savez, au milieu des années 2000, il y a eu ces, euh, ce que nous appelons la guerre des langages, d'accord ? Les gens se battaient juste à propos de Java contre .net contre n'importe quel langage. Mais quelques années plus tard, et maintenant, il est communément admis que, euh, nous devons être polyglottes, ce qui signifie, euh, que nous devons utiliser le meilleur langage pour, euh, les meilleurs cas. Et je pense que c'est ce qui se passera avec, euh, les LLM, ce qui signifie pour un cas d'utilisation spécifique, certains modèles seront meilleurs que d'autres. Et donc, c'est comment nous pouvons fournir le meilleur modèle pour un cas d'utilisation spécifique. Donc, c'était le, le deuxième point. Le troisième point concernait, euh, le fait de ne pas avoir à reconstruire, euh, pour chaque, euh, chaque système le même genre de choses, à savoir la sécurité, les contrôles de bon sens, la gestion de la qualité, la gestion des coûts.
[00:12:01] Et enfin, le quatrième, euh, point concernait le fait d'être prêt pour la production. Je veux dire, ne pas être capable de faire uniquement des preuves de concept très rapidement, mais être prêt pour la production très rapidement.
[00:12:16] Alors, soyons un peu plus techniques maintenant.
[00:12:20] Donc, voici une pile LLM traditionnelle. Euh, vous avez un catalogue de prompts où vous stockez votre prompt.
[00:12:30] Euh, vous avez votre base de connaissances, donc ça peut être un document, ça peut être une base de données d'embeddings, ou autre chose. Il y a ce service LLM, euh, et vous avez un orchestrateur au milieu de, euh, de tout ça. juste pour s'assurer de prendre le bon prompt, euh, vous savez, assurer la gestion des connaissances, appeler les LLM et ainsi de suite. Mais aussi, toutes les activités de support,
[00:12:56] telles que la qualité, le coût, la sécurité et les contrôles de bon sens.
[00:13:04] Donc, ce que nous avons fait, en fait, si vous pouvez avancer, merci.
[00:13:10] c'est que nous avons construit une couche au-dessus de cela, euh, une API vraiment simple, euh, avec un seul point d'accès. Et, euh, nous avons mis le catalogue de prompts sur GitHub, pour que tout le monde puisse, euh, vous savez, mettre à jour et, euh, publier ses prompts. Et cette API, il vous suffit de mettre votre code sur le code du prompt, et l'API fera le reste en gérant tout le reste. Au-dessus de cette API, nous avons également construit, euh, quelques helpers, euh, un SDK, euh, principalement, euh, surtout nous avons commencé avec un JavaScript. Euh, au-dessus du SDK JavaScript, nous avons mis, euh, un chat, d'accord ? Et, euh, nous avons aussi construit un Slackbot, et nous construisons actuellement des SDK PHP et Python, euh. Donc, concrètement. Et si nous pouvons avancer. Mettre un chatbot en production est aussi facile que d'écrire une invite, donc c'est un format YML. Donc, c'est un champ obligatoire, vous avez juste besoin de l'ID, enfin, le nom et la description juste pour s'assurer que ça ne met pas le désordre dans notre catalogue de prompts et votre prompt. Mais nous avons aussi intégré des fonctionnalités plus avancées. Si vous pouvez avancer. Vous pouvez choisir votre modèle. Donc sur le précédent, c'est un différent. Vous pouvez également choisir, euh, le type si c'est conversationnel ou non.
[00:14:47] Euh, vous pouvez, vous savez, décrire où trouver vos récupérations. Euh, vous pouvez mettre un schéma JSON si vous voulez être plus strict sur votre requête et, euh, votre réponse. Vous pouvez mettre des optimiseurs, des désinfectants ou gérer des limites. C'est donc un fichier YML très simple. Et, euh, oh, oui, je dois dire aussi que le prompt peut prendre des paramètres, donc dans votre API ou votre route, vous pouvez envoyer des paramètres sur la requête et cela pourrait, euh, remplir votre prompt. Donc, vous écrivez votre prompt, et ensuite, si vous pouvez avancer,
[00:15:25] nous avons créé un chat générique. Donc, il vous suffit de mettre, et vous pouvez voir en haut, je pense que c'est, euh, oui, j'ai oublié cette ligne. Oui, code de prompt. Donc, vous mettez l'ID du prompt. Vous pouvez passer des paramètres, donc ce n'est pas obligatoire. Euh, et ensuite, en production, tout de suite, si vous déployez, vous avez un prompt et un chatbot. Donc, c'est ce que nous avons fait, parce que nous avons tellement de cas d'utilisation et nous ne voulions pas reproduire encore et encore la même chose. Euh, un autre exemple est notre Slackbot. Si vous pouvez partager l'écran suivant.
[00:16:06] Donc, des choses basiques, basiques, et ce chatbot, vous pourriez aussi, euh, mettre votre, euh, prompt dans un catalogue et le rendre disponible dans un chatbot. Alors, qu'est-ce que ça change ?
[00:16:18] Eh bien, le coût de l'implémentation était déjà bas, mais il est déjà nul maintenant. C'est donc un grand changement. De ce point orange où nous étions sur, euh, les learning analytics, nous sommes passés à presque aucun effort, mais beaucoup de valeur, euh, de capacités ou d'opportunités.
[00:16:45] Donc, j'aurais pu arrêter ma présentation ici et dire, ah, regardez comme c'est beau, comme nous sommes super. Euh, eh bien, la réalité est que ce n'est pas si facile. Et nous faisons face à de nouveaux défis, et je vais en parler. Les deux premiers concernent vraiment, euh, la valeur. Euh, et qu'est-ce que je veux dire ? Suivant.
[00:17:13] Je suppose que vous avez tous vu toutes ces, euh, promotions dans votre boîte mail, partout, chaque outil, chaque outil fournit juste des capacités d'IA.
[00:17:23] Mais qui parmi vous l'utilise déjà ? Je vais vous donner une expérience personnelle que j'ai rencontrée, euh, cette semaine. J'utilisais un outil de diagramme, et je mettais juste comme trois carrés, vous savez, juste un rapide diagramme avec un mot par carré. Donc, j'ai sélectionné mes trois carrés, juste, vous savez, pour faire l'alignement automatiquement. Et puis une fenêtre pop-up est apparue et a dit, oh, voulez-vous un résumé de vos trois carrés ? Et je suis comme, quoi ? Je veux dire, ici, y a-t-il une quelconque valeur juste pour résumer trois carrés ? C'est donc ce que j'appelle la tentation de l'IA. Ce n'est pas parce que c'est facile que nous devons le mettre partout. Nous devons penser à quelle est la valeur que nous voulons fournir. Euh, la tentation de l'IA est aussi liée à l'écosystème. Je pense que pour chaque entreprise et chaque investisseur, il est important de montrer que, oh, nous utilisons l'IA.
[00:18:24] Mais nous devrions toujours penser à quelle est la valeur que nous voulons fournir aux utilisateurs. Euh, et la plupart du temps, la vraie valeur et la vraie valeur de l'IA ne sont pas visibles. Donc, le premier défi est de ne pas tomber dans la tentation de l'IA.
[00:18:41] L'autre défi, toujours sur la valeur, est à l'autre bout du spectre. Ce sont les opportunités manquées.
[00:18:51] Parce que pendant des années, nous avons entraîné notre cerveau à ne pas penser à certaines opportunités qui pouvaient être, euh, très coûteuses, notre cerveau n'a pas toujours, ne pense pas toujours à, euh, ces opportunités qui pourraient être maintenant accessibles grâce à l'IA. C'est donc comment nous remodelons notre façon de penser et nous nous disons, d'accord, mais est-ce possible maintenant avec l'IA ? Et la plupart du temps, cela ouvre de nouvelles opportunités. J'ai quelques exemples au sein de mes équipes. Euh, je vais prendre l'exemple de ce designer qui, vous savez, faisait des orientations. Donc, nous avons des aides pour les étudiants afin de trouver le bon programme de formation, mais c'est assez simple. Et nous avons toujours pensé, d'accord, comment pourrions-nous mettre quelque chose de plus interactif et ainsi de suite.
[00:19:44] Et, vous savez, avec les LLM, c'est beaucoup plus facile.
[00:19:49] Mais nous devons nous reprogrammer, et il y a toujours ce designer qui revient toujours, oh, ça fait un moment que je parle d'avoir un assistant qui pourrait bien, pourrait aider les étudiants, mais, vous savez, avec ce genre de chat et ce genre de LLM, c'est facile à faire.
[00:20:07] Mais nous devons repenser la façon dont, euh, nous voyons les choses. Donc ça, c'est pour la valeur.
[00:20:14] Le troisième concerne l'information. Et, euh, je dois être honnête avec moi-même, et je suppose que la plupart des entreprises doivent être honnêtes avec elles-mêmes, la gestion des connaissances a toujours été négligée. Nous pensons tous que c'est important. Nous disons tous, oh, la gestion des connaissances, la gestion de la documentation est importante, mais nous n'avons pas mis, oh, en fait, je n'ai pas mis assez d'efforts là-dessus.
[00:20:42] Pourquoi ? Parce que si votre documentation n'est pas à jour, ce n'est pas grave, votre production ne sera pas cassée. Euh, mais cela a changé avec les LLM, et c'est la limite que nous avons.
[00:20:57] Pour avoir des LLM efficaces, vous avez également besoin d'une architecture d'information et d'une gestion des connaissances solides. Et cela devient de la production, ce qui signifie, Je suppose que vous avez vu ça, euh, je crois que c'était la semaine dernière ou il y a deux semaines, ce truc où un chatbot a dit, euh, des choses fausses au client. Je crois que c'était, euh, Canada, euh, Canada Airline ou quelque chose comme ça. Et donc, il a fourni une réduction qui n'était pas exacte, et ils ont dû payer pour ça. Euh, donc maintenant l'information devient un sujet de production. Donc, elle doit être maintenue, mise à jour, toujours à jour. Vous devez vérifier, vous devez vous assurer que vous avez les bons modèles et ainsi de suite. Donc ici, c'est un nouveau défi.
[00:21:41] Le quatrième concerne, euh, les nouvelles activités. gestion et cela devient production. C'est-à-dire que je suppose que vous avez vu ça, euh, je pense que c'était la semaine dernière ou il y a deux semaines, ce truc où un chatbot a dit, euh, de mauvaises choses au client. Je crois que c'était une ligne Canada ou quelque chose comme ça. Et donc ça a fourni des réductions qui n'étaient pas exactes et ils ont dû payer pour ça. Hum, donc maintenant l'information devient un sujet de production. Donc il faut le maintenir, le mettre à jour, toujours à jour. Il faut vérifier, il faut s'assurer d'avoir les bons modèles et ainsi de suite. Donc ici, c'est un nouveau défi.
[00:21:41] Le quatrième concerne, euh, les nouvelles activités.
[00:21:48] Il y a de nouvelles activités et parmi elles, je peux, euh, je peux citer, euh, l'ingénierie des prompts. Il est facile de créer un petit prompt que vous utilisez sur votre navigateur web. Maintenant, quand vous le faites en production pour de nombreux utilisateurs, les prompts deviennent de plus en plus complexes. Vous devez prédire les résultats. Et, euh, ce n'est pas si facile. Je veux dire, ce sont de nouvelles compétences qui arrivent. Hum, et de nouvelles compétences, de nouveaux emplois, donc c'est une nouvelle activité. Euh, et nous ne sommes pas nécessairement équipés. Hum, le deuxième concerne, euh, la qualité. Comment assurez-vous la qualité, euh, dans le monde des LLM ? Donc, la plupart du temps, la qualité pourrait être automatisée, mais, vous savez, ici, les résultats pourraient différer d'une demande à l'autre. De plus, comment assurez-vous, euh, la pertinence de cette, euh, réponse ? Donc, potentiellement une nouvelle pile, potentiellement une nouvelle façon de penser la qualité.
[00:22:54] Et enfin, j'en ai parlé précédemment, hum, vous savez, la gestion de l'information. Nous avons des gestionnaires de connaissances parfois dans les entreprises, mais c'est différent de gérer une connaissance en interne que de former un prompt. Et le dernier défi que nous avons concerne, euh, l'organisation.
[00:23:19] Euh, avec l'essor des LLM, nous parlons, nous parlons beaucoup, euh, de l'impact sur les individus. Comment les LLM impacteront les emplois, vont-ils supprimer certains emplois, vont-ils changer la façon dont les gens devraient s'engager avec cela juste pour leur avenir. Euh, mais nous ne parlons pas tellement des organisations. Et, euh, l'équipe transfonctionnelle classique que nous pouvons appeler squad avec un chef de produit, un designer, des ingénieurs. Euh, parfois vous pouvez mettre des analystes de données, la qualité, enfin. Celui-ci pourrait changer, surtout parce que. Avec un service comme celui que nous avons construit pour ce type de cas d'utilisation, vous n'avez pas besoin d'ingénieurs. Euh, ça ne veut pas dire qu'il faut supprimer les ingénieurs, mais. Vous savez, par exemple, ce chat que nous avons construit pour aider les étudiants, nous n'avons pas besoin d'ingénieur pour le mettre en place. Pas pour l'entretenir. Donc c'est repenser la façon dont nous sommes organisés, euh, dans ce genre d'équipe transverse, mais aussi au sein de toute l'organisation. Voilà donc les défis.
[00:24:36] Pour conclure.
[00:24:39] Euh, bien sûr, et évidemment, euh, les LLM apportent, euh, de nouveaux cas d'utilisation qui offrent réellement, euh, de nouvelles opportunités, euh, pour les entreprises et les clients. Mais l'un des plus grands impacts de l'essor des LLM est la réduction des coûts et l'accessibilité de l'IA à tout type d'entreprise sans data scientist, par exemple.
[00:25:03] Et en attendant, cela a soulevé de nouveaux défis, de nouvelles activités auxquelles nous devons faire face, que nous devons, euh, traverser. Mais je conclurai qu'il y a beaucoup d'incertitudes en ce moment, il y a aussi beaucoup d'opportunités. Et je pense vraiment que nous vivons, euh, une période excitante. C'est tout pour moi. Merci de m'avoir invité et je suis vraiment heureux de répondre à toutes vos questions. Merci.
[00:25:44] I'll be leaving you soon.
[00:25:48] Tu es là-dessus.
[00:25:51] Je pense que nous pouvons poser des questions en anglais et aussi quelques-unes en français si vous le souhaitez.
[00:25:57] Hé, merci. Vous avez mentionné que vous pouviez automatiser la qualité, pourriez-vous développer un peu là-dessus ? Euh, quelles sont les principales approches ? Merci.
[00:26:07] Je sais, euh, je pense, je sais, je n'ai peut-être pas été clair, euh, l'évolution de la qualité était vraiment de, euh, rendre les choses automatiques. L'un des défis avec la qualité des LLM est de savoir comment la rendre automatique, donc nous n'avons pas réussi, c'est un défi. Mais je pense que l'automatisation n'est pas suffisante. Euh, il y a tellement de cas d'utilisation où vous devez vous assurer avec les LLM de la pertinence de la réponse. Et comment vous gérez cela à grande échelle. Je veux dire, il n'y a pas encore beaucoup de livres blancs à ce sujet, donc c'est un défi de taille. Désolé, je n'ai pas la réponse pour l'automatisation, j'aurais bien voulu. D'accord.
[00:26:55] Bonjour. Euh, merci pour la conférence. Hum, comment gérez-vous le coût de cela ? Euh, comment gérez-vous ça ? Oui. Merci.
[00:27:08] Alors, euh, eh bien, il y a plusieurs façons de gérer les coûts. Donc, euh, c'est à travers, eh bien, d'abord à travers les services d'infrastructure qui peuvent vous donner le coût. Maintenant, il s'agit aussi de la limitation de débit que nous montrons. Donc ce n'est pas seulement la limitation de débit, c'est aussi les limites de jetons, comme la taille du contenu. Donc si un étudiant copie-colle un livre entier, vous savez, cela pourrait être très coûteux, c'est pourquoi nous gérons cela. Mais ce que nous avons vu jusqu'à présent, ce n'est pas vraiment à grande échelle, nous ne parlons pas de millions de personnes. C'est aussi le genre de fonctionnalité que vous offrez à un certain moment. Parce que, euh, ici nous parlons d'étudiants. Euh, si nous servions de l'IA à des millions de visiteurs, cela aurait été différent, évidemment. Euh, mais aujourd'hui, je veux dire, nous avons été vraiment surpris que le coût ne soit pas vraiment un problème. Hum, je vais vous donner un exemple, nous utilisons aussi l'IA en interne, donc euh, vous savez, le Slackbot et d'autres choses. Mais quand vous passez par l'API, les coûts sont vraiment très bas. Et, euh, je pense que les derniers mois et nous avons une utilisation assez étendue, je pense que nous sommes en dessous de 200, euh, euros par mois. Et si vous pensez au, euh, nombre de personnes qui l'utilisent et que vous prenez la, euh, licence d'un chat GPT. Je veux dire, le ratio est incroyable. Donc, euh, pour l'instant, le cours n'est pas, euh, ce n'est pas encore un problème. Mais parce que nous choisissons aussi nos, euh, cas d'utilisation. Si nous mettions l'IA en marche pour tous les, euh, millions de visiteurs que nous avons, oui, ce pourrait être, euh, un défi. Merci.
[00:29:01] Euh, bonjour. Euh, bonjour. Vous avez parlé, euh, de l'IA en général, mais, hum, avez-vous fait la différence entre l'IA prédictive et l'IA générative ?
[00:29:11] Oui, nous l'avons fait et, euh, je pense que c'est tout l'intérêt. Nous n'étions pas équipés en termes de compétences pour gérer, euh, vous savez, l'apprentissage automatique, la prédiction et les recommandations. Et le grand changement, c'est que pour utiliser cette IA générative, vous n'avez pas besoin de data scientists. Je crois que vous n'en avez pas besoin, ou si vous voulez vraiment faire un modèle personnalisé potentiellement. Mais pour la plupart des cas d'utilisation que nous avons, nous n'en avons pas besoin. Et je pense que c'est une grande différence. Parce que, euh, je ne pense pas que l'IA précédente disparaîtra, je veux dire, il y a vraiment des cas d'utilisation spécifiques pour chacun. Mais le grand changement est l'accessibilité à l'IA pour nous, pas besoin d'experts, du moins pour l'instant.
[00:30:05] Bonjour. Vous avez également parlé des valeurs ou des compétences à avoir pour avoir la qualité en matière d'IA. Pensez-vous que nous avons suffisamment de personnes qui possèdent les anciennes compétences aujourd'hui ?
[00:30:22] C'est c'est c'est définitivement nouveau, euh,
[00:30:25] nouvelles compétences. Euh, et je pense que c'est aussi un nouveau domaine. Je veux dire, l'ingénierie des prompts, vous savez, dans les blogs spécialisés, vous voyez que ça évolue très vite.
[00:30:35] Ça évolue aussi avec, euh, avec les modèles. Hum, vous savez, potentiellement nous allons voir, vous savez, ces offres d'emploi classiques, j'ai besoin d'un ingénieur prompt avec 10 ans d'expérience. Mais, euh, hum, eh bien. En ce moment, je pense, euh, je ne pense même pas qu'il y ait des formations, peut-être aux États-Unis quelques-unes. Hum, donc ici, ici c'est un défi. Comment trouvez-vous ces personnes ? Et comment trouvez-vous également les bonnes pratiques, nous parlons de, nous parlons de qualité. Il y a des livres blancs, mais ce n'est pas comme. Vous savez, ça évolue toujours.
[00:31:13] Alors oui. Mais, vous savez, c'est intéressant ce que vous avez dit parce que. Euh, l'un des axes d'OpenClassrooms est aussi ce que nous proposons comme programmes de formation. Euh, mais nous avons incarné le fait que les LLM vont définitivement changer, euh, le marché et les emplois. Et donc dans chaque programme de formation, sur les premiers cours, il s'agit d'IA et, hum, d'IA générative. Nous formons donc nos étudiants juste pour, euh, nous assurer, euh, qu'ils l'utiliseront. Bon, ce n'est pas un programme de formation d'ingénieur en prompt, euh, mais je pense, oui, ça prendra du temps à un moment donné, à mon avis.
[00:32:02] We're going to take another one, if you feel more comfortable in French, you can, I repeat.
[00:32:08] Merci pour la présentation. Uh
[00:32:12] Hum, vous n'avez pas parlé de matrice. Avez-vous vu une différence ?
[00:32:18] NPS, délai de commercialisation, je ne sais pas.
[00:32:22] Euh, euh non, je pense. Quelle est votre question exactement ? Je n'ai pas parlé de matrices.
[00:32:30] Mais tu vois ça pour faire l'implémentation de l'IA. Avez-vous vu la différence dans les métriques ?
[00:32:37] Oh, d'accord. Eh bien, cela dépend vraiment des cas d'utilisation. Donc, euh, Je peux prendre un exemple où nous sommes plus avancés, c'est le support aux étudiants. Euh, et hum, évidemment ici c'est euh, nous mesurons, si je devais être un peu technique sur euh l'éducation, mais nous mesurons c'est la euh vitesse de la patience à acquérir ou la vitesse d'acquisition de compétences.
[00:33:07] Et quand nous avons mis cela en place pour la première fois dans quelques programmes de formation, euh, nous avons constaté une augmentation assez significative. Ce n'est pas seulement l'IA, ce n'est pas un outil magique. Si vous n'avez pas le bon contenu, si vous n'avez pas le bon type de support. Hum, donc ce qui était assez difficile ici, c'est d'identifier vraiment ce qui est dû à ce support d'IA versus d'autres paramètres. Mais oui, dans une approche axée sur le produit, il y a toujours, ok, qu'est-ce que vous voulez bouger lorsque vous lancez une initiative, donc cela dépend vraiment des cas d'utilisation. Nous fixons des euh objectifs et des euh résultats clés que nous surveillons. Hum, je ne sais pas si cela répond à votre question, désolé, c'était d'autres types de métriques dont vous parliez.
[00:34:00] Uh C'était vraiment l'impact sur les métriques.
[00:34:05] Wait, just the microphone.
[00:34:11] Ouais. Euh, oui, en quelque sorte, mais, hum, avez-vous vu une différence ? Quel serait l'enjeu si vous n'aviez pas implémenté l'IA ?
[00:34:24] Qu'est-ce qui aurait été le
[00:34:25] Okay, I'll do it in French. If you hadn't implemented Lia on certain use cases.
[00:34:30] Yeah.
[00:34:31] What would have been the stakes, how did it help you gain growth or? That's important.
[00:34:38] Uh, so we measure quite a few things internally, in particular. I think that, uh, here we have, I've talked a lot about external use cases for our users, but most of our AI is rather internal. Uh, in different sectors and I'm going to take a bit of the education one on training, so each time we measure the time it takes to, uh, create a course,
[00:35:04] create training courses, it can be more or less long, a course takes about a month, a month and a half, but a long training course can take 6, 9 months. Uh, I don't have the exact figure, but roughly, I think it's 25 to 30% reduction in time, in cycle time on that. Which is, uh, which is, uh, huge when we're talking about a 6 to 9 month journey, going from 9 to 6, it's significant. Uh, it's also about quality sometimes too. Uh, and then it's also about, there are other productivity mechanics, but it's hard to say exactly if it's just AI because we have a lot of initiatives. Uh, for example, in engineering, we measure what we call the cycle time, so the time between uh starting a task and going into production. We've reduced it a lot, uh, uh, in the last six months. It's not just AI, a little bit of AI, uh, so it's difficult here to, to, to pull out. Afterwards, I think there's also another measure, which is user experience or employee experience. It's that actually what's easy to automate with AI is also low-value tasks in a way. We use it quite a lot in user research, for example, we have a lot of feedback and so putting the taxonomy on the feedback. Uh, it wasn't necessarily simple before, now we have very good results, uh, when you have to manage 5000 feedbacks by hand, the taxonomy. Uh, so there too, these are measures, plus it may not, that's not what has the most value, it's after the analysis we do. So, uh, at the company level, it's hard to say, but on certain specific cases, we see drastic changes. Thank you.
[00:36:58] Juste une petite question. Merci pour votre présentation. Ce que vous avez présenté, l'API et une partie du système, est-ce open source ou accessible, ou avez-vous écrit un article de blog à ce sujet ?
[00:37:12] Hum, je m'attendais à cette question. Hum, eh bien, nous avons essayé par le passé de rendre open source certaines de nos bibliothèques, mais, hum, comme vous le savez, l'open source demande beaucoup de temps. Euh, juste pour l'histoire, c'était vraiment, la première était vraiment une petite bibliothèque pour aider, euh, pour un outil de traduction, c'était un client. Mais déjà pour une petite bibliothèque comme celle-ci, cela a demandé beaucoup de travail de notre côté. Actuellement, nous sommes un peu à la limite en termes de ressources. Je pense que nous allons publier plus de détails. Hum, pour être honnête, ce n'est pas beaucoup de travail, euh, ce serait beaucoup de travail à maintenir en fait parce que, euh, nous avons décidé pour l'instant d'être très spécifiques sur certains modèles et ainsi de suite. Euh, mais non, malheureusement, nous ne prévoyons pas de le rendre open source. Je pense que nous allons publier juste pour expliquer un peu plus. Mais si vous voulez après après la conférence on peut en parler si vous avez besoin de plus d'informations.
[00:38:24] Other questions?
[00:38:27] Thank you. Merci beaucoup.

Transcription (Traduit)