
Test-drive de GCP Duet AI: un outil plein de promesses mais pas encore mature
Je donne en ce moment à la CCI de Strasbourg sur un sujet qui n’est pas directement lié à l’IA, en apparence: déployer des applications en mode DevOps sur la Google Cloud Platform… je dis bien en apparence seulement, car la Google Cloud Platform (GCP pour les intimes) regorge d’APIs d’IA génératives, de machine learning, etc. Récemment, un nouveau produit est apparu sur le GCP: Duet AI. Les étudiants que je forme actuellement seront chargés plus tard de tâches liées à du sysadmin, du déploiement applicatif, de la gestion d’IAM, de VPC, de LDAP, tout un programme ! Une chose m’est clairement apparue alors que je les voyais apprendre des concepts nouveaux pour eux comme la dockerisation de stacks applicatives, les CI/CD pipelines, ou encore la gestion de permissions cloud: les systèmes distribués modernes sont complexes pour le nouveau venu, et même pour le praticien averti du DevOps. Est-ce que Duet AI pourrait les aider ? Qu’est-ce que Duet AI ? Duet AI est la version Google de Copilot, elle diffère de son concurrent de GitHub dans la mesure où, fidèle à sa stratégie entamée de longue de date, elle est intégrée à la Google Cloud Platform de manière « native »: on peut invoquer un Duet AI sur n’importe quelle page de l’UI du GCP pour poser une question ou réaliser une tâche. L’outil peut aussi générer du code dans un IDE, à la manière de Copilot, c’est donc un outil multifacettes, qui sert aussi bien pour les devs dans leur éditeur que pour les « clique-boutons » des plateformes cloud, comme aime à les appeler un de mes collègues dont l’identité restera secrète 😉 Assistance avec IA générative: une bonne idée pour les nouveaux venus ou pas ? Aujourd’hui, je suis plus à l’aise sur certains concepts, ce qui fait que je peux me débrouiller sur plusieurs plateformes (Azure, AWS, etc.) sans pour autant être un expert. Je ne cache pas que cela s’est fait au compte de nombreuses heures à étudier des concepts à tiroir sans fin. A l’époque, Chat-GPT n’existait pas ou n’avait pas le niveau de performance qu’il a aujourd’hui, il m’aurait été d’une grande aide pour mon apprentissage ! Nous avons eu récemment, chez Reboot-Conseil, une discussion au sujet de la mise à disposition d’outils d’assistance de code utilisant l’IA générative type Copilot : certains d’entre nous pensent qu’il faut que le développeur passe par ces longues veillées à lire des docs obscures et à se tromper pour acquérir une cetaine maturité et les réflexes nécessaires, l’argument se tient parfaitement car la démarche est très formatrice en effet. D’autres (c’est à dire moi) pensaient qu’il faut que le nouveau professionnel utilise ces outils au plus tôt et au plus vite pour maximiser sa productivité et être rentable pour son entreprise et, surtout, pour s’amuser tout simplement ! Je suis donc en train de me demander comment familiariser les étudiants au prompt engineering pour résoudre des problèmes, se documenter et utiliser des LLM en tant qu’outil d’assistance à la réflexion (un canard en plastique sous stéroïdes si vous préférez). Je vais tester Duet AI pour me faire un avis avant de leur en parler. Cet article relatera l’expérience de ma première prise en main. Duet AI 101 Pour rester dans le ton de ma formation, je vais tout de suite dans l’onglet use-cases de la documentation et je vais donc… tenter de déployer quelque chose 😁 On me propose des tutos Duet AI sur: Pas mal pas mal, mais AI squad oblige, moi je veux: Demandons lui ! Je ne sais pas si nous ferons tout ça dans cet article (ou bien si nous le ferons en plusieurs articles), mais vraiment je veux essayer le produit avec quelque chose que je serai amené à faire et voir où il peut me mener avec ce genre de liste de tâches. Tout d’abord les sousous Pour utiliser DuetAI, il faut payer une licence qui peut être mensuelle ou annuelle. Je tente la licence manuelle: … $22,80 une licence pour un mois c’est un peu cher mais peut-être que le jeu en vaut la chandelle, poursuivons. D’ailleurs, l’offre GitHub Copilot Business a une tarification comparable. Comment ça se présente ? Dans le console GCP (je reste pas là pour l’instant je n’installe pas le plugin pour VSCode) on a un bouton en haut à droite pour invoquer le LLM, à gauche du raccourci pour la cloud shell … ça pop up une fenêtre de chat, commençons avec mon projet: Je vous mets ici mon prompt: Le mal des LLMs: des réponses plausibles mais fausses non exactes. … et, au premier abord, c’est plutôt cool ! je vous copy paste ici la réponse très détaillé de Duet AI; petit bémol: elle ne parle pas de CI/CD pipeline, cela fera donc l’objet d’un second prompt: Duet AI me donne même un sample project pour tester tout le process ! Je lis attentivement les étapes, tout paraît pertinent au premier abord… est-ce que le repo donné en lien dans la réponse est juste aussi ? Il existe bien un compte GoogleCloudPlatform sur GitHub avec des repos contenant de la donnée d’entraînement, mais ici le LLM a soit halluciné un repo qui n’existe pas soit a linké un repo qui n’existe plus. Qu’en est-il de la commande gsutil gsutil cp gs://cloud-samples-data/ai-platform/census/adult.data . pour télécharger des données depuis un bucket ? … pareil, le lien est invalide 🥲. Ok, continuons notre fact checking: puis-je créer une VM et cloner un repo sans autre étape intermédiaire, ainsi que semble le suggérer la réponse ? … yes, git est installé par défaut et je peux cloner des repos. Globalement, les autres étapes données dans la réponse de Duet AI sont pertinentes, mais il ne s’agit pas d’informations « actionnables » car il s’agit au final d’une réponse détaillée répétant la suite d’étapes que j’avais déjà en tête depuis le départ… Je suis donc un peu sur ma faim. Quand je donne le même prompt à GPT-4, j’obtiens des snippets détaillés

