{"id":1269,"date":"2024-06-19T15:02:47","date_gmt":"2024-06-19T14:02:47","guid":{"rendered":"http:\/\/yacine.touati"},"modified":"2024-06-19T15:02:47","modified_gmt":"2024-06-19T14:02:47","slug":"la-comprehension-du-monde-par-les-lmms-focus-sur-les-embeddings-2","status":"publish","type":"post","link":"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/la-comprehension-du-monde-par-les-lmms-focus-sur-les-embeddings-2\/","title":{"rendered":"La compr\u00e9hension du monde par les LMMs: focus sur les embeddings"},"content":{"rendered":"\n

Suite \u00e0 l’annonce de la release de Gemini<\/a> par Google cette semaine, et du bad-buzz qui a suivi sur la d\u00e9mo semi fak\u00e9e<\/a> du g\u00e9ant du num\u00e9rique; il n’en reste pas moins que je suis surexcit\u00e9 quant \u00e0 l’av\u00e8nement de l’\u00e8re de la multimodalit\u00e9 (amorc\u00e9e, entre autres, par GPT-4 Vision) dans le monde des foundation models<\/em>, c’est-\u00e0-dire les mod\u00e8les d’IA capables de r\u00e9aliser des t\u00e2ches dont le spectre est tr\u00e8s g\u00e9n\u00e9ral.<\/p>\n\n\n\n

J’ai d’ailleurs h\u00e2te que Gemini soit disponible pour me faire une id\u00e9e de ses capacit\u00e9s ! Que la com’ de Google ait \u00e9t\u00e9 rat\u00e9e n’est pas la question, toutes les entreprises majeures de la tech, la Recherche, ainsi que la communaut\u00e9 open-source, sont engag\u00e9es dans une course effr\u00e9n\u00e9e vers l’AGI (Artificial General Intelligence), qui en effraie certains et en grisent d’autres (je fais partie de la 2\u00e8me cat\u00e9gorie). Le nouveau Graal est la multimodalit\u00e9.<\/p>\n\n\n\n

Ainsi, que les capacit\u00e9s du mod\u00e8le soient un franc-succ\u00e8s ou pas, la d\u00e9marche de cr\u00e9er un mod\u00e8le multi-modal dans son architecture est le pr\u00e9curseur d’inventions extraordinaires \u00e0 mon sens. Comme je l’ai r\u00e9p\u00e9t\u00e9 \u00e0 l’envi \u00e0 mes coll\u00e8gues cette semaine, j’ai l’impression d’\u00eatre comme le contemporain d’Edison ou de Tesla, qui d\u00e9couvrait, \u00e0 l’\u00e9poque des premi\u00e8res innovations \u00e9lectriques, avec des yeux \u00e9bahis, l’av\u00e8nement d’un miracle technologique qui allait changer la face du Monde.<\/p>\n\n\n\n

Cela dit, vous risquez peut-\u00eatre \u00eatre lass\u00e9s du terme \u00ab\u00a0multi-modal\u00a0\u00bb, r\u00e9p\u00e9t\u00e9 \u00e0 chaque paragraphe depuis le d\u00e9but de cet article, alors commen\u00e7ons par l\u00e0 !<\/p>\n\n\n\n

Qu’est-ce que la multimodalit\u00e9 ?<\/h2>\n\n\n\n

Une modalit\u00e9<\/strong>, pour un mod\u00e8le d’IA, fait tout simplement r\u00e9f\u00e9rence au type de donn\u00e9es pass\u00e9 en entr\u00e9e au mod\u00e8le; par exemple, GPT-4, \u00e9tait \u00e0 ses d\u00e9buts unimodal<\/strong>, c’est-\u00e0-dire qu’il n’\u00e9tait capable \u00ab\u00a0que\u00a0\u00bb de comprendre le texte entr\u00e9 en input par l’utilisateur pour pouvoir g\u00e9n\u00e9rer son output. Depuis une composante \u00ab\u00a0Vision\u00a0\u00bb a \u00e9t\u00e9 donn\u00e9e au mod\u00e8le et il est devenu multimodal<\/strong>, c’est-\u00e0-dire que des donn\u00e9es de plusieurs types (ici texte et images) peuvent lui \u00eatre pass\u00e9es, on peut maintenant lui envoyer des images. C’est ce qui permet aujourd’hui la description de photos par GPT-4.<\/p>\n\n\n\n

C’est pourquoi, vous le remarquerez dans le titre de cet article, je ne parle pas de LLM <\/strong>(Large Language Model) mais bien de LMM<\/strong> (Large Multimodal Model). Ce qui me fait penser que la release de Gemini pourrait bien \u00eatre une date \u00e0 marquer d’une pierre blanche dans l’\u00e9volution de l’IA, c’est que Google propose d\u00e9j\u00e0 une fonctionnalit\u00e9 d’embeddings multi-modaux accessible programmatiquement depuis les APIs du GCP.<\/a><\/p>\n\n\n\n

Embeddings ? Hein ?<\/h2>\n\n\n\n

Commen\u00e7ons par le terme embedding<\/strong>: ce terme fait r\u00e9f\u00e9rence \u00e0 une mani\u00e8re de repr\u00e9senter de la donn\u00e9e sous la forme vectorielle. Si vous \u00eates comme moi, et que vous avez dormi pendant le cours de Math au lyc\u00e9e, un vecteur est tout simplement une mani\u00e8re de repr\u00e9senter des points et la direction qu’ils prennent dans un espace \u00e0 n<\/em> dimensions.<\/p>\n\n\n\n

Par exemple, on va consid\u00e9rer sur un plan \u00e0 deux dimensions deux vecteurs:<\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n
\"\"\/<\/figure>\n\n\n\n

Ainsi, toute paire de coordonn\u00e9es (x, y) peut \u00eatre repr\u00e9sent\u00e9e de la mani\u00e8re suivante avec cette matrice:<\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n

Cela permet d’appliquer, par exemple, des transformations \u00e0 des figures g\u00e9om\u00e9triques en utilisant leur repr\u00e9sentation vectorielle.<\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n

Dans la transformation ci-dessus, qui justement n’en op\u00e8re aucune (identity transformation<\/em>), la 1\u00e8re colonne de la matrice r\u00e9pond \u00e0 la question \u00ab\u00a0quelle transformation veut-on appliquer \u00e0 l’axe horizontal ?\u00a0\u00bb et la deuxi\u00e8me \u00e0 la question \u00ab\u00a0quelle transformation souhaite-t-on appliquer \u00e0 l’axe vertical ?\u00a0\u00bb … Mais, Yacine, quel rapport avec les LMMs me direz-vous ?<\/p>\n\n\n\n

H\u00e9 bien, tr\u00e8s sch\u00e9matiquement, c’est comme \u00e7a qu’un LLM voit le monde: chaque donn\u00e9e, de n’importe quelle nature, est transform\u00e9e en des vecteurs de nombre sur des centaines de dimensions (pas juste en 2D ou 3D). Par exemple le mod\u00e8le BERT repr\u00e9sente du texte en 768 dimensions ! On peut donc \u00e9tablir pour chaque mot, image, etc. (r\u00e9f\u00e9rence \u00e0 la nature de la modalit\u00e9) une magnitude<\/em> et une direction<\/em> \u00e0 l’item consid\u00e9r\u00e9.<\/p>\n\n\n\n

Le nombre \u00e9lev\u00e9 de dimensions dans ces vecteurs permet de capturer des nuances entre les concepts: c’est ce qui permet d’\u00e9tablir des relations s\u00e9mantiques dans un contexte textuel. TL;DR: les vecteurs issues de donn\u00e9es textes (embeddings), permettent d’encoder finement une information s\u00e9mantique<\/strong>, une unit\u00e9 de sens donc.<\/p>\n\n\n\n

Dans le vecteur de mon d\u00e9placement si je devais repr\u00e9senter l’id\u00e9e \u00ab\u00a0j’ai march\u00e9 3 kilom\u00e8tres en direction du nord-est\u00a0\u00bb, la magnitude serait la distance parcourue et la direction serait \u00ab\u00a0le nord-est\u00a0\u00bb, c’est \u00e0 dire un angle. Comme vous le verrez, cela a son importance.<\/p>\n\n\n\n

Nous allons maintenant montrer un exemple de g\u00e9n\u00e9ration d’embeddings \u00e0 partir de contenus textuels. Ce que vous devez retenir: les donn\u00e9es, de toute nature, pass\u00e9es \u00e0 une IA, sont transform\u00e9es en vecteurs de nombres<\/strong>.<\/p>\n\n\n\n

Vous avez ici<\/a> des snippets de code que vous pourrez run chez vous pour tester le concept. Dans l’exemple fourni je teste les APIs IA de Google (Vertex AI) pour g\u00e9n\u00e9rer des embeddings, ou repr\u00e9sentations vectorielles de donn\u00e9es (ici du texte) =><\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n

Dans cet exemple, j’envoie 2 phrases li\u00e9es, dans leur contexte, \u00e0 l’endpoint de g\u00e9n\u00e9ration d’embeddings de Vertex AI; vous remarquerez que la derni\u00e8re n’a absolument rien \u00e0 voir avec les deux premi\u00e8res, c’est voulu \ud83d\ude09.<\/p>\n\n\n\n

J’affiche ensuite les cinq premi\u00e8res rang\u00e9es de ces embeddings pour chaque texte, en input; \u00e7a donne les trois tableaux s\u00e9par\u00e9s par des virgules, que vous voyez ici =><\/p>\n\n\n\n

\"\"\/<\/figure>\n\n\n\n

Ok super, mais \u00e0 quoi \u00e7a sert ?<\/h2>\n\n\n\n

C’est l\u00e0 que la \u00ab\u00a0magie\u00a0\u00bb des LLMs (et maintenant LMMs) op\u00e8re: un calcul de similarit\u00e9 est effectu\u00e9 entre ces vecteurs pour d\u00e9terminer s’ils sont proches s\u00e9mantiquement (rappelez-vous, ce sont des mots \u00e0 la base). Pour cela les math\u00e9maticiens et leurs professeurs (envers qui je m’excuse du peu d’attention que je leur ai accord\u00e9) ont mis \u00e0 notre disposition une trousse \u00e0 outils contenant notamment:<\/p>\n\n\n\n