{"id":1272,"date":"2024-06-19T15:02:47","date_gmt":"2024-06-19T14:02:47","guid":{"rendered":"http:\/\/yacine.touati"},"modified":"2024-06-19T15:02:47","modified_gmt":"2024-06-19T14:02:47","slug":"ollama-votre-llm-en-local-et-totalement-gratuit-2","status":"publish","type":"post","link":"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/ollama-votre-llm-en-local-et-totalement-gratuit-2\/","title":{"rendered":"Ollama: votre LLM en local et totalement gratuit"},"content":{"rendered":"\n

Aujourd’hui je vais vous parler de canards et de lamas (non je ne parle pas de cet adorable animal d’Am\u00e9rique du sud, mais bien du mod\u00e8le open-source<\/a> cr\u00e9\u00e9 par Meta), et aussi un peu de Mistral.<\/p>\n\n\n\n

Nous autres d\u00e9veloppeurs avons tous exp\u00e9riment\u00e9 cela: un probl\u00e8me de programmation nous occupe l’esprit, nous en parlons \u00e0 un coll\u00e8gue qui nous \u00e9coute plus ou moins patiemment nous \u00e9pancher sur le sujet et pouf ! la solution se manifeste dans notre esprit n\u00e9buleux… c’est la fameuse th\u00e9orie du canard en plastique<\/a>: l’interlocuteur n’a servi \u00e0 rien \u00e0 part aider le locuteur \u00e0 formuler sa pens\u00e9e, et donc trouver la solution \u00e0 son probl\u00e8me. Maintenant nous avons, en plus de nos coll\u00e8gues, la possibilit\u00e9 de discuter avec un confident num\u00e9rique sur notre laptop ! <\/p>\n\n\n\n

Je vais en effet vous montrer dans cet article comment run un LLM en local depuis votre ordinateur.<\/p>\n\n\n\n

Chez Reboot Conseil<\/a>, nous avons \u00e0 coeur de constamment am\u00e9liorer nos services et notre expertise, nos clients et partenaires nous sollicitent par exemple pour int\u00e9grer la versatilit\u00e9 des LLMs dans leurs workflows; or, jusque l\u00e0, le choix par d\u00e9faut a \u00e9t\u00e9 d’utiliser des APIs distantes (OpenAI, Azure OpenAI, Vertex AI, etc.) pour b\u00e9n\u00e9ficier de ces fonctionnalit\u00e9s. Cela implique des ajustements en termes de co\u00fbts, de confidentialit\u00e9 des donn\u00e9es transmises, de latence, etc. auxquels il faut s’adapter pour b\u00e9n\u00e9ficier de la puissance de ces outils.<\/p>\n\n\n\n

Aujourd’hui, OpenAI domine le march\u00e9 avec Chat-GPT car c’est le produit le plus abouti sur le plan pratique; toutefois la concurrence open-source est constamment am\u00e9lior\u00e9e et optimis\u00e9e. Les lamas ont la dalle et ils le font savoir !<\/p>\n\n\n\n

Il existe aujourd’hui quantit\u00e9 de benchmarks<\/a> pour \u00e9valuer de la mani\u00e8re la plus objective possible la performance d’un LLM et on voit \u00e0 travers le temps que GPT 3.5 et GPT 4 se font rattraper et parfois m\u00eame d\u00e9passer sur certains points !<\/p>\n\n\n\n

Sur un plan beaucoup plus subjectif et \u00e0 titre beaucoup plus personnel, je me suis amus\u00e9 pendant ces vacances d’hiver \u00e0 tester des LLMs open-source, notamment dans le cadre d’automatisations de t\u00e2ches avec LangChain<\/a>, et je vais dans cet article vous donner les cl\u00e9s pour avoir votre propre assistant priv\u00e9 avec z\u00e9ro latence sur votre machine !<\/p>\n\n\n\n

Pr\u00e9 requis en termes de hardware<\/h2>\n\n\n\n

Avant toute chose, il faut savoir que run des LLMs sur sa machine requiert qu’on ait une machine a minima puissante pour ce faire, mais rassurez-vous ce n’est rien de stratosph\u00e9rique ! Si, en lisant cet article, vous vous rendez compte que vous \u00eates \u00e0 la limite ou un peu short en termes de puissance de calcul, dites-vous que le champ \u00e9volue tellement vite que vous pourrez probablement bient\u00f4t vous abstraire de ces limites avec toutes les optimisations sur lesquelles travaille la communaut\u00e9 open-source<\/a> actuellement !<\/p>\n\n\n\n

Pour savoir quel mod\u00e8le open-source vous pouvez run sur votre machine, fiez-vous \u00e0 cette nomenclature:<\/p>\n\n\n\n