{"id":1273,"date":"2024-06-19T15:02:47","date_gmt":"2024-06-19T14:02:47","guid":{"rendered":"http:\/\/alexandra"},"modified":"2024-06-19T15:02:47","modified_gmt":"2024-06-19T14:02:47","slug":"powerinfer-comment-booster-son-inference-2","status":"publish","type":"post","link":"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/","title":{"rendered":"PowerInfer: comment booster son inf\u00e9rence"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">PowerInfer est un moteur d&rsquo;inf\u00e9rence LLM qui a pour objective d&rsquo;optimiser au maximum l&rsquo;inf\u00e9rence de mod\u00e8le sur des machines \u00e0 usage personnel.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Cet article est un aper\u00e7u rapide, si vous voulez en savoir plus, voici le github qui explique comment utiliser le moteur: <a href=\"https:\/\/github.com\/SJTU-IPADS\/PowerInfer\">https:\/\/github.com\/SJTU-IPADS\/PowerInfer<\/a><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ce mod\u00e8le annonce des performances extraordinaires, de l&rsquo;ordre de dix fois plus rapide que le moteur llama.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><em>Mais comment il fait \u00e7a?<\/em><\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Un design \u00ab\u00a0Locality-centric\u00a0\u00bb<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Dans un but d&rsquo;optimisation, l&rsquo;\u00e9quipe qui travaille sur le moteur a d\u00e9cid\u00e9 d&rsquo;utiliser un design bas\u00e9 sur la notion de localit\u00e9.<br>Ce design permet de ne pas activer certains neurones et liaisons entre neurones bas\u00e9 sur leur utilisation, en employant deux concepts : la \u00ab\u00a0sparse activation\u00a0\u00bb qui a pour but de r\u00e9duire le nombre de neurones activ\u00e9s et les \u00ab\u00a0hot\/cold\u00a0\u00bb neurones dans le but de pr\u00e9dire les neurones actifs.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Voici un article int\u00e9ressant sur la \u00ab\u00a0sparse activation\u00a0\u00bb: <a href=\"https:\/\/medium.com\/geekculture\/sparse-weight-activation-training-reduce-memory-and-training-time-in-machine-learning-8c0fad7d5def\">https:\/\/medium.com\/geekculture\/sparse-weight-activation-training-reduce-memory-and-training-time-in-machine-learning-8c0fad7d5def<\/a><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">L&rsquo;impl\u00e9mentation de ces concepts permets d&rsquo;augmenter grandement les performances du moteur d&rsquo;inf\u00e9rence avec une d\u00e9gradation des performances qui reste tr\u00e8s limit\u00e9e.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Inf\u00e9rence hybride CPU\/GPU<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Si vous compilez powerinfer avec l&rsquo;option qui va bien le moteur va r\u00e9partir la charge entre le CPU et le GPU pour obtenir les meilleures performances possibles.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">De m\u00eame, avec le combo RAM \/ VRAM, le moteur va utiliser les deux m\u00e9moires pour pouvoir charger des mod\u00e8les gros demandeur de m\u00e9moire. Bien \u00e9videmment, plus de VRAM est disponible, plus l&rsquo;inf\u00e9rence sera performante. Une option est disponible pour limiter la consommation de VRAM si besoin.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">Mod\u00e8les compatibles<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Ce moteur d&rsquo;inf\u00e9rence est actuellement compatible avec deux mod\u00e8les:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>Falcon-40B<\/li>\n\n\n\n<li>Llama2 (7B, 13B et 70B)<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">L&rsquo;\u00e9quipe a annonc\u00e9 supporter le mod\u00e8le Mistral-7B dans le futur proche.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><strong>Syst\u00e8me compatibles annonc\u00e9s<\/strong><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">PowerInfer est test\u00e9 et support\u00e9 sur les configurations suivantes:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>CPU x86-64 (avec instructions AVX2) sur Linux et Windows\n<ul class=\"wp-block-list\">\n<li>J&rsquo;ai test\u00e9 sur des processeurs Intel Xeon e5-2650v2 qui n&rsquo;ont pas les instructions AVX2, les mod\u00e8les semblent inf\u00e9rer correctement, aucune erreur n&rsquo;est lev\u00e9e.<\/li>\n<\/ul>\n<\/li>\n\n\n\n<li>CPU x86-64 et GPU NVIDIA sur Linux et Windows<\/li>\n\n\n\n<li>CPU Apple M sur macOS\n<ul class=\"wp-block-list\">\n<li>Fonctionnel, mais non optimis\u00e9 actuellement avec l&rsquo;API Metal<\/li>\n\n\n\n<li>Optimisation de l&rsquo;inf\u00e9rence avec Metal est pr\u00e9vu dans le futur<\/li>\n<\/ul>\n<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">Le mot de la fin<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">A mon sens ce moteur d&rsquo;inf\u00e9rence parait int\u00e9ressant, selon les objectives pour lesquels il a \u00e9tait con\u00e7u : pouvoir inf\u00e9rer facilement et efficacement sur une machine locale avec du mat\u00e9riel accessible.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Ce n&rsquo;est que le d\u00e9but du projet, les informations sur l&rsquo;avanc\u00e9e du projet sont disponibles \u00e0 ce lien : <a href=\"https:\/\/github.com\/orgs\/SJTU-IPADS\/projects\/2\/views\/2\">https:\/\/github.com\/orgs\/SJTU-IPADS\/projects\/2\/views\/2<\/a><\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Avec le d\u00e9veloppement de fonctionnalit\u00e9s, ce genre de moteur d&rsquo;inf\u00e9rence pourrait permettre de d\u00e9mocratiser l&rsquo;inf\u00e9rence en local sur des machines personnelles.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Pour aller plus loin, si vous aimez les documents de recherches, voici le whitepaper de powerinfer:<br><a href=\"https:\/\/arxiv.org\/abs\/2312.12456\">https:\/\/arxiv.org\/abs\/2312.12456<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>PowerInfer est un moteur d&rsquo;inf\u00e9rence LLM qui a pour objective d&rsquo;optimiser au maximum l&rsquo;inf\u00e9rence de mod\u00e8le sur des machines \u00e0 usage personnel. Cet article est un aper\u00e7u rapide, si vous voulez en savoir plus, voici le github qui explique comment utiliser le moteur: https:\/\/github.com\/SJTU-IPADS\/PowerInfer Ce mod\u00e8le annonce des performances extraordinaires, de l&rsquo;ordre de dix fois plus rapide que le moteur llama. Mais comment il fait \u00e7a? Un design \u00ab\u00a0Locality-centric\u00a0\u00bb Dans un but d&rsquo;optimisation, l&rsquo;\u00e9quipe qui travaille sur le moteur a d\u00e9cid\u00e9 d&rsquo;utiliser un design bas\u00e9 sur la notion de localit\u00e9.Ce design permet de ne pas activer certains neurones et liaisons entre neurones bas\u00e9 sur leur utilisation, en employant deux concepts : la \u00ab\u00a0sparse activation\u00a0\u00bb qui a pour but de r\u00e9duire le nombre de neurones activ\u00e9s et les \u00ab\u00a0hot\/cold\u00a0\u00bb neurones dans le but de pr\u00e9dire les neurones actifs. Voici un article int\u00e9ressant sur la \u00ab\u00a0sparse activation\u00a0\u00bb: https:\/\/medium.com\/geekculture\/sparse-weight-activation-training-reduce-memory-and-training-time-in-machine-learning-8c0fad7d5def L&rsquo;impl\u00e9mentation de ces concepts permets d&rsquo;augmenter grandement les performances du moteur d&rsquo;inf\u00e9rence avec une d\u00e9gradation des performances qui reste tr\u00e8s limit\u00e9e. Inf\u00e9rence hybride CPU\/GPU Si vous compilez powerinfer avec l&rsquo;option qui va bien le moteur va r\u00e9partir la charge entre le CPU et le GPU pour obtenir les meilleures performances possibles. De m\u00eame, avec le combo RAM \/ VRAM, le moteur va utiliser les deux m\u00e9moires pour pouvoir charger des mod\u00e8les gros demandeur de m\u00e9moire. Bien \u00e9videmment, plus de VRAM est disponible, plus l&rsquo;inf\u00e9rence sera performante. Une option est disponible pour limiter la consommation de VRAM si besoin. Mod\u00e8les compatibles Ce moteur d&rsquo;inf\u00e9rence est actuellement compatible avec deux mod\u00e8les: L&rsquo;\u00e9quipe a annonc\u00e9 supporter le mod\u00e8le Mistral-7B dans le futur proche. Syst\u00e8me compatibles annonc\u00e9s PowerInfer est test\u00e9 et support\u00e9 sur les configurations suivantes: Le mot de la fin A mon sens ce moteur d&rsquo;inf\u00e9rence parait int\u00e9ressant, selon les objectives pour lesquels il a \u00e9tait con\u00e7u : pouvoir inf\u00e9rer facilement et efficacement sur une machine locale avec du mat\u00e9riel accessible. Ce n&rsquo;est que le d\u00e9but du projet, les informations sur l&rsquo;avanc\u00e9e du projet sont disponibles \u00e0 ce lien : https:\/\/github.com\/orgs\/SJTU-IPADS\/projects\/2\/views\/2 Avec le d\u00e9veloppement de fonctionnalit\u00e9s, ce genre de moteur d&rsquo;inf\u00e9rence pourrait permettre de d\u00e9mocratiser l&rsquo;inf\u00e9rence en local sur des machines personnelles. Pour aller plus loin, si vous aimez les documents de recherches, voici le whitepaper de powerinfer:https:\/\/arxiv.org\/abs\/2312.12456<\/p>\n","protected":false},"author":11,"featured_media":1292,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-1273","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v22.7 - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>PowerInfer: comment booster son inf\u00e9rence -<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/\" \/>\n<meta property=\"og:locale\" content=\"fr_FR\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"PowerInfer: comment booster son inf\u00e9rence -\" \/>\n<meta property=\"og:description\" content=\"PowerInfer est un moteur d&rsquo;inf\u00e9rence LLM qui a pour objective d&rsquo;optimiser au maximum l&rsquo;inf\u00e9rence de mod\u00e8le sur des machines \u00e0 usage personnel. Cet article est un aper\u00e7u rapide, si vous voulez en savoir plus, voici le github qui explique comment utiliser le moteur: https:\/\/github.com\/SJTU-IPADS\/PowerInfer Ce mod\u00e8le annonce des performances extraordinaires, de l&rsquo;ordre de dix fois plus rapide que le moteur llama. Mais comment il fait \u00e7a? Un design \u00ab\u00a0Locality-centric\u00a0\u00bb Dans un but d&rsquo;optimisation, l&rsquo;\u00e9quipe qui travaille sur le moteur a d\u00e9cid\u00e9 d&rsquo;utiliser un design bas\u00e9 sur la notion de localit\u00e9.Ce design permet de ne pas activer certains neurones et liaisons entre neurones bas\u00e9 sur leur utilisation, en employant deux concepts : la \u00ab\u00a0sparse activation\u00a0\u00bb qui a pour but de r\u00e9duire le nombre de neurones activ\u00e9s et les \u00ab\u00a0hot\/cold\u00a0\u00bb neurones dans le but de pr\u00e9dire les neurones actifs. Voici un article int\u00e9ressant sur la \u00ab\u00a0sparse activation\u00a0\u00bb: https:\/\/medium.com\/geekculture\/sparse-weight-activation-training-reduce-memory-and-training-time-in-machine-learning-8c0fad7d5def L&rsquo;impl\u00e9mentation de ces concepts permets d&rsquo;augmenter grandement les performances du moteur d&rsquo;inf\u00e9rence avec une d\u00e9gradation des performances qui reste tr\u00e8s limit\u00e9e. Inf\u00e9rence hybride CPU\/GPU Si vous compilez powerinfer avec l&rsquo;option qui va bien le moteur va r\u00e9partir la charge entre le CPU et le GPU pour obtenir les meilleures performances possibles. De m\u00eame, avec le combo RAM \/ VRAM, le moteur va utiliser les deux m\u00e9moires pour pouvoir charger des mod\u00e8les gros demandeur de m\u00e9moire. Bien \u00e9videmment, plus de VRAM est disponible, plus l&rsquo;inf\u00e9rence sera performante. Une option est disponible pour limiter la consommation de VRAM si besoin. Mod\u00e8les compatibles Ce moteur d&rsquo;inf\u00e9rence est actuellement compatible avec deux mod\u00e8les: L&rsquo;\u00e9quipe a annonc\u00e9 supporter le mod\u00e8le Mistral-7B dans le futur proche. Syst\u00e8me compatibles annonc\u00e9s PowerInfer est test\u00e9 et support\u00e9 sur les configurations suivantes: Le mot de la fin A mon sens ce moteur d&rsquo;inf\u00e9rence parait int\u00e9ressant, selon les objectives pour lesquels il a \u00e9tait con\u00e7u : pouvoir inf\u00e9rer facilement et efficacement sur une machine locale avec du mat\u00e9riel accessible. Ce n&rsquo;est que le d\u00e9but du projet, les informations sur l&rsquo;avanc\u00e9e du projet sont disponibles \u00e0 ce lien : https:\/\/github.com\/orgs\/SJTU-IPADS\/projects\/2\/views\/2 Avec le d\u00e9veloppement de fonctionnalit\u00e9s, ce genre de moteur d&rsquo;inf\u00e9rence pourrait permettre de d\u00e9mocratiser l&rsquo;inf\u00e9rence en local sur des machines personnelles. Pour aller plus loin, si vous aimez les documents de recherches, voici le whitepaper de powerinfer:https:\/\/arxiv.org\/abs\/2312.12456\" \/>\n<meta property=\"og:url\" content=\"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/\" \/>\n<meta property=\"article:published_time\" content=\"2024-06-19T14:02:47+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/beta.reboot-conseil.com\/wp-content\/uploads\/2024\/01\/Screenshot-from-2024-01-12-19-18-24-1.png\" \/>\n\t<meta property=\"og:image:width\" content=\"1233\" \/>\n\t<meta property=\"og:image:height\" content=\"441\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/png\" \/>\n<meta name=\"author\" content=\"Ana\u00ebl BLUM\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:label1\" content=\"\u00c9crit par\" \/>\n\t<meta name=\"twitter:data1\" content=\"Ana\u00ebl BLUM\" \/>\n\t<meta name=\"twitter:label2\" content=\"Dur\u00e9e de lecture estim\u00e9e\" \/>\n\t<meta name=\"twitter:data2\" content=\"3 minutes\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"Article\",\"@id\":\"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/#article\",\"isPartOf\":{\"@id\":\"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/\"},\"author\":{\"name\":\"Ana\u00ebl BLUM\",\"@id\":\"https:\/\/beta.reboot-conseil.com\/#\/schema\/person\/60ee849548fc1e1281b96a6177babf82\"},\"headline\":\"PowerInfer: comment booster son inf\u00e9rence\",\"datePublished\":\"2024-06-19T14:02:47+00:00\",\"dateModified\":\"2024-06-19T14:02:47+00:00\",\"mainEntityOfPage\":{\"@id\":\"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/\"},\"wordCount\":541,\"commentCount\":0,\"publisher\":{\"@id\":\"https:\/\/beta.reboot-conseil.com\/#organization\"},\"image\":{\"@id\":\"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/beta.reboot-conseil.com\/wp-content\/uploads\/2024\/01\/Screenshot-from-2024-01-12-19-18-24-1.png\",\"articleSection\":[\"Uncategorized\"],\"inLanguage\":\"fr-FR\",\"potentialAction\":[{\"@type\":\"CommentAction\",\"name\":\"Comment\",\"target\":[\"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/#respond\"]}]},{\"@type\":\"WebPage\",\"@id\":\"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/\",\"url\":\"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/\",\"name\":\"PowerInfer: comment booster son inf\u00e9rence -\",\"isPartOf\":{\"@id\":\"https:\/\/beta.reboot-conseil.com\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/#primaryimage\"},\"image\":{\"@id\":\"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/#primaryimage\"},\"thumbnailUrl\":\"https:\/\/beta.reboot-conseil.com\/wp-content\/uploads\/2024\/01\/Screenshot-from-2024-01-12-19-18-24-1.png\",\"datePublished\":\"2024-06-19T14:02:47+00:00\",\"dateModified\":\"2024-06-19T14:02:47+00:00\",\"breadcrumb\":{\"@id\":\"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/#breadcrumb\"},\"inLanguage\":\"fr-FR\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/#primaryimage\",\"url\":\"https:\/\/beta.reboot-conseil.com\/wp-content\/uploads\/2024\/01\/Screenshot-from-2024-01-12-19-18-24-1.png\",\"contentUrl\":\"https:\/\/beta.reboot-conseil.com\/wp-content\/uploads\/2024\/01\/Screenshot-from-2024-01-12-19-18-24-1.png\",\"width\":1233,\"height\":441},{\"@type\":\"BreadcrumbList\",\"@id\":\"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/#breadcrumb\",\"itemListElement\":[{\"@type\":\"ListItem\",\"position\":1,\"name\":\"Accueil\",\"item\":\"https:\/\/beta.reboot-conseil.com\/\"},{\"@type\":\"ListItem\",\"position\":2,\"name\":\"PowerInfer: comment booster son inf\u00e9rence\"}]},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/beta.reboot-conseil.com\/#website\",\"url\":\"https:\/\/beta.reboot-conseil.com\/\",\"name\":\"AI Squad\",\"description\":\"Dans le doute, Reboot\",\"publisher\":{\"@id\":\"https:\/\/beta.reboot-conseil.com\/#organization\"},\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/beta.reboot-conseil.com\/?s={search_term_string}\"},\"query-input\":\"required name=search_term_string\"}],\"inLanguage\":\"fr-FR\"},{\"@type\":\"Organization\",\"@id\":\"https:\/\/beta.reboot-conseil.com\/#organization\",\"name\":\"AI Squad By Reboot Conseil\",\"url\":\"https:\/\/beta.reboot-conseil.com\/\",\"logo\":{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\/\/beta.reboot-conseil.com\/#\/schema\/logo\/image\/\",\"url\":\"https:\/\/beta.reboot-conseil.com\/wp-content\/uploads\/2023\/09\/cropped-cropped-Logo-IA-Squad-by-Reboot-Conseil-3.png\",\"contentUrl\":\"https:\/\/beta.reboot-conseil.com\/wp-content\/uploads\/2023\/09\/cropped-cropped-Logo-IA-Squad-by-Reboot-Conseil-3.png\",\"width\":500,\"height\":218,\"caption\":\"AI Squad By Reboot Conseil\"},\"image\":{\"@id\":\"https:\/\/beta.reboot-conseil.com\/#\/schema\/logo\/image\/\"}},{\"@type\":\"Person\",\"@id\":\"https:\/\/beta.reboot-conseil.com\/#\/schema\/person\/60ee849548fc1e1281b96a6177babf82\",\"name\":\"Ana\u00ebl BLUM\",\"image\":{\"@type\":\"ImageObject\",\"inLanguage\":\"fr-FR\",\"@id\":\"https:\/\/beta.reboot-conseil.com\/#\/schema\/person\/image\/\",\"url\":\"https:\/\/secure.gravatar.com\/avatar\/eb6f0cadd8e01e59a644f87dc56e84f74b925615295fbb1bf4ee95f6f73fd8ab?s=96&d=mm&r=g\",\"contentUrl\":\"https:\/\/secure.gravatar.com\/avatar\/eb6f0cadd8e01e59a644f87dc56e84f74b925615295fbb1bf4ee95f6f73fd8ab?s=96&d=mm&r=g\",\"caption\":\"Ana\u00ebl BLUM\"}}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"PowerInfer: comment booster son inf\u00e9rence -","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/","og_locale":"fr_FR","og_type":"article","og_title":"PowerInfer: comment booster son inf\u00e9rence -","og_description":"PowerInfer est un moteur d&rsquo;inf\u00e9rence LLM qui a pour objective d&rsquo;optimiser au maximum l&rsquo;inf\u00e9rence de mod\u00e8le sur des machines \u00e0 usage personnel. Cet article est un aper\u00e7u rapide, si vous voulez en savoir plus, voici le github qui explique comment utiliser le moteur: https:\/\/github.com\/SJTU-IPADS\/PowerInfer Ce mod\u00e8le annonce des performances extraordinaires, de l&rsquo;ordre de dix fois plus rapide que le moteur llama. Mais comment il fait \u00e7a? Un design \u00ab\u00a0Locality-centric\u00a0\u00bb Dans un but d&rsquo;optimisation, l&rsquo;\u00e9quipe qui travaille sur le moteur a d\u00e9cid\u00e9 d&rsquo;utiliser un design bas\u00e9 sur la notion de localit\u00e9.Ce design permet de ne pas activer certains neurones et liaisons entre neurones bas\u00e9 sur leur utilisation, en employant deux concepts : la \u00ab\u00a0sparse activation\u00a0\u00bb qui a pour but de r\u00e9duire le nombre de neurones activ\u00e9s et les \u00ab\u00a0hot\/cold\u00a0\u00bb neurones dans le but de pr\u00e9dire les neurones actifs. Voici un article int\u00e9ressant sur la \u00ab\u00a0sparse activation\u00a0\u00bb: https:\/\/medium.com\/geekculture\/sparse-weight-activation-training-reduce-memory-and-training-time-in-machine-learning-8c0fad7d5def L&rsquo;impl\u00e9mentation de ces concepts permets d&rsquo;augmenter grandement les performances du moteur d&rsquo;inf\u00e9rence avec une d\u00e9gradation des performances qui reste tr\u00e8s limit\u00e9e. Inf\u00e9rence hybride CPU\/GPU Si vous compilez powerinfer avec l&rsquo;option qui va bien le moteur va r\u00e9partir la charge entre le CPU et le GPU pour obtenir les meilleures performances possibles. De m\u00eame, avec le combo RAM \/ VRAM, le moteur va utiliser les deux m\u00e9moires pour pouvoir charger des mod\u00e8les gros demandeur de m\u00e9moire. Bien \u00e9videmment, plus de VRAM est disponible, plus l&rsquo;inf\u00e9rence sera performante. Une option est disponible pour limiter la consommation de VRAM si besoin. Mod\u00e8les compatibles Ce moteur d&rsquo;inf\u00e9rence est actuellement compatible avec deux mod\u00e8les: L&rsquo;\u00e9quipe a annonc\u00e9 supporter le mod\u00e8le Mistral-7B dans le futur proche. Syst\u00e8me compatibles annonc\u00e9s PowerInfer est test\u00e9 et support\u00e9 sur les configurations suivantes: Le mot de la fin A mon sens ce moteur d&rsquo;inf\u00e9rence parait int\u00e9ressant, selon les objectives pour lesquels il a \u00e9tait con\u00e7u : pouvoir inf\u00e9rer facilement et efficacement sur une machine locale avec du mat\u00e9riel accessible. Ce n&rsquo;est que le d\u00e9but du projet, les informations sur l&rsquo;avanc\u00e9e du projet sont disponibles \u00e0 ce lien : https:\/\/github.com\/orgs\/SJTU-IPADS\/projects\/2\/views\/2 Avec le d\u00e9veloppement de fonctionnalit\u00e9s, ce genre de moteur d&rsquo;inf\u00e9rence pourrait permettre de d\u00e9mocratiser l&rsquo;inf\u00e9rence en local sur des machines personnelles. Pour aller plus loin, si vous aimez les documents de recherches, voici le whitepaper de powerinfer:https:\/\/arxiv.org\/abs\/2312.12456","og_url":"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/","article_published_time":"2024-06-19T14:02:47+00:00","og_image":[{"width":1233,"height":441,"url":"https:\/\/beta.reboot-conseil.com\/wp-content\/uploads\/2024\/01\/Screenshot-from-2024-01-12-19-18-24-1.png","type":"image\/png"}],"author":"Ana\u00ebl BLUM","twitter_card":"summary_large_image","twitter_misc":{"\u00c9crit par":"Ana\u00ebl BLUM","Dur\u00e9e de lecture estim\u00e9e":"3 minutes"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"Article","@id":"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/#article","isPartOf":{"@id":"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/"},"author":{"name":"Ana\u00ebl BLUM","@id":"https:\/\/beta.reboot-conseil.com\/#\/schema\/person\/60ee849548fc1e1281b96a6177babf82"},"headline":"PowerInfer: comment booster son inf\u00e9rence","datePublished":"2024-06-19T14:02:47+00:00","dateModified":"2024-06-19T14:02:47+00:00","mainEntityOfPage":{"@id":"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/"},"wordCount":541,"commentCount":0,"publisher":{"@id":"https:\/\/beta.reboot-conseil.com\/#organization"},"image":{"@id":"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/#primaryimage"},"thumbnailUrl":"https:\/\/beta.reboot-conseil.com\/wp-content\/uploads\/2024\/01\/Screenshot-from-2024-01-12-19-18-24-1.png","articleSection":["Uncategorized"],"inLanguage":"fr-FR","potentialAction":[{"@type":"CommentAction","name":"Comment","target":["https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/#respond"]}]},{"@type":"WebPage","@id":"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/","url":"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/","name":"PowerInfer: comment booster son inf\u00e9rence -","isPartOf":{"@id":"https:\/\/beta.reboot-conseil.com\/#website"},"primaryImageOfPage":{"@id":"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/#primaryimage"},"image":{"@id":"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/#primaryimage"},"thumbnailUrl":"https:\/\/beta.reboot-conseil.com\/wp-content\/uploads\/2024\/01\/Screenshot-from-2024-01-12-19-18-24-1.png","datePublished":"2024-06-19T14:02:47+00:00","dateModified":"2024-06-19T14:02:47+00:00","breadcrumb":{"@id":"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/#breadcrumb"},"inLanguage":"fr-FR","potentialAction":[{"@type":"ReadAction","target":["https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/"]}]},{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/#primaryimage","url":"https:\/\/beta.reboot-conseil.com\/wp-content\/uploads\/2024\/01\/Screenshot-from-2024-01-12-19-18-24-1.png","contentUrl":"https:\/\/beta.reboot-conseil.com\/wp-content\/uploads\/2024\/01\/Screenshot-from-2024-01-12-19-18-24-1.png","width":1233,"height":441},{"@type":"BreadcrumbList","@id":"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/#breadcrumb","itemListElement":[{"@type":"ListItem","position":1,"name":"Accueil","item":"https:\/\/beta.reboot-conseil.com\/"},{"@type":"ListItem","position":2,"name":"PowerInfer: comment booster son inf\u00e9rence"}]},{"@type":"WebSite","@id":"https:\/\/beta.reboot-conseil.com\/#website","url":"https:\/\/beta.reboot-conseil.com\/","name":"AI Squad","description":"Dans le doute, Reboot","publisher":{"@id":"https:\/\/beta.reboot-conseil.com\/#organization"},"potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/beta.reboot-conseil.com\/?s={search_term_string}"},"query-input":"required name=search_term_string"}],"inLanguage":"fr-FR"},{"@type":"Organization","@id":"https:\/\/beta.reboot-conseil.com\/#organization","name":"AI Squad By Reboot Conseil","url":"https:\/\/beta.reboot-conseil.com\/","logo":{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/beta.reboot-conseil.com\/#\/schema\/logo\/image\/","url":"https:\/\/beta.reboot-conseil.com\/wp-content\/uploads\/2023\/09\/cropped-cropped-Logo-IA-Squad-by-Reboot-Conseil-3.png","contentUrl":"https:\/\/beta.reboot-conseil.com\/wp-content\/uploads\/2023\/09\/cropped-cropped-Logo-IA-Squad-by-Reboot-Conseil-3.png","width":500,"height":218,"caption":"AI Squad By Reboot Conseil"},"image":{"@id":"https:\/\/beta.reboot-conseil.com\/#\/schema\/logo\/image\/"}},{"@type":"Person","@id":"https:\/\/beta.reboot-conseil.com\/#\/schema\/person\/60ee849548fc1e1281b96a6177babf82","name":"Ana\u00ebl BLUM","image":{"@type":"ImageObject","inLanguage":"fr-FR","@id":"https:\/\/beta.reboot-conseil.com\/#\/schema\/person\/image\/","url":"https:\/\/secure.gravatar.com\/avatar\/eb6f0cadd8e01e59a644f87dc56e84f74b925615295fbb1bf4ee95f6f73fd8ab?s=96&d=mm&r=g","contentUrl":"https:\/\/secure.gravatar.com\/avatar\/eb6f0cadd8e01e59a644f87dc56e84f74b925615295fbb1bf4ee95f6f73fd8ab?s=96&d=mm&r=g","caption":"Ana\u00ebl BLUM"}}]}},"_links":{"self":[{"href":"https:\/\/beta.reboot-conseil.com\/index.php\/wp-json\/wp\/v2\/posts\/1273","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/beta.reboot-conseil.com\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/beta.reboot-conseil.com\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/beta.reboot-conseil.com\/index.php\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/beta.reboot-conseil.com\/index.php\/wp-json\/wp\/v2\/comments?post=1273"}],"version-history":[{"count":0,"href":"https:\/\/beta.reboot-conseil.com\/index.php\/wp-json\/wp\/v2\/posts\/1273\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/beta.reboot-conseil.com\/index.php\/wp-json\/wp\/v2\/media\/1292"}],"wp:attachment":[{"href":"https:\/\/beta.reboot-conseil.com\/index.php\/wp-json\/wp\/v2\/media?parent=1273"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/beta.reboot-conseil.com\/index.php\/wp-json\/wp\/v2\/categories?post=1273"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/beta.reboot-conseil.com\/index.php\/wp-json\/wp\/v2\/tags?post=1273"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}