{"version":"1.0","provider_name":"","provider_url":"https:\/\/beta.reboot-conseil.com","author_name":"Ana\u00ebl BLUM","author_url":"https:\/\/beta.reboot-conseil.com\/index.php\/author\/anael\/","title":"PowerInfer: comment booster son inf\u00e9rence -","type":"rich","width":600,"height":338,"html":"<blockquote class=\"wp-embedded-content\" data-secret=\"TCmQLbb7kI\"><a href=\"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/\">PowerInfer: comment booster son inf\u00e9rence<\/a><\/blockquote><iframe sandbox=\"allow-scripts\" security=\"restricted\" src=\"https:\/\/beta.reboot-conseil.com\/index.php\/2024\/06\/19\/powerinfer-comment-booster-son-inference-2\/embed\/#?secret=TCmQLbb7kI\" width=\"600\" height=\"338\" title=\"\u00ab\u00a0PowerInfer: comment booster son inf\u00e9rence\u00a0\u00bb &#8212; \" data-secret=\"TCmQLbb7kI\" frameborder=\"0\" marginwidth=\"0\" marginheight=\"0\" scrolling=\"no\" class=\"wp-embedded-content\"><\/iframe><script>\n\/*! This file is auto-generated *\/\n!function(d,l){\"use strict\";l.querySelector&&d.addEventListener&&\"undefined\"!=typeof URL&&(d.wp=d.wp||{},d.wp.receiveEmbedMessage||(d.wp.receiveEmbedMessage=function(e){var t=e.data;if((t||t.secret||t.message||t.value)&&!\/[^a-zA-Z0-9]\/.test(t.secret)){for(var s,r,n,a=l.querySelectorAll('iframe[data-secret=\"'+t.secret+'\"]'),o=l.querySelectorAll('blockquote[data-secret=\"'+t.secret+'\"]'),c=new RegExp(\"^https?:$\",\"i\"),i=0;i<o.length;i++)o[i].style.display=\"none\";for(i=0;i<a.length;i++)s=a[i],e.source===s.contentWindow&&(s.removeAttribute(\"style\"),\"height\"===t.message?(1e3<(r=parseInt(t.value,10))?r=1e3:~~r<200&&(r=200),s.height=r):\"link\"===t.message&&(r=new URL(s.getAttribute(\"src\")),n=new URL(t.value),c.test(n.protocol))&&n.host===r.host&&l.activeElement===s&&(d.top.location.href=t.value))}},d.addEventListener(\"message\",d.wp.receiveEmbedMessage,!1),l.addEventListener(\"DOMContentLoaded\",function(){for(var e,t,s=l.querySelectorAll(\"iframe.wp-embedded-content\"),r=0;r<s.length;r++)(t=(e=s[r]).getAttribute(\"data-secret\"))||(t=Math.random().toString(36).substring(2,12),e.src+=\"#?secret=\"+t,e.setAttribute(\"data-secret\",t)),e.contentWindow.postMessage({message:\"ready\",secret:t},\"*\")},!1)))}(window,document);\n\/\/# sourceURL=https:\/\/beta.reboot-conseil.com\/wp-includes\/js\/wp-embed.min.js\n<\/script>\n","thumbnail_url":"https:\/\/beta.reboot-conseil.com\/wp-content\/uploads\/2024\/01\/Screenshot-from-2024-01-12-19-18-24-1.png","thumbnail_width":1233,"thumbnail_height":441,"description":"PowerInfer est un moteur d&rsquo;inf\u00e9rence LLM qui a pour objective d&rsquo;optimiser au maximum l&rsquo;inf\u00e9rence de mod\u00e8le sur des machines \u00e0 usage personnel. Cet article est un aper\u00e7u rapide, si vous voulez en savoir plus, voici le github qui explique comment utiliser le moteur: https:\/\/github.com\/SJTU-IPADS\/PowerInfer Ce mod\u00e8le annonce des performances extraordinaires, de l&rsquo;ordre de dix fois plus rapide que le moteur llama. Mais comment il fait \u00e7a? Un design \u00ab\u00a0Locality-centric\u00a0\u00bb Dans un but d&rsquo;optimisation, l&rsquo;\u00e9quipe qui travaille sur le moteur a d\u00e9cid\u00e9 d&rsquo;utiliser un design bas\u00e9 sur la notion de localit\u00e9.Ce design permet de ne pas activer certains neurones et liaisons entre neurones bas\u00e9 sur leur utilisation, en employant deux concepts : la \u00ab\u00a0sparse activation\u00a0\u00bb qui a pour but de r\u00e9duire le nombre de neurones activ\u00e9s et les \u00ab\u00a0hot\/cold\u00a0\u00bb neurones dans le but de pr\u00e9dire les neurones actifs. Voici un article int\u00e9ressant sur la \u00ab\u00a0sparse activation\u00a0\u00bb: https:\/\/medium.com\/geekculture\/sparse-weight-activation-training-reduce-memory-and-training-time-in-machine-learning-8c0fad7d5def L&rsquo;impl\u00e9mentation de ces concepts permets d&rsquo;augmenter grandement les performances du moteur d&rsquo;inf\u00e9rence avec une d\u00e9gradation des performances qui reste tr\u00e8s limit\u00e9e. Inf\u00e9rence hybride CPU\/GPU Si vous compilez powerinfer avec l&rsquo;option qui va bien le moteur va r\u00e9partir la charge entre le CPU et le GPU pour obtenir les meilleures performances possibles. De m\u00eame, avec le combo RAM \/ VRAM, le moteur va utiliser les deux m\u00e9moires pour pouvoir charger des mod\u00e8les gros demandeur de m\u00e9moire. Bien \u00e9videmment, plus de VRAM est disponible, plus l&rsquo;inf\u00e9rence sera performante. Une option est disponible pour limiter la consommation de VRAM si besoin. Mod\u00e8les compatibles Ce moteur d&rsquo;inf\u00e9rence est actuellement compatible avec deux mod\u00e8les: L&rsquo;\u00e9quipe a annonc\u00e9 supporter le mod\u00e8le Mistral-7B dans le futur proche. Syst\u00e8me compatibles annonc\u00e9s PowerInfer est test\u00e9 et support\u00e9 sur les configurations suivantes: Le mot de la fin A mon sens ce moteur d&rsquo;inf\u00e9rence parait int\u00e9ressant, selon les objectives pour lesquels il a \u00e9tait con\u00e7u : pouvoir inf\u00e9rer facilement et efficacement sur une machine locale avec du mat\u00e9riel accessible. Ce n&rsquo;est que le d\u00e9but du projet, les informations sur l&rsquo;avanc\u00e9e du projet sont disponibles \u00e0 ce lien : https:\/\/github.com\/orgs\/SJTU-IPADS\/projects\/2\/views\/2 Avec le d\u00e9veloppement de fonctionnalit\u00e9s, ce genre de moteur d&rsquo;inf\u00e9rence pourrait permettre de d\u00e9mocratiser l&rsquo;inf\u00e9rence en local sur des machines personnelles. Pour aller plus loin, si vous aimez les documents de recherches, voici le whitepaper de powerinfer:https:\/\/arxiv.org\/abs\/2312.12456"}