1.0https://beta.reboot-conseil.comJacques Lorentzhttps://beta.reboot-conseil.com/index.php/author/jacques/rich600338<blockquote class="wp-embedded-content" data-secret="0Xtg0qJ4Xi"><a href="https://beta.reboot-conseil.com/index.php/2024/01/12/powerinfer-comment-booster-son-inference/">PowerInfer: comment booster son inférence</a></blockquote><iframe sandbox="allow-scripts" security="restricted" src="https://beta.reboot-conseil.com/index.php/2024/01/12/powerinfer-comment-booster-son-inference/embed/#?secret=0Xtg0qJ4Xi" width="600" height="338" title="« PowerInfer: comment booster son inférence » — " data-secret="0Xtg0qJ4Xi" frameborder="0" marginwidth="0" marginheight="0" scrolling="no" class="wp-embedded-content"></iframe><script> /*! This file is auto-generated */ !function(d,l){"use strict";l.querySelector&&d.addEventListener&&"undefined"!=typeof URL&&(d.wp=d.wp||{},d.wp.receiveEmbedMessage||(d.wp.receiveEmbedMessage=function(e){var t=e.data;if((t||t.secret||t.message||t.value)&&!/[^a-zA-Z0-9]/.test(t.secret)){for(var s,r,n,a=l.querySelectorAll('iframe[data-secret="'+t.secret+'"]'),o=l.querySelectorAll('blockquote[data-secret="'+t.secret+'"]'),c=new RegExp("^https?:$","i"),i=0;i<o.length;i++)o[i].style.display="none";for(i=0;i<a.length;i++)s=a[i],e.source===s.contentWindow&&(s.removeAttribute("style"),"height"===t.message?(1e3<(r=parseInt(t.value,10))?r=1e3:~~r<200&&(r=200),s.height=r):"link"===t.message&&(r=new URL(s.getAttribute("src")),n=new URL(t.value),c.test(n.protocol))&&n.host===r.host&&l.activeElement===s&&(d.top.location.href=t.value))}},d.addEventListener("message",d.wp.receiveEmbedMessage,!1),l.addEventListener("DOMContentLoaded",function(){for(var e,t,s=l.querySelectorAll("iframe.wp-embedded-content"),r=0;r<s.length;r++)(t=(e=s[r]).getAttribute("data-secret"))||(t=Math.random().toString(36).substring(2,12),e.src+="#?secret="+t,e.setAttribute("data-secret",t)),e.contentWindow.postMessage({message:"ready",secret:t},"*")},!1)))}(window,document); //# sourceURL=https://beta.reboot-conseil.com/wp-includes/js/wp-embed.min.js </script> https://beta.reboot-conseil.com/wp-content/uploads/2024/01/Screenshot-from-2024-01-12-19-18-24.png1233441PowerInfer est un moteur d’inférence LLM qui a pour objective d’optimiser au maximum l’inférence de modèle sur des machines à usage personnel. Cet article est un aperçu rapide, si vous voulez en savoir plus, voici le github qui explique comment utiliser le moteur: https://github.com/SJTU-IPADS/PowerInfer Ce modèle annonce des performances extraordinaires, de l’ordre de dix fois plus rapide que le moteur llama. Mais comment il fait ça? Un design « Locality-centric » Dans un but d’optimisation, l’équipe qui travaille sur le moteur a décidé d’utiliser un design basé sur la notion de localité.Ce design permet de ne pas activer certains neurones et liaisons entre neurones basé sur leur utilisation, en employant deux concepts : la « sparse activation » qui a pour but de réduire le nombre de neurones activés et les « hot/cold » neurones dans le but de prédire les neurones actifs. Voici un article intéressant sur la « sparse activation »: https://medium.com/geekculture/sparse-weight-activation-training-reduce-memory-and-training-time-in-machine-learning-8c0fad7d5def L’implémentation de ces concepts permets d’augmenter grandement les performances du moteur d’inférence avec une dégradation des performances qui reste très limitée. Inférence hybride CPU/GPU Si vous compilez powerinfer avec l’option qui va bien le moteur va répartir la charge entre le CPU et le GPU pour obtenir les meilleures performances possibles. De même, avec le combo RAM / VRAM, le moteur va utiliser les deux mémoires pour pouvoir charger des modèles gros demandeur de mémoire. Bien évidemment, plus de VRAM est disponible, plus l’inférence sera performante. Une option est disponible pour limiter la consommation de VRAM si besoin. Modèles compatibles Ce moteur d’inférence est actuellement compatible avec deux modèles: L’équipe a annoncé supporter le modèle Mistral-7B dans le futur proche. Système compatibles annoncés PowerInfer est testé et supporté sur les configurations suivantes: Le mot de la fin A mon sens ce moteur d’inférence parait intéressant, selon les objectives pour lesquels il a était conçu : pouvoir inférer facilement et efficacement sur une machine locale avec du matériel accessible. Ce n’est que le début du projet, les informations sur l’avancée du projet sont disponibles à ce lien : https://github.com/orgs/SJTU-IPADS/projects/2/views/2 Avec le développement de fonctionnalités, ce genre de moteur d’inférence pourrait permettre de démocratiser l’inférence en local sur des machines personnelles. Pour aller plus loin, si vous aimez les documents de recherches, voici le whitepaper de powerinfer:https://arxiv.org/abs/2312.12456