Inference Optimisation Skill
Sélectionné par Skill Harbor : Accélère un serveur LLM, décodage, prefill et démarrage, avec des expériences A/B contrôlées et un registre de chaque essai.
- Quoi
- Sélectionné par Skill Harbor : Accélère un serveur LLM, décodage, prefill et démarrage, avec des expériences A/B contrôlées et un registre de chaque essai.
- Coût
- Gratuit
- Prérequis
- un serveur LLM local en cours d'exécution (vLLM, SGLang, llama.cpp, ExLlama/TabbyAPI, MLX ou TensorRT-LLM) ; Python pour les scripts du harnais ; accès aux outils GPU de la machine (par exemple nvidia-smi ou docker) pour le gardien de plafond mémoire.
- Installation
- Copiez le prompt d’installation ci-dessous dans votre Muse — votre agent fait le reste.
Sélectionné par Skill Harbor : Accélère la vitesse de votre serveur LLM local, sur tout matériel et toute quantification, du décodage au prefill, en passant par le cache KV, le démarrage et le temps jusqu'au premier token. Il calcule le plafond théorique, puis mène des expériences A/B contrôlées, un changement à la fois, et tient un registre de chaque essai. Il fonctionne avec vLLM, SGLang, llama.cpp, ExLlama et TabbyAPI, MLX et TensorRT-LLM, et grimpe par les leviers les moins chers d'abord : caches persistants, graphes de décodage, décodage spéculatif, concurrence et taille du KV, puis réglage du prefill et tailles de noyaux. Ses règles de base sont strictes : un seul changement par expérience, au moins six échantillons de décodage par essai, des contrôles des deux côtés, et une victoire ne compte que si elle bat les deux contrôles sans rien régresser de plus d'environ trois pour cent. Il impose aussi un seul travail GPU à la fois, un profil d'alimentation fixe et un gardien de plafond mémoire, et il interdit d'imprimer ou de copier tout identifiant. Le bruit d'un essai à l'autre est typiquement de cinq à dix pour cent, donc les petits gains peuvent être du bruit, et les résultats dépendent de votre matériel, de votre modèle et de votre quantification. Certains compromis sont étiquetés avec perte, comme le prefill int8, et un serveur ne doit jamais être tué de force en plein lot. Par @sybil-solutions, listé ici avec crédit à son créateur. Découvert via GitHub. Skill Harbor ne vérifie jamais le code, examinez-le vous-même avant usage.
Version :
Réponse rapide
Sélectionné par Skill Harbor : Accélère la vitesse de votre serveur LLM local, sur tout matériel et toute quantification, du décodage au prefill, en passant par le cache KV, le démarrage et le temps jusqu'au premier token. Il calcule le plafond théorique, puis mène des expériences A/B contrôlées, un changement à la fois, et tient un registre de chaque essai.
Installation
Copiez le dossier d’installation ci-dessous, puis collez-le dans Muse📌 Version épinglée : commit fda968ePrérequis : un serveur LLM local en cours d'exécution (vLLM, SGLang, llama.cpp, ExLlama/TabbyAPI, MLX ou TensorRT-LLM) ; Python pour les scripts du harnais ; accès aux outils GPU de la machine (par exemple nvidia-smi ou docker) pour le gardien de plafond mémoire. Installe-moi « Optimisation d'inférence Skill ». Il améliore pas à pas la vitesse de votre serveur LLM local, sur tout matériel et toute quantification, du décodage au prefill, en passant par le cache KV, le démarrage et le temps jusqu'au premier token, avec des expériences A/B contrôlées et un registre de chaque essai. Dépôt : https://github.com/sybil-solutions/inference-optimisation-skill Version épinglée : installe le code au commit fda968e7fc1996aa23c67139c755fe541c9d4be0 exactement (Skill Harbor a testé cette version). Ne substitue pas une version plus récente. Si ce commit est inaccessible, arrête-toi et dis-le-moi. 1. Récupère le fichier SKILL.md (et ses fichiers d'aide) depuis le chemin skills/inference-optimisation/ du dépôt dans un dossier temporaire. 2. Contrôle de sécurité : examine le SKILL.md et les scripts pour tout comportement suspect (appels réseau inattendus, commandes shell, récolte d'identifiants). Ce dépôt ne doit contenir aucun secret dans le code, identifiants uniquement via le coffre-fort sécurisé, hôtes autorisés déclarés dans le SKILL.md. Vérifie que c'est le cas ici ; STOP au moindre drapeau rouge et dis-le-moi. 3. Installe-le comme skill : copie SKILL.md et ses fichiers d'aide dans le dossier des skills de l'agent, dans un dossier nommé « inference-optimisation ». 4. Vérifie sans appels réseau : frontmatter valide, fichiers en place. 5. Rapporte ce qui a été installé, où, et ce qu'il me reste à faire moi-même (ex. le pointer vers mon serveur local en cours d'exécution, fixer mon plafond mémoire et mes métriques cibles). GitHub est optionnel : si j'ai un compte GitHub ou le CLI gh, tu peux l'utiliser ; sinon l'accès public suffit. Ne jamais l'exiger sauf si c'est dans les prérequis ci-dessus. Règles : ne touche à rien en dehors du dossier temporaire et de la cible d'installation. Si quelque chose semble anormal, arrête-toi et demande-moi.
Enregistré dans vos installs récentes. Retrouvez-le à tout moment sur /connect.
🔒 Sécurité, provenance et ce que ça touche
Le prompt d'installation ci-dessous inclut déjà les étapes de vérification : votre agent suit la checklist communautaire avant d'installer tout ce qui contient du code exécutable. Vous en voulez plus ?
Certificat de vérification
Faits datés sur ce qui a été vérifié pour cette fiche, et comment. Ce n’est pas une certification de sécurité.
- Version épinglée
- fda968e
- Test d’installation en sandbox
- Aucun test d’installation en sandbox consigné pour cette fiche.
- Identité du créateur
- Non vérifiée
- Veille d’empreinte
- Dernière vérification · 19 nov. 2026 : aucun changement détecté dans les fichiers liés par ce prompt d’installation
Skill Harbor ne révise jamais le code des skills listés. Ce sont des faits datés sur le prompt d’installation et notre test d’installation, pas une certification de sécurité. Révisez un skill vous-même avant de l’installer. Comment nous vérifions
Questions
Comment installer un skill ?
Chaque fiche produit contient un prompt d’installation à copier-coller. Collez-le dans votre Muse et il installe le skill pour vous — sans configuration manuelle.
Où va mon argent ?
Directement au vendeur. Skill Harbor ne traite jamais les paiements : le paiement se fait sur la page du vendeur, généralement via Stripe.
Que signifie le ✓ à côté du nom d’un créateur ?
Il signifie que nous avons confirmé l’identité de la personne derrière la fiche. Il ne dit rien sur le code lui-même — vérifiez toujours un skill avant de l’installer.