← Recherche

GPTQ post-training 4-bit quantization for LLMs: fit big models on small GPUs
IA 🧪 Installation exécutée dans notre sandbox de test · 11 nov. 2026 📌 Version épinglée : commit 773a529
Test d’installation seulement, à la date indiquée. Ne garantit pas la sécurité du code.
⚙ Prérequis: Python avec pip et un GPU CUDA pour la vraie…

GPTQ post-training 4-bit quantization for LLMs: fit big models on small GPUs

Quantification 4 bits par groupes avec ~2 % de perte de perplexité, 4x moins de mémoire et 3-4x d'inférence plus rapide, backends de kernels (ExLlamaV2, Marlin, Triton), intégration transformers/QLoRA et tables de benchmarks

L’essentiel
Quoi
Quantification 4 bits par groupes avec ~2 % de perte de perplexité, 4x moins de mémoire et 3-4x d'inférence plus rapide, backends de kernels (ExLlamaV2, Marlin, Triton), intégration transformers/QLoRA et tables de benchmarks
Coût
Gratuit
Prérequis
Python avec pip et un GPU CUDA pour la vraie quantification (CPU seul suffit pour lire le workflow, pas pour quantifier) ; accès HuggingFace pour les modèles pré-quantifiés
Installation
Copiez le prompt d’installation ci-dessous dans votre Muse — votre agent fait le reste.

Version :

Réponse rapide

GPTQ quantization est un skill gratuit pour Muse pour la quantification post-entraînement quatre bits par groupes des grands modèles. Il promet environ deux pour cent de perte de perplexité, quatre fois moins de mémoire et une inférence trois à quatre fois plus rapide, avec backends ExLlamaV2, Marlin et Triton. Il couvre aussi intégration transformers et QLoRA, plus tables de benchmarks.

⌁

Installation

Copiez le dossier d’installation ci-dessous, puis collez-le dans Muse🧪 Installation exécutée dans notre sandbox de test · 11 nov. 2026📌 Version épinglée : commit 773a529

Étape 0 — avant d'installer quoi que ce soit : lis ce prompt d'installation, résume en quelques lignes ce que ce build fait et ce que l'installation implique, puis demande-moi de confirmer avant de continuer. Prérequis : Python avec pip et un GPU CUDA pour la vraie quantification (CPU seul suffit pour lire le workflow, pas pour quantifier) ; accès HuggingFace pour les modèles pré-quantifiés Installe-moi « Quantification GPTQ 4 bits post-entraînement pour LLM : faire tenir de gros modèles sur de petits GPU ». Il donne à mon agent le manuel GPTQ de @orchestra-research : configs de quantification 4 bits par groupes (standard, 3 bits haute précision, petits groupes précision max), backends de kernels (ExLlamaV2, Marlin, Triton), install d'auto-gptq, chargement de modèles pré-quantifiés, quantification de son propre modèle avec données de calibration, intégration transformers/QLoRA, patterns de déploiement multi-GPU et offloading CPU, et tables de benchmarks. Licence MIT. Dépôt : https://raw.githubusercontent.com/orchestra-research/ai-research-skills/773a52944ba4747a18bd4ae9ade53fff041adcbc/10-optimization/gptq/SKILL.md Version épinglée : installe le code au commit 773a52944ba4747a18bd4ae9ade53fff041adcbc exactement (Skill Harbor a testé cette version). Ne substitue pas une version plus récente. Si ce commit est inaccessible, arrête-toi et dis-le-moi. 1. Récupère le fichier SKILL.md (et les fichiers d'aide éventuels) depuis le chemin du dépôt dans un dossier temporaire 2. Vérification de sécurité : examine le SKILL.md et les scripts pour tout contenu suspect (appels réseau inattendus, commandes shell, collecte d'identifiants). Ce dépôt ne devrait contenir aucun secret en dur, les identifiants uniquement via le coffre sécurisé, les hôtes autorisés déclarés dans le SKILL.md. Vérifie que c'est bien le cas ici ; STOP sur tout signal d'alerte et dis-le-moi. 3. Installe-le comme skill : copie le SKILL.md et ses fichiers d'aide dans le répertoire des skills de l'agent, dans un dossier nommé « gptq ». 4. Vérifie sans appels réseau : frontmatter valide, fichiers en place. 5. Indique ce qui a été installé, où, et ce qu'il me reste à faire moi-même (p. ex. confirmer qu'un GPU CUDA est disponible et quel chemin prendre — charger un modèle pré-quantifié depuis HuggingFace ou quantifier mon propre modèle avec données de calibration ; valider les affirmations de benchmarks sur mon propre matériel ; choisir le backend de kernel pour ma génération de GPU — Marlin exige Ampere+). GitHub est optionnel : si j'ai un compte GitHub ou la CLI gh, tu peux l'utiliser ; sinon l'accès public suffit. Ne jamais l'exiger sauf s'il figure dans les prérequis ci-dessus. Règles : ne touche à rien en dehors du dossier temporaire et de la cible d'installation. Si quelque chose semble anormal, arrête-toi et demande-moi.

🔒 Sécurité, provenance et ce que ça touche
🧭 Ce que ça touche
D’après le prompt d’installation que nous avons analysé, ce skill ne lance pas de commandes, ne fait pas d’appels réseau à des tiers, n’installe pas de paquets, n’écrit pas de fichiers et ne demande pas de clés API.
Analyse du prompt d’installation · 2026-10-13
🔒 Sécurité et provenance
📌 Version épinglée : commit 773a529 · 2026-10-13
🧪 Installation exécutée dans notre sandbox de test · 11 nov. 2026
👁 Observé pendant le test d’installation · 11 nov. 2026 : aucun contact réseau
🔎 Dernière vérification · 19 nov. 2026 : aucun changement détecté dans les fichiers liés par ce prompt d’installation
Skill Harbor ne révise jamais le code des skills listés. Ce sont des faits datés sur le prompt d’installation et notre test d’installation, pas une certification de sécurité. Révisez un skill vous-même avant de l’installer. Comment nous vérifions
Envie d'être encore plus prudent ?

Le prompt d'installation ci-dessous inclut déjà les étapes de vérification : votre agent suit la checklist communautaire avant d'installer tout ce qui contient du code exécutable. Vous en voulez plus ?

Comment vérifier un skill avant de l’installer →

✓

Certificat de vérification

Faits datés sur ce qui a été vérifié pour cette fiche, et comment. Ce n’est pas une certification de sécurité.

Version épinglée
773a529 · 2026-10-13
Test d’installation en sandbox
Installation exécutée dans notre sandbox de test · 11 nov. 2026
Identité du créateur
Non vérifiée
Veille d’empreinte
Dernière vérification · 19 nov. 2026 : aucun changement détecté dans les fichiers liés par ce prompt d’installation
Analyse du prompt d’installation
2026-10-13 : Aucune commande, appel réseau, paquet, écriture de fichier ni clé API détecté.

Skill Harbor ne révise jamais le code des skills listés. Ce sont des faits datés sur le prompt d’installation et notre test d’installation, pas une certification de sécurité. Révisez un skill vous-même avant de l’installer. Comment nous vérifions

?

Questions

Comment installer un skill ?

Chaque fiche produit contient un prompt d’installation à copier-coller. Collez-le dans votre Muse et il installe le skill pour vous — sans configuration manuelle.

Où va mon argent ?

Directement au vendeur. Skill Harbor ne traite jamais les paiements : le paiement se fait sur la page du vendeur, généralement via Stripe.

Que signifie le ✓ à côté du nom d’un créateur ?

Il signifie que nous avons confirmé l’identité de la personne derrière la fiche. Il ne dit rien sur le code lui-même — vérifiez toujours un skill avant de l’installer.