MoE Training
Entraîner des modèles Mixture-of-Experts avec DeepSpeed ou HuggingFace — routage, équilibrage de charge, parallélisme d'experts
- Quoi
- Entraîner des modèles Mixture-of-Experts avec DeepSpeed ou HuggingFace — routage, équilibrage de charge, parallélisme d'experts
- Coût
- Gratuit
- Prérequis
- aucun pour installer — ni compte, ni clé API. Pour vraiment entraîner des modèles MoE, il faut du matériel multi-GPU sérieux, Python et les dépendances listées (deepspeed, transformers, torch, accelerate).
- Installation
- Copiez le prompt d’installation ci-dessous dans votre Muse — votre agent fait le reste.
Sélectionné par Skill Harbor — un skill pratique pour entraîner des modèles Mixture-of-Experts : architecture MoE et mécanismes de routage top-k, équilibrage de charge (auxiliary loss, router z-loss), parallélisme d'experts avec DeepSpeed, réglage du capacity factor, lignes directrices de learning rate spécifiques aux MoE (plus bas que les modèles denses, décroissance plus longue), plus des exemples PyTorch fonctionnels d'un MoELayer de base à un bloc style Mixtral, scripts d'entraînement, optimisation d'inférence par activation sparse et pièges courants. Couvre la famille MoE notable — Mixtral 8x7B, DeepSeek-V3, Switch Transformers, GLaM. Découvert via skills.sh, listé ici avec crédit à son créateur par @ovachiever. Bémols honnêtes : le vrai entraînement MoE exige du matériel multi-GPU sérieux — le code est un guide, pas une pile d'entraînement clé en main ; licence MIT vérifiée au dépôt ; domaine en évolution rapide — vérifiez les versions actuelles de DeepSpeed/transformers avant d'exécuter quoi que ce soit. Skill Harbor ne vérifie jamais le code, examinez-le vous-même avant usage. Non vérifié.
Version :
Réponse rapide
MoE Training est un skill gratuit pour Muse pour entraîner des modèles Mixture-of-Experts avec DeepSpeed ou HuggingFace. Il couvre routage, équilibrage de charge et parallélisme d'experts, les techniques centrales qui rendent l'entraînement des modèles experts épars efficace. Pour les équipes explorant les architectures MoE, il fournit un chemin structuré de l'installation à un entraînement fonctionnel.
Installation
Copiez le dossier d’installation ci-dessous, puis collez-le dans Muse🧪 Installation exécutée dans notre sandbox de test · 11 nov. 2026📌 Version épinglée : commit 7acd12aÉtape 0 — avant d'installer quoi que ce soit : lis ce prompt d'installation, résume en quelques lignes ce que ce build fait et ce que l'installation implique, puis demande-moi de confirmer avant de continuer. Prérequis : aucun pour installer — ni compte, ni clé API. Pour vraiment entraîner des modèles MoE, il faut du matériel multi-GPU sérieux, Python et les dépendances listées (deepspeed, transformers, torch, accelerate). Installe-moi « MoE Training — Entraînement Mixture of Experts ». Un skill pratique pour entraîner des modèles Mixture-of-Experts : architecture MoE, routage top-k, équilibrage de charge, parallélisme d'experts avec DeepSpeed, lignes directrices de réglage, exemples PyTorch fonctionnels et scripts d'entraînement. Dépôt : https://raw.githubusercontent.com/ovachiever/droid-tings/7acd12a7547ded8f801615e69c3b881a584ce323/skills/moe-training/SKILL.md Version épinglée : installe le code au commit 7acd12a7547ded8f801615e69c3b881a584ce323 exactement (Skill Harbor a testé cette version). Ne substitue pas une version plus récente. Si ce commit est inaccessible, arrête-toi et dis-le-moi. 1. Récupère le fichier SKILL.md du skill moe-training (et ses fichiers de référence) depuis le chemin du dépôt dans un dossier temporaire 2. Contrôle de sécurité : examine le SKILL.md et les scripts pour tout contenu suspect (appels réseau inattendus, commandes shell, récolte d'identifiants). Ce dépôt ne doit contenir aucun secret dans le code ; les identifiants passent uniquement par le coffre sécurisé, les hôtes autorisés sont déclarés dans le SKILL.md. Vérifie que c'est bien le cas ; STOP sur le moindre signal d'alerte et préviens-moi. 3. Installe-le comme skill : copie le SKILL.md et ses fichiers auxiliaires dans le répertoire des skills de l'agent, dans un dossier nommé « moe-training ». 4. Vérifie sans appels réseau : frontmatter valide, fichiers en place. 5. Indique ce qui a été installé, où, et ce qu'il me reste à faire moi-même (ex. installer les dépendances et provisionner du matériel GPU pour le vrai entraînement). GitHub est optionnel : si j'ai un compte GitHub ou le CLI gh, tu peux l'utiliser ; sinon, l'accès public suffit. Règles : ne touche à rien en dehors du dossier temporaire et de la cible d'installation. Si quelque chose semble anormal, arrête-toi et demande-moi.
Enregistré dans vos installs récentes. Retrouvez-le à tout moment sur /connect.
🔒 Sécurité, provenance et ce que ça touche
Le prompt d'installation ci-dessous inclut déjà les étapes de vérification : votre agent suit la checklist communautaire avant d'installer tout ce qui contient du code exécutable. Vous en voulez plus ?
Certificat de vérification
Faits datés sur ce qui a été vérifié pour cette fiche, et comment. Ce n’est pas une certification de sécurité.
- Version épinglée
- 7acd12a · 2026-10-13
- Test d’installation en sandbox
- Installation exécutée dans notre sandbox de test · 11 nov. 2026 · Observé pendant le test d’installation: registry.npmjs.org
- Identité du créateur
- Non vérifiée
- Veille d’empreinte
- Dernière vérification · 19 nov. 2026 : aucun changement détecté dans les fichiers liés par ce prompt d’installation
- Analyse du prompt d’installation
- 2026-10-13 : Aucune commande, appel réseau, paquet, écriture de fichier ni clé API détecté.
Skill Harbor ne révise jamais le code des skills listés. Ce sont des faits datés sur le prompt d’installation et notre test d’installation, pas une certification de sécurité. Révisez un skill vous-même avant de l’installer. Comment nous vérifions
Questions
Comment installer un skill ?
Chaque fiche produit contient un prompt d’installation à copier-coller. Collez-le dans votre Muse et il installe le skill pour vous — sans configuration manuelle.
Où va mon argent ?
Directement au vendeur. Skill Harbor ne traite jamais les paiements : le paiement se fait sur la page du vendeur, généralement via Stripe.
Que signifie le ✓ à côté du nom d’un créateur ?
Il signifie que nous avons confirmé l’identité de la personne derrière la fiche. Il ne dit rien sur le code lui-même — vérifiez toujours un skill avant de l’installer.