MoE Training
Entraîner des modèles Mixture-of-Experts avec DeepSpeed ou HuggingFace — routage, équilibrage de charge, parallélisme d'experts
- Quoi
- Entraîner des modèles Mixture-of-Experts avec DeepSpeed ou HuggingFace — routage, équilibrage de charge, parallélisme d'experts
- Coût
- Gratuit
- Prérequis
- aucun pour installer — ni compte, ni clé API. Pour vraiment entraîner des modèles MoE, il faut du matériel multi-GPU sérieux, Python et les dépendances listées (deepspeed, transformers, torch, accelerate).
- Installation
- Copiez le prompt d’installation ci-dessous dans votre Muse — votre agent fait le reste.
Sélectionné par Skill Harbor — un skill pratique pour entraîner des modèles Mixture-of-Experts : architecture MoE et mécanismes de routage top-k, équilibrage de charge (auxiliary loss, router z-loss), parallélisme d'experts avec DeepSpeed, réglage du capacity factor, lignes directrices de learning rate spécifiques aux MoE (plus bas que les modèles denses, décroissance plus longue), plus des exemples PyTorch fonctionnels d'un MoELayer de base à un bloc style Mixtral, scripts d'entraînement, optimisation d'inférence par activation sparse et pièges courants. Couvre la famille MoE notable — Mixtral 8x7B, DeepSeek-V3, Switch Transformers, GLaM. Découvert via skills.sh, listé ici avec crédit à son créateur par @ovachiever. Bémols honnêtes : le vrai entraînement MoE exige du matériel multi-GPU sérieux — le code est un guide, pas une pile d'entraînement clé en main ; licence MIT vérifiée au dépôt ; domaine en évolution rapide — vérifiez les versions actuelles de DeepSpeed/transformers avant d'exécuter quoi que ce soit. Skill Harbor ne vérifie jamais le code, examinez-le vous-même avant usage. Non vérifié.
Version :
Installation
Prérequis : aucun pour installer — ni compte, ni clé API. Pour vraiment entraîner des modèles MoE, il faut du matériel multi-GPU sérieux, Python et les dépendances listées (deepspeed, transformers, torch, accelerate). Installe-moi « MoE Training — Entraînement Mixture of Experts ». Un skill pratique pour entraîner des modèles Mixture-of-Experts : architecture MoE, routage top-k, équilibrage de charge, parallélisme d'experts avec DeepSpeed, lignes directrices de réglage, exemples PyTorch fonctionnels et scripts d'entraînement. Dépôt : https://github.com/ovachiever/droid-tings/blob/master/skills/moe-training/SKILL.md 1. Récupère le fichier SKILL.md du skill moe-training (et ses fichiers de référence) depuis le chemin du dépôt dans un dossier temporaire et résume en une ou deux phrases ce qu'il fait. 2. Contrôle de sécurité : examine le SKILL.md et les scripts pour tout contenu suspect (appels réseau inattendus, commandes shell, récolte d'identifiants). Ce dépôt ne doit contenir aucun secret dans le code ; les identifiants passent uniquement par le coffre sécurisé, les hôtes autorisés sont déclarés dans le SKILL.md. Vérifie que c'est bien le cas ; STOP sur le moindre signal d'alerte et préviens-moi. 3. Installe-le comme skill : copie le SKILL.md et ses fichiers auxiliaires dans le répertoire des skills de l'agent, dans un dossier nommé « moe-training ». 4. Vérifie sans appels réseau : frontmatter valide, fichiers en place. 5. Indique ce qui a été installé, où, et ce qu'il me reste à faire moi-même (ex. installer les dépendances et provisionner du matériel GPU pour le vrai entraînement). GitHub est optionnel : si j'ai un compte GitHub ou le CLI gh, tu peux l'utiliser ; sinon, l'accès public suffit. Règles : ne touche à rien en dehors du dossier temporaire et de la cible d'installation. Si quelque chose semble anormal, arrête-toi et demande-moi.
Questions
Comment installer une création ?
Chaque fiche produit contient un prompt d’installation à copier-coller. Collez-le dans votre Muse et il installe la création pour vous — sans configuration manuelle.
Où va mon argent ?
Directement au vendeur. Skill Harbor ne traite jamais les paiements : le paiement se fait sur la page du vendeur, généralement via Stripe.
Que signifie le ✓ à côté du nom d’un créateur ?
Il signifie que nous avons confirmé l’identité de la personne derrière la fiche. Il ne dit rien sur le code lui-même — vérifiez toujours une création avant de l’installer.