ML Pipeline Creation — reproducible pipelines from data to deployment gates
Une méthode agnostique pour concevoir des pipelines ML reproductibles — DAG d'étapes avec contrats d'artefacts explicites, idempotence, validation de schémas, portes d'évaluation/promotion, observabilité, rollback et tests incrémentaux
- Quoi
- Une méthode agnostique pour concevoir des pipelines ML reproductibles — DAG d'étapes avec contrats d'artefacts explicites, idempotence, validation de schémas, portes d'évaluation/promotion, observabilité, rollback et tests incrémentaux
- Coût
- Gratuit
- Prérequis
- un projet ML existant avec sources de données et environnement cible ; un système d'orchestration ou de CI déjà en usage (Airflow, Kubeflow ou simples runners CI)
- Installation
- Copiez le prompt d’installation ci-dessous dans votre Muse — votre agent fait le reste.
Sélectionné par Skill Harbor — le skill ml-pipeline-creation de @seb1n, listé ici avec crédit à son créateur : une méthode agnostique permettant à un agent de concevoir, implémenter et valider des pipelines ML reproductibles — en partant des intrants requis (objectif métier, critères d'acceptation mesurables, propriété et cadence de rafraîchissement des données, environnements cibles, contraintes compute/coût/conformité), puis un contrat de sortie (graphe de dépendances des étapes, définition de pipeline versionnée, schémas d'entrée/sortie explicites, règles de versioning données/modèle/environnement, portes d'évaluation et de promotion avec comportement en échec, procédures d'observabilité/retry/backfill/rollback, et un dossier de vérification). Le workflow insiste sur l'inspection de l'environnement avant de choisir les outils (« ne pas introduire une plateforme juste pour la démontrer »), la modélisation du DAG en étapes idempotentes avec artefacts déclarés, le pinning des dépendances et des seeds, des portes qualité qui échouent en fermé, des retries seulement pour les échecs transitoires, et des tests incrémentaux — y compris forcer l'échec d'une étape pour vérifier que les suivantes ne s'exécutent jamais en silence. Il documente aussi les cas limites (données en streaming, entraînement non déterministe, gros backfills, dérive de schéma, promotion partielle). Bémols honnêtes : guidance méthodologique, pas un orchestrateur prêt à l'emploi — votre équipe fournit la plateforme réelle (Airflow, Kubeflow, runners CI) ; les frontières de sécurité sont explicites (pas de données de production en dev sans autorisation, pas de promotion en production sans approbation explicite) mais l'agent ne peut pas les faire respecter à votre place — relis chaque plan. Licence MIT. Skill Harbor ne vérifie jamais le code, examinez-le vous-même avant usage. Découvert via skills.sh.
Version :
Installation
Prérequis : un projet ML existant avec sources de données et environnement cible ; un système d'orchestration ou de CI déjà en usage (Airflow, Kubeflow ou simples runners CI) Installe-moi « ML Pipeline Creation — pipelines ML reproductibles, de la donnée aux portes de déploiement ». Il donne à mon agent la méthode agnostique de @seb1n pour concevoir des pipelines ML reproductibles : checklist des intrants requis, contrat de sortie (DAG d'étapes, schémas d'artefacts, règles de versioning, portes d'évaluation/promotion, procédures d'observabilité/rollback), un workflow qui privilégie les orchestrateurs existants, idempotence et portes qualité en échec fermé, tests incrémentaux, plus frontières de sécurité et gestion des cas limites. Licence MIT. Dépôt : https://github.com/seb1n/awesome-ai-agent-skills/blob/main/ai-ml-operations/ml-pipeline-creation/SKILL.md 1. Récupère le fichier SKILL.md (et les fichiers d'aide éventuels) depuis le chemin du dépôt dans un dossier temporaire et résume en une ou deux phrases ce qu'il fait. 2. Vérification de sécurité : examine le SKILL.md et les scripts pour tout contenu suspect (appels réseau inattendus, commandes shell, collecte d'identifiants). C'est un skill méthodologique — toute action exécutable au-delà de la documentation est un signal d'alerte. Ce dépôt ne devrait contenir aucun secret en dur. Vérifie que c'est bien le cas ici ; STOP sur tout signal d'alerte et dis-le-moi. 3. Installe-le comme skill : copie le SKILL.md et ses fichiers d'aide dans le répertoire des skills de l'agent, dans un dossier nommé « ml-pipeline-creation ». 4. Vérifie sans appels réseau : frontmatter valide, fichiers en place. 5. Indique ce qui a été installé, où, et ce qu'il me reste à faire moi-même (p. ex. choisir mon orchestrateur, définir mes critères d'acceptation et portes de promotion, et relire moi-même chaque plan de pipeline — l'agent ne peut pas faire respecter les frontières de sécurité à ma place). GitHub est optionnel : si j'ai un compte GitHub ou la CLI gh, tu peux l'utiliser ; sinon l'accès public suffit. Ne jamais l'exiger sauf s'il figure dans les prérequis ci-dessus. Règles : ne touche à rien en dehors du dossier temporaire et de la cible d'installation. Si quelque chose semble anormal, arrête-toi et demande-moi.
Questions
Comment installer une création ?
Chaque fiche produit contient un prompt d’installation à copier-coller. Collez-le dans votre Muse et il installe la création pour vous — sans configuration manuelle.
Où va mon argent ?
Directement au vendeur. Skill Harbor ne traite jamais les paiements : le paiement se fait sur la page du vendeur, généralement via Stripe.
Que signifie le ✓ à côté du nom d’un créateur ?
Il signifie que nous avons confirmé l’identité de la personne derrière la fiche. Il ne dit rien sur le code lui-même — vérifiez toujours une création avant de l’installer.