Regex vs LLM for Structured Text

Sélectionné par Skill Harbor : un cadre de décision et un pipeline hybride pour parser du texte structuré qui évite à Muse de brûler de l'argent en appels LLM là où une regex suffisait. L'idée clé : la regex traite 95 à 98 % des cas à bas coût et de façon déterministe, réservez les appels LLM coûteux aux cas limites restants. Architecture : un parser regex extrait la structure d'abord, un nettoyeur de texte retire le bruit (marqueurs, numéros de page, artefacts), un scoreur de confiance signale les extractions à faible confiance (peu de choix, réponse manquante, texte court), et un validateur LLM ne corrige que les éléments signalés, retournant du JSON corrigé ou CORRECT. Inclut une implémentation Python complète (dataclasses figées, jamais de mutation des éléments parsés), des métriques réelles d'un pipeline de quiz en production (410 éléments : 98,0 % de succès regex, 8 éléments à faible confiance, environ 5 appels LLM, ~95 % d'économies contre tout-LLM, 93 % de couverture de tests), un arbre de décision (format répétitif cohérent va regex d'abord, texte libre variable va LLM direct), les bonnes pratiques (commencer par la regex même imparfaite, modèle le moins cher pour la validation, TDD pour les parsers, journaliser les métriques du pipeline), et les anti-modèles à éviter (tout envoyer au LLM, regex pour texte libre, sauter le score de confiance, muter les objets parsés). À utiliser pour parser quiz, formulaires, factures, reçus ou tableaux, choisir entre regex et LLM pour l'extraction, ou optimiser coût et précision d'extraction. Par @affaan-m, listé ici avec crédit à son créateur. Tiré du dépôt affaan-m/ECC (MIT). Bémols honnêtes : les métriques viennent d'un seul pipeline de production, vos résultats varieront avec des entrées plus sales ; la validation LLM nécessite une clé API et un client ; la regex a quand même besoin de tests pour les cas limites et l'encodage. Skill Harbor ne vérifie jamais le code, examinez-le vous-même avant usage.