Cost-Aware LLM Pipeline

Sélectionné par Skill Harbor : des motifs composables pour maîtriser les coûts d'API LLM sans sacrifier la qualité. Quatre techniques : routage de modèles selon la complexité (modèles bon marché pour le simple, palier supérieur pour le complexe, avec exemples de seuils), suivi de coûts immuable (dataclasses gelées, dépense cumulée, limite budgétaire qui échoue vite), logique de retry ciblée (ne réessayer que les erreurs transitoires comme les rate limits et les 5xx, échouer immédiatement sur auth ou bad request), et cache de prompts pour les longs prompts système. Une section de composition montre les quatre techniques câblées dans une seule fonction de pipeline, plus un tableau de tarifs 2026 par palier de modèle, des bonnes pratiques (commencer pas cher, journaliser les décisions de routage, fixer des budgets explicites) et des anti-motifs (le modèle le plus cher pour tout, réessayer les erreurs permanentes, muter l'état des coûts, ignorer le cache). Par @affaan-m, listé ici avec crédit à son créateur. Tiré du dépôt affaan-m/ECC (MIT). Bémols honnêtes : motifs Python orientés développeurs, à adapter à votre stack ; le tableau de tarifs est un instantané 2026, vérifiez toujours les tarifs actuels des fournisseurs avant de budgéter. Skill Harbor ne vérifie jamais le code, examinez-le vous-même avant usage.