L'état des skills d'agents : en 12 nuits, 1 skill surveillé sur 9 a changé au moins une fois

Skill Harbor répertorie maintenant 2 762 skills. Dans la nuit du 22 au 23 octobre, nous avons vérifié 2 681 fichiers d'installation et nous détenions une empreinte pour 2 669 des fiches listées, soit 96,6 pour cent du catalogue. Le vérificateur nocturne est programmé depuis le 3 octobre. Chaque nuit, nous re-téléchargeons ces fichiers et nous comparons leur hash SHA-256 à l'empreinte révisée. Quand les octets diffèrent, la fiche est signalée jusqu'à ce qu'un triage supervisé par un humain décide de ce qui s'est passé.

Cette édition couvre du 3 au 23 octobre, trois semaines, pas un mois complet. Les chiffres propres ci-dessous couvrent les 12 nuits du 12 au 23 octobre, pendant lesquelles chaque changement détecté a été écrit dans un journal en ajout seul, avant toute décision de triage. La première semaine a été une semaine de calibrage, et nous le disons ci-dessous au lieu de prétendre qu'il s'agissait de la même mesure.

Les chiffres en tête

• 2 669 skills avec empreinte le 23 octobre, sur 2 762 fiches listées. 87 fiches listées n'ont toujours pas de snapshot : 34 n'ont aucun fichier SKILL.md à récupérer, 36 sont ambiguës (plusieurs fichiers candidats, aucun choix sûr), et 17 échouent à la récupération, dont les 11 fiches Telep dont le dépôt est devenu privé.
• 486 événements de changement de fichier en 12 nuits (12 au 23 octobre), sur 296 fiches, 100 vendeurs et 104 dépôts ou hôtes.
• 40,5 changements par nuit en moyenne, de 22 à 57. Les nuits où le nombre vérifié est conservé, cela représente 0,8 à 2,5 pour cent des fichiers vérifiés par nuit.
• 296 fiches ont changé au moins une fois en 12 nuits : environ 1 fiche surveillée sur 9. 200 ont changé exactement une fois, 96 ont changé au moins deux fois (32 pour cent des fiches qui ont bougé), et 21 ont changé quatre fois ou plus.
• Pour un fichier qui a changé à nouveau, l'écart médian entre deux changements a été de 2,0 jours (moyenne 2,6 jours, 188 écarts sur 98 fichiers). Ce n'est pas la durée de vie médiane d'un skill. La plupart des skills surveillés n'ont pas bougé du tout pendant la fenêtre. Cela dit : les récidivistes ne sont pas occasionnels. Ils bougent tous les deux jours environ.
• Issue finale des 486 événements, telle qu'enregistrée le 24 octobre : 324 re-baselinés comme bénins (66,7 pour cent), 125 suivis d'un prompt d'installation régénéré (25,7 pour cent), 35 laissés sous un avertissement visible « en attente de vérification » (7,2 pour cent), 2 toujours en attente (0,4 pour cent). Ce sont des issues finales, mises à jour quand un train ultérieur a régénéré un prompt. Ce n'est pas la répartition décidée la nuit du triage elle-même.

Les changements voyagent en meute

Le même motif que la semaine un, maintenant mesuré sur 12 nuits. Les sources les plus actives ont été :

• coreyhaines31/marketingskills : 45 événements
• dontbesilent2025/dbskill : 40 événements
• heygen-com/hyperframes : 32 événements
• Weaxs/stock-analysis-plugin : 24 événements
• himself65/finance-skills : 20 événements
• leonxlnx/taste-skill : 17 événements
• software-mansion/argent : 17 événements
• earthtojake/text-to-cad : 16 événements
• expo/skills : 15 événements

Si vous installez cinq skills d'un de ces dépôts, ils auront tendance à bouger la même nuit, et à casser (ou s'améliorer) ensemble. La fiche la plus remuante a été Maritime (maritime.sh) : 12 changements en 12 nuits, un par nuit. Suivent Answer Me with HTML (9 changements) et Yomiyasu (7 changements). Grandet API Price Finder a produit 6 événements en quatre jours, du 20 au 23 octobre, sur ses deux fichiers, dont un retour en arrière du build 20261018b vers 20261017.

Par catégorie du catalogue, en événements absolus : Developer tools 77 événements sur 47 fiches, Marketing 51 sur 31, Trading 41 sur 22, Design 35 sur 22, Productivity 27 sur 13, Finance 23 sur 23, Writing 21 sur seulement 6 fiches, et Engineering 21 sur 8. Writing et Engineering semblent calmes en nombre et remuants en répétition : peu de fiches, chacune bougeant plusieurs fois. Les catégories du catalogue sont approximatives (plusieurs quasi-synonymes), donc prenez ce classement comme une forme, pas comme un tableau précis.

Une nuit, disséquée : le 19 octobre

Le 19 octobre, 57 fichiers ont changé. Le triage du matin a re-baseliné automatiquement 32 changements routiniers et en a signalé 25 pour un regard humain. Les 25 comprenaient : les skills de design Leonxlnx, dont plusieurs étaient devenus des renvois vers ailleurs ; les skills Firecrawl de génération de leads et de recherche de leads, réécrits autour d'un nouveau système ; les skills Three.js, réécrits pour une nouvelle version et un nouveau chemin de rendu ; et un skill de base de données dont la nouvelle version change la façon dont il se déclenche. Chacun aurait rendu l'ancien prompt d'installation trompeur. Les 32 routiniers, à l'inverse, étaient de la prose, des montées de version et de petits correctifs qui laissaient le prompt fidèle.

Autres changements non routiniers de la fenêtre, chacun daté :

• 20 octobre : McClipFace 2.9.1 a retiré une étape d'opt-in et modifié son flux d'achat. Il a été signalé pour un regard humain, pas re-baseliné automatiquement.
• 21 octobre : un skill d'hébergement Firebase a gagné de nouvelles commandes shell et une commande de secrets passée par le shell ; un skill Google BigQuery a réintroduit une section d'attribution obligatoire qui contredisait le prompt de sa page. Les deux ont été signalés.
• 23 octobre : le skill Hallmark est passé de la version 1.1.0 à 2.0.0 avec environ 87 pour cent de son contenu réécrit, et Grandet est revenu à un build antérieur. Les deux ont été signalés, et le deuxième fichier de Grandet était toujours en attente à la date de coupure.
• 11 octobre : un skill de passerelle de sécurité a été massivement réécrit, McClipFace a gagné une fonction de découverte d'offres, et un skill de navigation Chrome a vu ses garde-fous sur les secrets réécrits. Les trois ont été signalés.

Disparus, et toujours listés

Quatre fiches ne sont plus listées : MuseFi, Manjangilchi, l'initialisateur d'espace de travail Shipshitdev, et le gestionnaire d'événements de calendrier Terrylica. Les 11 fiches Telep sont un cas différent : toujours listées, mais leur dépôt est privé, donc aucun snapshot ne peut être récupéré et aucun changement ne peut être détecté. C'est un angle mort, et il est compté dans les 87 fiches non couvertes ci-dessus, pas caché.

Le matin du 24 octobre, seulement deux fiches portaient encore un drapeau « en attente de vérification » (ElevenLabs Music et Grandet), une seule portait encore un drapeau « contenu distant modifié » (Grandet), et zéro fiche n'était suspendue.

La section honnêteté

Quatre choses que nous avons mal faites, manquées, ou que nous ne pouvons pas prouver proprement. Elles restent dans la version publiée si ce brouillon est publié.

1. La nuit où nous avons crié au loup, le 9 octobre. Le vérificateur a levé 460 signaux. 416 étaient de notre faute : les baselines créées le 8 octobre stockaient des pages web GitHub au lieu de fichiers bruts, donc chaque fichier « changeait » contre sa propre base. Les vrais changements en amont cette nuit-là : 44, dont 1 demandait un regard humain (le modèle de consentement de McClipFace). Un compteur de changements sans taux de fausses alarmes, c'est du marketing, pas de la mesure. La série de 12 nuits ci-dessus commence après cette migration, et c'est pourquoi nous lui faisons davantage confiance qu'à la première semaine.

1. La première semaine n'est pas une série propre. La surveillance a été programmée le 3 octobre en mode fantôme : le triage notait ce qu'il aurait re-baseliné sans rien écrire. Le tout premier passage, le 3 octobre, n'a produit aucun compte : il a planté sur sa première requête D1, parce que cette requête récupérait le contenu complet de 1 399 snapshots, environ 278 Mo, au-delà de ce que l'API REST D1 peut renvoyer. Il a été réparé le même matin (lecture groupée sans le contenu, ancien contenu récupéré une ligne à la fois seulement en cas de hash différent), et le premier vérificateur nocturne réussi a été celui du 4 octobre. Le bilan fantôme a compté 1 945 re-baselines hypothétiques sur sept nuits, dominées par le bruit de récupération. Les nuits individuelles que nous pouvons vérifier : 4 octobre, 99 changements (cumul depuis la création des snapshots, pas un taux sur 24 heures) ; triage du 6 octobre, 32 changements ; 7 octobre, 4 changements en amont signalés ; 8 octobre, 51 changements triés ; 10 octobre, 90 changements sur 2 247 vérifiés, 4,0 pour cent, dont 74 routiniers et 16 demandant un regard humain. Le compte par nuit pour la nuit du 5 octobre n'est pas conservé séparément dans les fichiers de journal que nous avons trouvés, donc nous ne l'inventons pas, et nous ne présentons pas un total unique sur 21 nuits comme si la méthode avait été constante.

1. Le détecteur a suspendu la même fiche deux fois, et les deux fois il avait tort. Le 14 octobre puis de nouveau le 20 octobre, le scan automatique de ligne rouge a suspendu coreyhaines31-attribution pour un motif d'« exfiltration ». Les deux suspensions ont été levées par Max après révision : le passage signalé décrit de l'analytics first-party, un identifiant anonyme d'analytics passé au webhook de l'utilisateur lui-même, avec un avertissement explicite de ne jamais transmettre d'identifiants personnels à un tiers. C'est un faux positif lexical, et il se reproduira prévisiblement à la prochaine montée en amont tant que le détecteur lui-même ne sera pas corrigé. Zéro suspension n'était active à la date de coupure.

1. Le triage du 11 octobre a tourné en retard. Le triage de 03h37 a échoué sur un quota Cloudflare D1, et le rattrapage a tourné vers 07h47 après la montée vers Workers Paid. Il a traité 24 changements (12 re-baselinés automatiquement, 12 signalés). Rien n'a été perdu, mais le rapport de ce matin-là était en retard, et l'échec de quota fait partie du dossier.

Deux limites de la méthode elle-même. D'abord, un snapshot est un fichier par fiche, le fichier nommé dans le prompt d'installation. Un signal de changement veut dire que les octets diffèrent. Il ne dit pas si le changement compte, et il ne dit rien du reste du dépôt. Ensuite, le catalogue et la couverture ont changé pendant la fenêtre : la couverture est passée d'environ 2 294 snapshots le 12 octobre à 2 681 le 23 octobre, et 152 nouveaux snapshots ont été créés le 20 octobre seulement, à mesure que de nouvelles fiches arrivaient. Les chiffres sur 12 nuits portent donc sur une cohorte qui bouge, pas sur un panel fixe.

Pourquoi ça compte si vous installez des skills

Un prompt d'installation écrit le mois passé décrit les fichiers du mois passé. En 12 nuits, 1 skill surveillé sur 9 a bougé, et un tiers de ceux qui ont bougé ont bougé à nouveau en quelques jours. C'est pourquoi chaque prompt d'installation Skill Harbor porte l'empreinte de la version révisée, pourquoi votre agent a la consigne de s'arrêter et de vous demander si le fichier ne correspond plus, et pourquoi les fiches dont le test n'a pas pu être complété le disent sur leur face. L'écosystème n'est pas une bibliothèque. C'est une rivière. Nous la surveillons pour que la page que vous lisez décrive l'eau telle qu'elle est aujourd'hui.

La suite

La surveillance continue chaque nuit. La prochaine édition devrait couvrir un mois complet avec une méthode stable, et pourra dire si l'écart de 2,0 jours chez les récidivistes tient, si le rythme quotidien de Maritime est une exception ou une classe à part, et si l'angle mort Telep grandit ou rétrécit. Si un chiffre ici s'avère faux un jour, nous le corrigerons au grand jour, de la même façon que nous traitons les fiches.

🤍 0