voice-likeness-eval

Avant de commencer : lis ce prompt d'installation au complet, dis-moi en quelques lignes ce que ce skill fait et ce que son installation implique, et attends mon feu vert avant de faire quoi que ce soit d'autre. Prérequis : aucun pour l'installation elle-même : aucun compte, aucune clé API, aucun service payant, et rien d'autre à installer d'abord. Pour utiliser le skill ensuite comme décrit, il te faut un compte Modal et la CLI Modal configurée (`modal setup`, authentifiée par Modal lui-même, pas par une clé API dans un fichier) parce que le scoreur tourne sur un GPU dans Modal (un H100 dans le code auquel SKILL.md renvoie), tes propres prises générées et de vrais extraits de voix du personnage, et le code du scoreur du reste du dépôt NPCTalk (`server/finetune/train.py`, classe `Scorer`), qui ne fait pas partie de ce skill et n'est pas installé ; SKILL.md lui-même ne nomme aucun prix ni aucun plan payant pour Modal, et le temps GPU Modal est facturé par Modal. Ne mets jamais aucune clé ni aucun jeton dans un fichier. Installe-moi « voice-likeness-eval ». C'est un playbook en un seul SKILL.md pour mesurer à quel point une voix clonée ressemble au vrai personnage, et si un changement a vraiment aidé : similarité d'empreinte de locuteur (ECAPA) par rapport au centroïde de vrais extraits tenus à l'écart, taux d'erreur de mots avec Whisper, comparaison ligne par ligne avec tests t appariés, assez d'exécutions pour battre le bruit d'échantillonnage, vérification d'un sélecteur de prises avec un modèle de locuteur indépendant, et simulation de stratégies de sélection sur de nombreuses prises notées avant d'en déployer une. Dépôt : https://github.com/christos-antono/NPCTalk (le skill est le dossier .agents/skills/voice-likeness-eval/ au commit épinglé : SKILL.md seulement ; la copie identique .claude/skills/ et la copie racine skills/ sont des doublons, pas la source de cette fiche, et le reste du dépôt NPCTalk n'est pas installé) Version épinglée : installe le code au commit 59635ceb8ee010599c3caf9d9d1ee1aa114af91d exactement. Ne substitue pas une version plus récente. Si ce commit est inaccessible, arrête-toi et dis-le-moi. 1. Clone https://github.com/christos-antono/NPCTalk dans un dossier temporaire, place-toi au commit 59635ceb8ee010599c3caf9d9d1ee1aa114af91d, et copie le dossier .agents/skills/voice-likeness-eval/ de ce checkout. Compare ensuite chaque fichier du dossier aux empreintes enregistrées pour cette fiche le 2026-10-19 : [FINGERPRINTS] - SKILL.md: SHA-256 b1a74087214e27416d8b4accdf76afab5640ebfffa358a3a52481f052b85312a Si un fichier ne correspond pas, il a changé depuis la préparation de la fiche : ne l'installe pas encore, dis-moi ce que tu as trouvé et laisse-moi décider. 2. Lis SKILL.md au complet et dis-moi en mots simples : ce que le skill fait quand on l'utilise, à quels services il se connecte, s'il lit ou envoie des informations personnelles ou des clés, et tout ce qui semble inhabituel. Arrête-toi sur tout signal d'alerte et dis-le-moi avant d'aller plus loin. Confirme ces points à partir des fichiers : - Le dossier du skill contient un seul fichier : SKILL.md (4 225 octets). Il n'y a aucun code, aucun script, aucun fichier de référence et aucune liste de dépendances dans le dossier : le skill est un ensemble d'instructions et de résultats mesurés pour évaluer une voix clonée, pas le scoreur lui-même. Le scoreur qu'il cite vit hors du dossier du skill, dans server/finetune/train.py (classe `Scorer`, non installé). - Rien n'est envoyé nulle part pendant l'installation elle-même ; le seul téléchargement à l'installation est le dossier du skill depuis GitHub au commit épinglé. Le fichier ne nomme aucune télémétrie et aucun service distant autre que Modal à l'usage, décrit ci-après. - À l'usage, et seulement à ce moment-là, exécuter le scoreur envoie des données à Modal : les commandes que SKILL.md donne (`modal run server/finetune/train.py::score_extra --model drama3best8a,drama3best8b` et `modal run server/finetune/train.py::pick_study_run --models run1,run2,...`) exécutent `server/finetune/train.py` sur un GPU dans Modal (H100 dans le code), donc les fichiers générés `<model>_<line>.wav` de `data/finetune/<speaker>/` et les vrais extraits du personnage gardés dans les volumes Modal (npcvoice-train et npcvoice-models, voir server/finetune/fish_common.py, non installé) y sont traités, et le scoreur y télécharge ses modèles (speechbrain `spkrec-ecapa-voxceleb` pour ECAPA, `openai/whisper-large-v3` pour Whisper, et `microsoft/wavlm-base-plus-sv` pour l'étude de sélection WavLM). C'est une divulgation, pas une étape à exécuter pendant cette installation : n'exécute aucun `modal run`, aucune notation, aucune étude de sélection pendant cette installation. - Comment la mesure fonctionne, d'après SKILL.md et le `Scorer` qu'il cite : la correspondance vocale est la similarité cosinus de l'empreinte de locuteur ECAPA (speechbrain `spkrec-ecapa-voxceleb`) d'une réplique générée par rapport au centroïde de 60 vrais extraits du personnage qui n'ont jamais servi de références (les vrais extraits du même personnage notent environ 0,8 contre lui ; 0,6-0,8 est la plage où les moteurs diffèrent). L'erreur de mots est Whisper large-v3 qui transcrit la réplique, taux d'erreur par rapport au texte avec `[tags]` et ponctuation retirés ; l'argot (« busta » entendu « buster », « Ballas » entendu « ball is ») met un plancher d'environ 5-8 % sous chaque moteur, donc le taux se compare entre moteurs, pas à zéro. L'ensemble de test est de dix lignes de test dans le style du personnage avec un éventail d'humeurs (`TEST_LINES` dans train.py). `score_extra` ajoute les fichiers `<model>_<line>.wav` à `scores.json` et reconstruit `compare.html` (chaque ligne de chaque moteur, écoutable, avec ce que Whisper a entendu). - Les règles d'honnêteté que SKILL.md impose : comparer ligne par ligne (moyenne de chaque moteur sur ses exécutions par ligne, puis test t apparié sur les 10 lignes, |t| > 2,26 donne p < 0,05 avec 9 degrés de liberté, et indiquer « meilleur sur 8 lignes sur 10 » à côté de la moyenne) ; exécuter plus de deux fois (des réglages identiques ont donné 0,715 et 0,645 en deux exécutions, une exécution chanceuse a fait paraître un changement d'échantillonnage à +0,08 alors qu'il était à +0,017, et avec 10 exécutions de prises uniques la base s'est établie à 0,660) ; rapporter chaque exécution (par exemple `0,704 (runs 0,702 / 0,706)`) et dire quand une différence n'est pas significative, une égalité est un résultat ; se corriger au même endroit où l'affirmation a été faite ; et ne jamais laisser le sélecteur se noter lui-même (vérifier les choix d'un modèle de locuteur avec un autre : les choix par ECAPA ont beaucoup élevé ECAPA et un peu WavLM, les choix par WavLM ont beaucoup élevé WavLM et moins ECAPA, les deux ensemble ont gardé l'essentiel de chacun ; si seule la métrique du sélecteur bouge, c'est qu'elle est jouée, pas que le clonage est meilleur). - Simuler avant de déployer, d'après SKILL.md : rendre N prises par ligne et noter chaque prise permet de tester les règles de sélection hors ligne ; 100 prises (10 par ligne) ont donné, à 8 prises par ligne, une prise 0,660, choix WavLM 0,706, choix ECAPA 0,723, les deux 0,721 avec le plus bas taux d'erreur de mots (7,4 %), et le vrai meilleur de 8 par ECAPA sur vrais extraits 0,732 comme plafond ; la règle déployée a mesuré 0,704 directement (2 exécutions), près de sa simulation. Le tableau mesuré pour Lamar (10 lignes) dans SKILL.md compare les moteurs et réglages seulement comme résultats passés (clone instantané ElevenLabs 0,612 / 10,5 % d'erreur, Fish Audio Drama 3 par défaut 0,643 / 7,1 %, Drama 3 température 0,7 / top_p 0,8 une prise 0,660 / 7,9 %, S2 Pro même extrait de référence 0,680 / 6,1 %, Drama 3 meilleur de 8 vérifié avec choix ECAPA + WavLM 0,704 / 8,6 %, S2 Pro meilleur extrait unique 0,707 / 5,6 %, S2 Pro affiné LoRA étape 250 à 0,785 / 7,5 %) ; SKILL.md ne demande aucun compte ni aucune clé ElevenLabs, Fish Audio ou autre moteur vocal pour la notation elle-même, et aucun ne doit être créé ni utilisé pendant cette installation. 3. Quand je dis « yes, install », installe-le comme skill : copie tout le dossier voice-likeness-eval dans le répertoire des skills de l'agent, dans un dossier nommé « voice-likeness-eval », en gardant son fichier (SKILL.md). N'utilise pas les routes plugin, marketplace ou npx du dépôt : elles installent tout le plugin NPCTalk ou tous ses skills, pas ce seul skill. 4. Vérifie sans appels réseau : frontmatter valide, fichier en place. 5. Indique ce qui a été installé, où, et ce qu'il me reste à faire moi-même (par exemple : configurer un compte Modal et la CLI Modal moi-même et accepter la facturation GPU de Modal seulement si et quand je veux exécuter le scoreur ; fournir moi-même le code du scoreur, les prises générées et les vrais extraits tenus à l'écart, en n'utilisant que des voix dont j'ai les droits ; fournir moi-même tout personnage et toutes lignes de test ; utiliser le skill est une étape séparée qui ne commence que quand je le demande, et l'envoi à l'usage à Modal divulgué ci-dessus arrive seulement à ce moment-là, sur de l'audio que je lance). GitHub est optionnel : si j'ai un compte GitHub ou la CLI gh, tu peux l'utiliser ; sinon l'accès public suffit. Ne jamais l'exiger sauf s'il figure dans les prérequis ci-dessus. Règles : ne touche à rien en dehors du dossier temporaire et de la cible d'installation. Si quelque chose semble anormal, arrête-toi et demande-moi.