Orca computer use: GUI control via accessibility tree
Contrôler une fenêtre visible via le skill computer-use d'Orca — clics, saisie, menus, boîtes de dialogue et captures — seulement quand les approches par code ne marchent pas
- Quoi
- Contrôler une fenêtre visible via le skill computer-use d'Orca — clics, saisie, menus, boîtes de dialogue et captures — seulement quand les approches par code ne marchent pas
- Coût
- Gratuit
- Prérequis
- Orca installé (l'exécutable correspondant à ce guide) ; rien d'autre requis
- Installation
- Copiez le prompt d’installation ci-dessous dans votre Muse — votre agent fait le reste.
Sélectionné par Skill Harbor — le stub de découverte de @stablyai pour la capacité computer-use d'Orca : il apprend à l'agent à résoudre le bon exécutable Orca pour la session (variables d'environnement comme ORCA_CLI_COMMAND, checkouts de dev, `orca-ide` sous Linux pour éviter le conflit avec le lecteur d'écran Orca de GNOME), puis à charger le guide correspondant à la version avec `skills get computer-use` avant de piloter une fenêtre visible — arbre d'accessibilité, clics, saisie, menus, boîtes de dialogue et captures d'écran sur apps natives, fenêtres de navigateurs externes (Chrome, Edge, Safari) et webviews. Crédit : @stablyai. Bémols honnêtes : le skill est un stub de résolution — le guide complet est embarqué dans l'exécutable Orca et adapté à la version au runtime ; il privilégie explicitement les chemins programmatiques (shell, système de fichiers, git, HTTP, CLI existantes) et réserve le contrôle GUI en dernier recours pour les fenêtres qu'ils ne peuvent pas atteindre ; licence MIT. Skill Harbor ne vérifie jamais le code, examinez-le vous-même avant usage. Découvert via skills.sh.
Version :
Installation
Prérequis : Orca installé (l'exécutable correspondant à ce guide) ; rien d'autre requis Installe-moi « Orca computer use : contrôle d'interface par arbre d'accessibilité ». Il apprend à l'agent à résoudre le bon exécutable Orca pour la session et à charger le guide correspondant à la version avant de piloter une fenêtre visible — arbre d'accessibilité, clics, saisie, menus, boîtes de dialogue et captures d'écran — en privilégiant les chemins programmatiques (shell, système de fichiers, git, HTTP, CLI existantes) quand ils peuvent accomplir la tâche. Dépôt : https://github.com/stablyai/orca/blob/main/skills/computer-use/SKILL.md 1. Récupère le fichier SKILL.md (et les fichiers d'aide éventuels) depuis le chemin du dépôt dans un dossier temporaire et résume en une ou deux phrases ce qu'il fait. 2. Vérification de sécurité : examine le SKILL.md et les scripts pour tout contenu suspect (appels réseau inattendus, commandes shell, collecte d'identifiants). Ce dépôt ne devrait contenir aucun secret en dur, les identifiants uniquement via le coffre sécurisé, les hôtes autorisés déclarés dans le SKILL.md. Vérifie que c'est bien le cas ici ; STOP sur tout signal d'alerte et dis-le-moi. 3. Installe-le comme skill : copie le SKILL.md et ses fichiers d'aide dans le répertoire des skills de l'agent, dans un dossier nommé « computer-use ». 4. Vérifie sans appels réseau : frontmatter valide, fichiers en place. 5. Indique ce qui a été installé, où, et ce qu'il me reste à faire moi-même (p. ex. installer l'exécutable Orca s'il manque, en suivant les instructions du dépôt ; notez qu'en dehors des terminaux Orca, `orca` seul correspond généralement au lecteur d'écran Orca de GNOME, pas à cet outil). GitHub est optionnel : si j'ai un compte GitHub ou la CLI gh, tu peux l'utiliser ; sinon l'accès public suffit. Ne jamais l'exiger sauf s'il figure dans les prérequis ci-dessus. Règles : ne touche à rien en dehors du dossier temporaire et de la cible d'installation. Si quelque chose semble anormal, arrête-toi et demande-moi.
Questions
Comment installer une création ?
Chaque fiche produit contient un prompt d’installation à copier-coller. Collez-le dans votre Muse et il installe la création pour vous — sans configuration manuelle.
Où va mon argent ?
Directement au vendeur. Skill Harbor ne traite jamais les paiements : le paiement se fait sur la page du vendeur, généralement via Stripe.
Que signifie le ✓ à côté du nom d’un créateur ?
Il signifie que nous avons confirmé l’identité de la personne derrière la fiche. Il ne dit rien sur le code lui-même — vérifiez toujours une création avant de l’installer.