museglimmer-shim
Serveur compatible OpenAI pour Muse Glimmer sur Apple Silicon, via mlx_vlm.
- Quoi
- Serveur compatible OpenAI pour Muse Glimmer sur Apple Silicon, via mlx_vlm.
- Coût
- Gratuit
- Prérequis
- Servez Muse Glimmer depuis votre Mac vers n'importe quel client compatible OpenAI.
- Installation
- Copiez le prompt d’installation ci-dessous dans votre Muse — votre agent fait le reste.
Sélectionné par Skill Harbor : museglimmer-shim est un petit serveur compatible avec l'API OpenAI /v1/chat/completions qui fait tourner Muse Glimmer sur Apple Silicon. Il existe parce que les runtimes MLX packagés (comme celui de LM Studio) sont en retard sur le modèle : le paquet Python mlx_vlm sur PyPI supporte déjà l'architecture de Glimmer, donc ce projet charge le modèle une fois, en processus, et le sert via une app FastAPI qui épouse exactement la forme de l'API Chat Completions d'OpenAI, y compris la traduction des appels d'outils, la vraie entrée vision et le streaming avec trames de battement de coeur. N'importe quel client compatible OpenAI continue de fonctionner sans changement, juste pointé vers un autre hôte et un autre port. Par @GordonWei, listé ici avec crédit à son créateur. Bémols honnêtes : Apple Silicon + Metal uniquement, donc pas de Linux ni de Docker sur macOS (pas de passthrough GPU Metal) ; un modèle 30B à environ 13-15 jetons/s fait qu'un gros prompt système fixe pousse couramment la latence d'une requête au-delà de 300-400 secondes, alors prévoyez les timeouts côté client en conséquence ; une requête à la fois, une requête en surcharge reçoit immédiatement un 503 avec Retry-After: 30 au lieu d'être mise en file. Skill Harbor ne vérifie jamais le code, examinez-le vous-même avant usage.
Version :
Installation
Copiez le dossier d’installation ci-dessous, puis collez-le dans MuseCréation de la communauté. Skill Harbor ne vérifie pas le code — examinez la source avant de l'installer.
Servez Muse Glimmer depuis votre Mac vers n'importe quel client compatible OpenAI. Prérequis : un Mac Apple Silicon sous macOS natif (ni Docker, ni Linux : Docker Desktop pour Mac fait tourner une VM Linux sans passthrough GPU Metal) ; Python 3 ; assez de disque/RAM pour le modèle Muse Glimmer 30B 4-bit. 1. Clonez : `git clone https://github.com/GordonWei/museglimmer-shim.git` et entrez dedans. 2. `python3 -m venv venv && source venv/bin/activate && pip install -r requirements.txt` 3. À la volée, au premier plan : `uvicorn server:app --host 0.0.0.0 --port 8091`. En service macOS persistant à redémarrage auto : `./museglimmer-shim.sh start` (génère un plist launchd pour le chemin de ce checkout ; `status`, `logs`, `restart` et `stop` sont aussi disponibles). 4. Pointez n'importe quel client compatible OpenAI vers http://localhost:8091. Points d'accès : POST /v1/chat/completions, GET /v1/models, GET /health. 5. Choisissez le modèle avec la variable d'environnement MUSEGLIMMER_MODEL (défaut mlx-community/Muse-Glimmer-30B-4bit) ; changer de modèle ne demande qu'une variable d'env et un redémarrage. Notes : passez toujours `tools` au format function-calling d'OpenAI si l'appelant peut vouloir des outils, sinon le modèle peut produire une sortie incohérente ; préférez stream: true, car certains clients confondent une requête non-streaming lente et silencieuse avec une connexion bloquée et l'abandonnent.
Enregistré dans vos installs récentes. Retrouvez-le à tout moment sur /connect.
Questions
Comment installer une création ?
Chaque fiche produit contient un prompt d’installation à copier-coller. Collez-le dans votre Muse et il installe la création pour vous — sans configuration manuelle.
Où va mon argent ?
Directement au vendeur. Skill Harbor ne traite jamais les paiements : le paiement se fait sur la page du vendeur, généralement via Stripe.
Que signifie le ✓ à côté du nom d’un créateur ?
Il signifie que nous avons confirmé l’identité de la personne derrière la fiche. Il ne dit rien sur le code lui-même — vérifiez toujours une création avant de l’installer.