IA locale : guide technique, réglages et mesures

Daniel Platteau Outils IA Support & matériel

Mis à jour le 23 octobre 2026. Les moteurs d'inférence évoluent chaque mois : nous révisons cet article régulièrement (journal des mises à jour en fin de page).

Cet article prolonge notre comparatif IA en local : quel matériel pour quel budget ?, écrit pour le dirigeant. Ici, nous nous adressons à la personne qui installera la machine : comment estimer les performances avant d'acheter, régler le moteur, servir plusieurs utilisateurs et ne pas exposer le serveur.

La règle de calcul : mémoire et bande passante

Pour produire chaque token (un morceau de mot), le moteur doit relire depuis la mémoire tous les poids actifs du modèle. La vitesse de génération a donc un plafond simple :

tokens par seconde ≤ bande passante mémoire ÷ taille des poids actifs

Exemples :

• Un modèle dense de 27 milliards de paramètres en 4 bits pèse environ 16 à 17 Go. Sur un Mac mini M6 (170 Go/s annoncés), le plafond est d'environ 10 tokens par seconde : les mesures publiées donnent 8 à 9 (StarryHope).
• Un modèle de 70 Go en 8 bits sur un NVIDIA DGX Spark (273 Go/s) ne peut pas dépasser environ 3,9 tokens par seconde : 2,7 ont été mesurés (Spawning Point).
• gpt-oss-120b n'active qu'environ 5,1 milliards de paramètres par token : malgré ses 65 Go, il ne lit que 3 à 4 Go par token, d'où 65 à 88 tokens par seconde sur un M5 Max 128 Go (Hardware Corner).

La règle a deux limites. Elle ne dit rien de la lecture du prompt (prefill), qui dépend de la puissance de calcul : c'est là que les cartes NVIDIA écrasent les Mac (6 512 contre 1 325 tokens par seconde sur gpt-oss-120b, RTX Pro 6000 contre M5 Max, Hardware Corner). Et les mesures réelles restent sous le plafond, souvent de 10 à 30 %.

Quantification : ce que vous gardez et ce que vous perdez

Un modèle est publié en 16 bits par paramètre (BF16). On le compresse en 8, 6, 5 ou 4 bits pour qu'il tienne en mémoire et qu'il soit plus rapide.

Deux formats natifs méritent une mention. MXFP4 est le format de publication de gpt-oss : c'est la version « officielle » du modèle, pas une compression a posteriori. NVFP4 est accéléré par les cartes NVIDIA Blackwell (série RTX 50) : avec la prédiction multi-tokens, Qwen3.8 27B dépasse 120 tokens par seconde sur une RTX 5090 (DataCamp).

Règle pratique : Q4_K_M par défaut, Q5 ou Q6 si la mémoire le permet, jamais en dessous de Q4 pour un usage professionnel sans test préalable. Les classements publiés portent surtout sur l'anglais : testez en français et en néerlandais, sur vos propres documents.

Le contexte coûte aussi de la mémoire

Chaque token de la conversation et des documents fournis occupe de la mémoire (le « cache KV »). Sur un long document, ce cache peut dépasser le poids du modèle lui-même.

• Quantifier le cache : q8_0 divise sa taille par deux environ par rapport au f16 par défaut, q4_0 par quatre (documentation Ollama). Le q8_0 est le bon réglage par défaut ; le q4_0 dégrade davantage.
• L'architecture compte : gpt-oss-20b utilise une attention à fenêtre glissante. Sur une RTX 5060 Ti, il occupe 12,7 Go avec 4 000 tokens de contexte et 12,8 Go avec 64 000 (ComputingForGeeks) : le contexte long est presque gratuit.
• Le piège d'Ollama : sa fenêtre par défaut est de 4 096 tokens. Au-delà, le début du document est silencieusement ignoré. Pour résumer un contrat de 30 pages, augmentez OLLAMA_CONTEXT_LENGTH (ou num_ctx) et vérifiez que tout tient encore en mémoire graphique.

Modèles MoE : placer les experts au bon endroit

Un modèle « à experts » (MoE) comporte une partie toujours active (attention, experts partagés) et des experts « routés », volumineux mais rarement sollicités. Quand le modèle ne tient pas dans une carte de 16 Go, on garde la partie active sur la carte et on envoie les experts en mémoire vive.

Avec llama.cpp :

• --cpu-moe : tous les experts en mémoire vive ;
• --n-cpu-moe N : les experts de N couches en mémoire vive, le reste sur la carte ;
• -ot "exps=CPU" : la même chose par expression régulière, pour un contrôle fin.

La méthode recommandée (guide Hugging Face de Doctor-Shotgun) : tout charger sur la carte (-ngl 999), envoyer tous les experts en mémoire vive, puis en ramener couche par couche sur la carte jusqu'à presque saturer la mémoire graphique, en gardant de la place pour le cache KV.

Résultat mesuré sur une RTX 5070 Ti 16 Go avec Qwen3.6 35B-A3B en Q4 : 43 tokens par seconde en réglage standard, 112 avec un cache d'experts optimisé (GenerelSchwerz). La mémoire vive du PC (DDR5 de préférence, 32 Go minimum) devient alors un composant de performance.

Quel moteur choisir

Sur ce dernier point, une mesure contredit une idée reçue : sur un Mac à puce M5 Max 128 Go, llama.cpp a été 10 à 24 % plus rapide que MLX pour Qwen3.6 (stared). Comparez les deux sur votre machine avant de choisir.

Tous ces moteurs exposent une API compatible avec celle d'OpenAI (/v1/chat/completions, /v1/embeddings…). Le youtubeur xavki la détaille dans sa série sur vLLM : vos outils écrits pour ChatGPT basculent vers le serveur local en changeant l'adresse et la clé.

Configurations types, palier par palier

Les paliers reprennent ceux de notre comparatif.

Mac mini M6 16 ou 24 Go. Ollama suffit :

ollama pull qwen3.5:9b      # 16 Go
ollama pull gpt-oss:20b     # 24 Go

Sur Mac, le GPU ne peut utiliser par défaut qu'une partie de la mémoire unifiée, de l'ordre de 75 % (la proportion varie selon la version de macOS et la quantité de mémoire). On peut relever ce plafond (exemple pour 20 Go sur une machine de 24 Go) :

sudo sysctl iogpu.wired_limit_mb=20480

Le réglage n'est pas officiellement supporté et disparaît au redémarrage. Laissez au moins 4 à 8 Go à macOS sur ces petites machines, et revenez à la valeur par défaut avec iogpu.wired_limit_mb=0.

PC RTX 5060 Ti ou 5070 Ti 16 Go. gpt-oss-20b tient entièrement sur la carte avec 64 000 tokens de contexte. Pour Qwen3.6 35B-A3B, llama.cpp avec placement des experts :

llama-server -m Qwen3.6-35B-A3B-Q4_K_M.gguf -ngl 999 --n-cpu-moe 20 \
  --ctx-size 32768 --flash-attn on --cache-type-k q8_0 --cache-type-v q8_0 \
  --host 127.0.0.1 --port 8080 --api-key <votre-clé>

Ajustez --n-cpu-moe à la baisse tant que la mémoire graphique le permet.

Mac Studio M5 Max 36 Go. Qwen3.8 27B en Q4_K_M (17,1 Go), avec vision :

llama-server -m Qwen3.8-27B-Q4_K_M.gguf --ctx-size 32768 -ngl 99 --jinja \
  --cache-type-k q8_0 --mmproj Qwen3.8-27B-mmproj-bf16.gguf

Activez la prédiction multi-tokens (MTP) si votre version de llama.cpp la prend en charge : environ ×1,8 sur ce modèle selon une série de 45 réglages testés sur RTX 5090 (Context Studios), sans perte, puisque chaque token proposé est vérifié.

Mac Studio M5 Ultra 96 Go. gpt-oss-120b (environ 65 Go en MXFP4) laisse une vingtaine de gigaoctets pour le contexte et un second petit modèle (par exemple pour les embeddings d'un RAG).

Servir plusieurs utilisateurs

Un serveur d'équipe reçoit des questions simultanées. Le débit total augmente alors fortement, la vitesse par utilisateur baisse un peu.

• Ollama : OLLAMA_NUM_PARALLEL vaut 1 par défaut ; l'augmenter multiplie la mémoire réservée au contexte.
• llama.cpp : -np N crée N emplacements de requêtes qui se partagent le contexte total.
• vLLM : conçu pour cela (regroupement continu des requêtes), surtout utilisé sur cartes NVIDIA.

Mesure publiée : sur une RTX 5070 Ti, gpt-oss-20b passe de 144 tokens par seconde pour une requête à 384 au total pour quatre requêtes simultanées (GenerelSchwerz).

Sécurité : ne pas exposer le serveur

C'est le point le plus négligé. En février 2026, LeakIX a recensé 12 269 serveurs Ollama accessibles sur Internet sans authentification. Environ un millier tournaient une version vulnérable à la faille CVE-2024-37032 (« Probllama »), qui peut mener à l'exécution de code à distance.

• Ollama écoute sur 127.0.0.1 par défaut et n'a pas d'authentification. Le passer en OLLAMA_HOST=0.0.0.0 pour le rendre accessible au bureau l'ouvre à tout le réseau, et à Internet si un port est redirigé. Placez-le derrière un proxy inverse avec authentification, ou n'y donnez accès que par un VPN.
• vLLM : --api-key ne protège que les routes /v1, /v2, /inference et /cohere. La documentation cite /invocations, qui donne accès à la même inférence sans clé, ainsi que des routes d'administration (/pause, /update_weights…). Elle recommande de ne pas compter uniquement sur --api-key et de filtrer les routes avec un proxy inverse (nginx, Envoy…). xavki fait le même avertissement dans sa vidéo.
• llama.cpp : --api-key accepte plusieurs clés ; l'écoute par défaut est locale.
• Docker : selon LeakIX, la plupart des déploiements d'Ollama en conteneur tournent en root ; une faille dans le moteur peut alors donner la main sur l'hôte.
• Mises à jour : Ollama, llama.cpp et vLLM publient des versions fréquentes, parfois correctives de sécurité. Planifiez-les comme pour n'importe quel serveur.

Mesures publiées de référence

Génération, un seul utilisateur, sauf mention contraire.

Idées reçues

• « Un PC avec NPU fait tourner les grands modèles. » Faux : la NPU sert aux petites fonctions de Windows, pas aux modèles de langage (voir notre article sur les PC IA).
• « MLX est toujours plus rapide sur Mac. » Pas toujours : llama.cpp l'a battu de 10 à 24 % sur M5 Max pour Qwen3.6.
• « Une clé API suffit à protéger vLLM. » Faux, selon sa propre documentation.
• « Plus de paramètres, c'est forcément plus lent. » Faux pour les MoE : gpt-oss-120b répond plus vite que des modèles denses quatre fois plus petits.

Testez-vous

Chez ExsIT

Le premier contact est gratuit : nous écoutons vos besoins, puis nous vous proposons un plan d'action. Pour une IA locale : choix du matériel et du modèle selon vos documents et vos langues, installation, réglages, accès sécurisé par VPN ou proxy, sauvegarde et mises à jour.

Journal des mises à jour

• 23 octobre 2026 : première version.

Sources

Apple. (s.d.). Mac Studio – Caractéristiques techniques. https://www.apple.com/mac-studio/specs/

AppleInsider. (2026, 29 septembre). M5 Max Mac Studio review: Far better choice than Ultra for most desks. https://appleinsider.com/articles/26/09/29/m5-max-mac-studio-review-far-better-choice-than-ultra-for-most-desks

ComputingForGeeks. (2026). Ollama models cheat sheet: Best models by VRAM. https://computingforgeeks.com/ollama-models-cheat-sheet/

Context Studios. (2026, 19 août). Qwen 3.8 27B : le guide hardware, de la RTX 3090 au DGX Spark. https://www.contextstudios.ai/fr/blog/qwen-3-8-27b-hardware-guide

DataCamp. (2026). Så kör du Qwen3.8-27B lokalt på en NVIDIA RTX 5090. https://www.datacamp.com/sv/tutorial/how-to-run-qwen3-8-27b-locally

Debian. (s.d.). llama-server(1) [page de manuel, llama.cpp-tools]. https://manpages.debian.org/unstable/llama.cpp-tools/llama-server.1.en.html

Doctor-Shotgun. (2026). Performant local mixture-of-experts CPU inference with GPU acceleration in llama.cpp. Hugging Face. https://huggingface.co/blog/Doctor-Shotgun/llamacpp-moe-offload-guide

GenerelSchwerz. (2026). Benchmark comparison showcase [llama.cpp, RTX 5070 Ti]. GitHub. https://github.com/GenerelSchwerz/llama.cpp/wiki/Benchmark-Comparison-Showcase

Hardware Corner. (2026). Apple M5 Max for local LLMs: First benchmarks vs RTX Pro 6000 and RTX 5090. https://www.hardware-corner.net/m5-max-local-llm-benchmarks-20261233/

Hardware Corner. (2026). RTX 5060 Ti 16GB local LLM benchmarks. https://www.hardware-corner.net/gpu-llm-benchmarks/rtx-5060-ti-16gb/

HP. (s.d.). HP Z2 Mini G1a. https://valuehub.hp.com/en/products/hp-z2-mini-g1a

inferris. (2026). inferris [Qwen3.8-27B, RTX 5090]. PyPI. https://pypi.org/project/inferris/

InsiderLLM. (2026). RTX 5060 Ti review for local AI. https://insiderllm.com/guides/rtx-5060-ti-local-ai-benchmarks/

ivanopcode. (2026). Override the macOS Metal VRAM cap [note technique]. GitHub. https://github.com/ivanopcode/devnote-override-macos-metal-vram-cap

Lobstein, V. (2026, 23 février). 12,000 Ollama instances exposed: When "local-first" meets the real world. LeakIX. https://blog.leakix.net/2026/02/ollama-exposed/

MacRumors. (2026). 2025 vs. 2026 Mac Studio buyer's guide. https://www.macrumors.com/guide/2025-vs-2026-mac-studio/

MindStudio. (2026). M6 Mac mini local AI performance. https://www.mindstudio.ai/blog/m6-mac-mini-local-ai-performance

Ollama. (s.d.). FAQ. https://docs.ollama.com/faq

OpenClaw. (2026). Dual RTX 5060 Ti vs used RTX 3090 for local LLMs. https://openclawdc.com/blog/dual-rtx-5060-ti-vs-rtx-3090-local-llm/

OrcaRouter. (2026). Qwen3.8-27B GGUF: Which quant to download for your GPU. https://www.orcarouter.ai/blog/qwen-3-8-27b-gguf

Spawning Point. (2026). NVIDIA DIGITS DGX Spark review 2026. https://spawningpoint.com/article/nvidia-digits-dgx-spark-review-2026

stared. (2026). Benching local LLMs on Apple Silicon [M5 Max 128 Go]. GitHub. https://github.com/stared/benching-local-llms-on-apple-silicon

StarryHope. (2026). Mac mini M6 vs M5 Pro for local AI. https://www.starryhope.com/minipcs/mac-mini-m6-vs-m5-pro-local-ai/

StarryHope. (2026). The DGX Spark and the reality of local AI hardware in 2026. https://www.starryhope.com/ai/dgx-spark-local-ai-hardware-landscape/

vLLM. (s.d.). Security. https://docs.vllm.ai/en/stable/usage/security/

xavki. (2026, 15 octobre). vLLM - 06. Le standard API OpenAI pour l'inférence [Vidéo]. YouTube. https://www.youtube.com/watch?v=96FYveXB4qY