Lokale AI: gids voor instellingen en metingen

Daniel Platteau

Bijgewerkt op 23 oktober 2026. Inferentie-engines veranderen elke maand: we herzien dit artikel regelmatig (logboek van de updates onderaan de pagina).

Dit artikel bouwt verder op onze vergelijking Lokale AI: welke hardware voor welk budget?, geschreven voor de bedrijfsleider. Hier richten we ons tot wie de machine zal installeren: hoe u de prestaties inschat vóór de aankoop, de engine afstelt, meerdere gebruikers bedient en de server niet blootstelt.

De rekenregel: geheugen en bandbreedte

Om elke token (een stukje van een woord) te produceren, moet de engine alle actieve gewichten van het model opnieuw uit het geheugen lezen. De generatiesnelheid heeft dus een eenvoudig plafond:

tokens per seconde ≤ geheugenbandbreedte ÷ grootte van de actieve gewichten

Voorbeelden:

• Een dicht model van 27 miljard parameters in 4 bits weegt ongeveer 16 tot 17 GB. Op een Mac mini M6 (170 GB/s aangekondigd) ligt het plafond rond 10 tokens per seconde: de gepubliceerde metingen geven 8 tot 9 (StarryHope).
• Een model van 70 GB in 8 bits op een NVIDIA DGX Spark (273 GB/s) kan niet sneller dan ongeveer 3,9 tokens per seconde: er werd 2,7 gemeten (Spawning Point).
• gpt-oss-120b activeert maar ongeveer 5,1 miljard parameters per token: ondanks zijn 65 GB leest het maar 3 tot 4 GB per token, vandaar 65 tot 88 tokens per seconde op een M5 Max met 128 GB (Hardware Corner).

De regel heeft twee grenzen. Ze zegt niets over het inlezen van de prompt (prefill), dat van de rekenkracht afhangt: daar verpletteren de NVIDIA-kaarten de Macs (6.512 tegenover 1.325 tokens per seconde op gpt-oss-120b, RTX Pro 6000 tegenover M5 Max, Hardware Corner). En de werkelijke metingen blijven onder het plafond, vaak 10 tot 30 %.

Kwantisatie: wat u behoudt en wat u verliest

Een model wordt gepubliceerd in 16 bits per parameter (BF16). Men comprimeert het naar 8, 6, 5 of 4 bits zodat het in het geheugen past en sneller is.

Twee native formaten verdienen een vermelding. MXFP4 is het formaat waarin gpt-oss gepubliceerd werd: het is de „officiële” versie van het model, geen compressie achteraf. NVFP4 wordt versneld door NVIDIA Blackwell-kaarten (RTX 50-reeks): met multi-token-predictie haalt Qwen3.8 27B meer dan 120 tokens per seconde op een RTX 5090 (DataCamp).

Vuistregel: standaard Q4_K_M, Q5 of Q6 als het geheugen het toelaat, nooit onder Q4 voor professioneel gebruik zonder voorafgaande test. Gepubliceerde rangschikkingen gaan vooral over het Engels: test in het Nederlands en het Frans, op uw eigen documenten.

Ook de context kost geheugen

Elke token van het gesprek en van de aangeleverde documenten neemt geheugen in (de „KV-cache”). Bij een lang document kan die cache groter worden dan het model zelf.

• De cache kwantiseren: q8_0 halveert ongeveer de grootte ten opzichte van de standaard f16, q4_0 deelt ze door vier (documentatie van Ollama). q8_0 is de juiste standaardinstelling; q4_0 gaat meer achteruit.
• De architectuur telt: gpt-oss-20b gebruikt attention met een schuivend venster. Op een RTX 5060 Ti neemt het 12,7 GB in met 4.000 tokens context en 12,8 GB met 64.000 (ComputingForGeeks): een lange context is bijna gratis.
• De valkuil van Ollama: het standaardvenster is 4.096 tokens. Daarboven wordt het begin van het document stilzwijgend genegeerd. Om een contract van 30 pagina's samen te vatten, verhoogt u OLLAMA_CONTEXT_LENGTH (of num_ctx) en controleert u of alles nog in het grafisch geheugen past.

MoE-modellen: de experts op de juiste plaats

Een „mixture of experts”-model (MoE) heeft een altijd actief deel (attention, gedeelde experts) en „gerouteerde” experts, die groot zijn maar zelden gebruikt worden. Past het model niet op een kaart van 16 GB, dan houdt u het actieve deel op de kaart en stuurt u de experts naar het werkgeheugen.

Met llama.cpp:

• --cpu-moe: alle experts in het werkgeheugen;
• --n-cpu-moe N: de experts van N lagen in het werkgeheugen, de rest op de kaart;
• -ot "exps=CPU": hetzelfde met een reguliere expressie, voor fijne controle.

De aanbevolen methode (gids van Doctor-Shotgun op Hugging Face): alles op de kaart laden (-ngl 999), alle experts naar het werkgeheugen sturen, en ze dan laag per laag terug naar de kaart halen tot het grafisch geheugen bijna vol is, met ruimte voor de KV-cache.

Gemeten resultaat op een RTX 5070 Ti 16 GB met Qwen3.6 35B-A3B in Q4: 43 tokens per seconde met standaardinstellingen, 112 met een geoptimaliseerde expertcache (GenerelSchwerz). Het werkgeheugen van de pc (bij voorkeur DDR5, minimaal 32 GB) wordt dan een prestatiecomponent.

Welke engine kiezen

Over dat laatste punt spreekt een meting een gangbare opvatting tegen: op een Mac met een M5 Max-chip van 128 GB was llama.cpp 10 tot 24 % sneller dan MLX voor Qwen3.6 (stared). Vergelijk beide op uw eigen machine voor u kiest.

Al deze engines bieden een API die compatibel is met die van OpenAI (/v1/chat/completions, /v1/embeddings…). De Franstalige youtuber xavki behandelt ze uitgebreid in zijn reeks over vLLM: tools die voor ChatGPT geschreven zijn, schakelen over naar de lokale server door het adres en de sleutel te wijzigen.

Typische configuraties, niveau per niveau

De niveaus volgen die van onze vergelijking.

Mac mini M6 16 of 24 GB. Ollama volstaat:

ollama pull qwen3.5:9b      # 16 GB
ollama pull gpt-oss:20b     # 24 GB

Op een Mac kan de GPU standaard maar een deel van het gedeelde geheugen gebruiken, rond 75 % (het aandeel hangt af van de macOS-versie en de hoeveelheid geheugen). U kunt dat plafond verhogen (voorbeeld voor 20 GB op een machine van 24 GB):

sudo sysctl iogpu.wired_limit_mb=20480

De instelling wordt niet officieel ondersteund en verdwijnt bij een herstart. Laat minstens 4 tot 8 GB voor macOS op deze kleine machines, en keer terug naar de standaardwaarde met iogpu.wired_limit_mb=0.

Pc met RTX 5060 Ti of 5070 Ti 16 GB. gpt-oss-20b past volledig op de kaart met 64.000 tokens context. Voor Qwen3.6 35B-A3B, llama.cpp met plaatsing van de experts:

llama-server -m Qwen3.6-35B-A3B-Q4_K_M.gguf -ngl 999 --n-cpu-moe 20 \
  --ctx-size 32768 --flash-attn on --cache-type-k q8_0 --cache-type-v q8_0 \
  --host 127.0.0.1 --port 8080 --api-key <uw-sleutel>

Verlaag --n-cpu-moe zolang het grafisch geheugen het toelaat.

Mac Studio M5 Max 36 GB. Qwen3.8 27B in Q4_K_M (17,1 GB), met beeldherkenning:

llama-server -m Qwen3.8-27B-Q4_K_M.gguf --ctx-size 32768 -ngl 99 --jinja \
  --cache-type-k q8_0 --mmproj Qwen3.8-27B-mmproj-bf16.gguf

Activeer multi-token-predictie (MTP) als uw versie van llama.cpp het ondersteunt: ongeveer ×1,8 op dit model volgens een reeks van 45 instellingen getest op een RTX 5090 (Context Studios), zonder verlies, omdat elke voorgestelde token wordt gecontroleerd.

Mac Studio M5 Ultra 96 GB. gpt-oss-120b (ongeveer 65 GB in MXFP4) laat een twintigtal gigabytes over voor de context en een tweede klein model (bijvoorbeeld voor de embeddings van een RAG-opstelling).

Meerdere gebruikers bedienen

Een teamserver krijgt gelijktijdige vragen. De totale doorvoer stijgt dan sterk, de snelheid per gebruiker daalt licht.

• Ollama: OLLAMA_NUM_PARALLEL is standaard 1; verhogen vermenigvuldigt het geheugen dat voor de context wordt gereserveerd.
• llama.cpp: -np N maakt N plaatsen voor verzoeken die de totale context delen.
• vLLM: daarvoor ontworpen (continue bundeling van verzoeken), vooral gebruikt op NVIDIA-kaarten.

Gepubliceerde meting: op een RTX 5070 Ti gaat gpt-oss-20b van 144 tokens per seconde voor één verzoek naar 384 in totaal voor vier gelijktijdige verzoeken (GenerelSchwerz).

Beveiliging: stel de server niet bloot

Dit is het meest verwaarloosde punt. In februari 2026 telde LeakIX 12.269 Ollama-servers die zonder authenticatie via het internet bereikbaar waren. Ongeveer duizend draaiden een versie die kwetsbaar is voor CVE-2024-37032 („Probllama”), wat kan leiden tot het uitvoeren van code op afstand.

• Ollama luistert standaard op 127.0.0.1 en heeft geen authenticatie. Het op OLLAMA_HOST=0.0.0.0 zetten om het op kantoor bereikbaar te maken, opent het voor het hele netwerk, en voor het internet als een poort wordt doorgestuurd. Zet het achter een reverse proxy met authenticatie, of geef alleen toegang via een VPN.
• vLLM: --api-key beschermt alleen de routes /v1, /v2, /inference en /cohere. De documentatie noemt /invocations, dat zonder sleutel toegang geeft tot dezelfde inferentie, en beheerroutes (/pause, /update_weights…). Ze raadt aan niet alleen op --api-key te vertrouwen en de routes te filteren met een reverse proxy (nginx, Envoy…). xavki geeft dezelfde waarschuwing in zijn video.
• llama.cpp: --api-key aanvaardt meerdere sleutels; standaard luistert het lokaal.
• Docker: volgens LeakIX draaien de meeste Ollama-installaties in containers als root; een lek in de engine kan dan controle over de host geven.
• Updates: Ollama, llama.cpp en vLLM brengen vaak nieuwe versies uit, soms met beveiligingscorrecties. Plan ze zoals voor elke server.

Gepubliceerde referentiemetingen

Generatie, één gebruiker, tenzij anders vermeld.

Misverstanden

• „Een pc met NPU draait grote modellen.” Fout: de NPU dient voor kleine Windows-functies, niet voor taalmodellen (zie ons artikel over AI-pc's, in het Frans).
• „MLX is op een Mac altijd sneller.” Niet altijd: llama.cpp was 10 tot 24 % sneller op een M5 Max voor Qwen3.6.
• „Een API-sleutel volstaat om vLLM te beveiligen.” Fout, volgens de eigen documentatie.
• „Meer parameters is altijd trager.” Fout voor MoE-modellen: gpt-oss-120b antwoordt sneller dan dichte modellen die vier keer kleiner zijn.

Test uzelf

Bij ExsIT

Het eerste contact is gratis: we luisteren naar uw behoeften en stellen daarna een actieplan voor. Voor een lokale AI: keuze van hardware en model volgens uw documenten en talen, installatie, afstelling, beveiligde toegang via VPN of proxy, back-up en updates.

Logboek van de updates

• 23 oktober 2026: eerste versie.

Bronnen

Apple. (z.d.). Mac Studio – Technische specificaties. https://www.apple.com/mac-studio/specs/

AppleInsider. (2026, 29 september). M5 Max Mac Studio review: Far better choice than Ultra for most desks. https://appleinsider.com/articles/26/09/29/m5-max-mac-studio-review-far-better-choice-than-ultra-for-most-desks

ComputingForGeeks. (2026). Ollama models cheat sheet: Best models by VRAM. https://computingforgeeks.com/ollama-models-cheat-sheet/

Context Studios. (2026, 19 augustus). Qwen 3.8 27B : le guide hardware, de la RTX 3090 au DGX Spark. https://www.contextstudios.ai/fr/blog/qwen-3-8-27b-hardware-guide

DataCamp. (2026). Så kör du Qwen3.8-27B lokalt på en NVIDIA RTX 5090. https://www.datacamp.com/sv/tutorial/how-to-run-qwen3-8-27b-locally

Debian. (z.d.). llama-server(1) [handleidingpagina, llama.cpp-tools]. https://manpages.debian.org/unstable/llama.cpp-tools/llama-server.1.en.html

Doctor-Shotgun. (2026). Performant local mixture-of-experts CPU inference with GPU acceleration in llama.cpp. Hugging Face. https://huggingface.co/blog/Doctor-Shotgun/llamacpp-moe-offload-guide

GenerelSchwerz. (2026). Benchmark comparison showcase [llama.cpp, RTX 5070 Ti]. GitHub. https://github.com/GenerelSchwerz/llama.cpp/wiki/Benchmark-Comparison-Showcase

Hardware Corner. (2026). Apple M5 Max for local LLMs: First benchmarks vs RTX Pro 6000 and RTX 5090. https://www.hardware-corner.net/m5-max-local-llm-benchmarks-20261233/

Hardware Corner. (2026). RTX 5060 Ti 16GB local LLM benchmarks. https://www.hardware-corner.net/gpu-llm-benchmarks/rtx-5060-ti-16gb/

HP. (z.d.). HP Z2 Mini G1a. https://valuehub.hp.com/en/products/hp-z2-mini-g1a

inferris. (2026). inferris [Qwen3.8-27B, RTX 5090]. PyPI. https://pypi.org/project/inferris/

InsiderLLM. (2026). RTX 5060 Ti review for local AI. https://insiderllm.com/guides/rtx-5060-ti-local-ai-benchmarks/

ivanopcode. (2026). Override the macOS Metal VRAM cap [technische notitie]. GitHub. https://github.com/ivanopcode/devnote-override-macos-metal-vram-cap

Lobstein, V. (2026, 23 februari). 12,000 Ollama instances exposed: When "local-first" meets the real world. LeakIX. https://blog.leakix.net/2026/02/ollama-exposed/

MacRumors. (2026). 2025 vs. 2026 Mac Studio buyer's guide. https://www.macrumors.com/guide/2025-vs-2026-mac-studio/

MindStudio. (2026). M6 Mac mini local AI performance. https://www.mindstudio.ai/blog/m6-mac-mini-local-ai-performance

Ollama. (z.d.). FAQ. https://docs.ollama.com/faq

OpenClaw. (2026). Dual RTX 5060 Ti vs used RTX 3090 for local LLMs. https://openclawdc.com/blog/dual-rtx-5060-ti-vs-rtx-3090-local-llm/

OrcaRouter. (2026). Qwen3.8-27B GGUF: Which quant to download for your GPU. https://www.orcarouter.ai/blog/qwen-3-8-27b-gguf

Spawning Point. (2026). NVIDIA DIGITS DGX Spark review 2026. https://spawningpoint.com/article/nvidia-digits-dgx-spark-review-2026

stared. (2026). Benching local LLMs on Apple Silicon [M5 Max 128 GB]. GitHub. https://github.com/stared/benching-local-llms-on-apple-silicon

StarryHope. (2026). Mac mini M6 vs M5 Pro for local AI. https://www.starryhope.com/minipcs/mac-mini-m6-vs-m5-pro-local-ai/

StarryHope. (2026). The DGX Spark and the reality of local AI hardware in 2026. https://www.starryhope.com/ai/dgx-spark-local-ai-hardware-landscape/

vLLM. (z.d.). Security. https://docs.vllm.ai/en/stable/usage/security/

xavki. (2026, 15 oktober). vLLM - 06. Le standard API OpenAI pour l'inférence [Video]. YouTube. https://www.youtube.com/watch?v=96FYveXB4qY