🖥️ Build Serveur LLM Local
Ryzen 9 5950X • 2× NVIDIA Tesla P40 (48 Go VRAM) • ASUS ROG Strix X570-E Gaming WiFi II
0%
📦 Hardware acquis
AMD Ryzen 9 5950X
16 cores / 32 threads, AM4
2× NVIDIA Tesla P40
24 Go VRAM chacune, Pascal, PCIe 3.0, passives
ASUS ROG Strix X570-E Gaming WiFi II
PCIe 4.0, split x8/x8 CPU direct — BIOS 5044 (à jour)
Alimentation modulaire 850W
À vérifier : suffisant pour 2× P40 (~500W) + 5950X (~142W) + système
NZXT Kraken Z63
Watercooling AIO 280mm pour le CPU
🛒 Hardware restant à acheter
RAM DDR4
Capacité à définir — recommandé : 64 Go ou 128 Go (4× 16 Go ou 4× 32 Go)
Stockage NVMe PCIe 4.0
Pour l'OS et les modèles — 1 To minimum recommandé
Câbles adaptateurs alimentation P40 (×2)
Câble officiel NVIDIA 030-0571-000 (dual 8-pin to 8-pin) — 1 par carte —
Amazon FR
· AliExpress · MODDIY ($14.99)
Boitier
À définir — doit accueillir 2× P40 (double slot chacune) + watercooling 280mm
🚀 Optimisations & projets GitHub
TurboQuant-v3 (quantification INT4 + AWQ)
~4× moins de mémoire, 2-3× plus rapide, perte quasi nulle — permet modèles plus gros dans 24 Go VRAM —
GitHub
MTP (prédiction des couches utilisées)
Gagner du temps d'inférence en prédisant les couches nécessaires — piste d'optimisation
tanuki-context (compression de contexte)
Compresse gros logs en pages image — 79-91% de tokens économisés — utile pour OpenClaw —
GitHub
open-cowork (agent desktop BYOK)
Agent desktop open-source compatible Ollama/LM Studio — use case une fois le serveur en place —
GitHub
Surveiller Reddit r/LLMLocal et r/LocalAIServer
Bons projets d'amélioration et tests partagés régulièrement
❄️ Refroidissement Tesla P40
Imprimer / fabriquer les shrouds 3D
Les P40 sont passives — besoin de shrouds pour diriger le flux d'air
Ventilos 40mm pour les P40
À fixer sur les shrouds — idéalement 2× par carte
Tester les températures sous charge
Surveiller avec nvidia-smi — objectif : rester sous 80°C
🔧 BIOS & Montage
Mettre à jour le BIOS (5044)
Déjà à jour ✅
Activer Above 4G Decoding dans le BIOS
Obligatoire pour que les Tesla P40 soient détectées
Monter le CPU + watercooling
5950X + Kraken Z63 sur le socket AM4
Installer les 2× Tesla P40
Slots PCIe x16 (split x8/x8) — brancher adaptateurs EPS 8-pin
Installer RAM + stockage
DDR4 dans les slots recommandés + NVMe sur M.2
Premier boot + vérification POST
Vérifier que les 2 P40 sont détectées dans le BIOS
💻 Installation Software
Installer Ubuntu Server
Version LTS recommandée (24.04)
Installer les drivers NVIDIA
Dernier driver supportant Pascal (compute 6.1) — branche 580 ou supérieure
Vérifier nvidia-smi (2× P40 détectées)
Doit afficher 2 GPU avec 24 Go VRAM chacun
Installer CUDA Toolkit
Version compatible Pascal — pour compiler llama.cpp et vLLM
Compiler / installer llama.cpp (CUDA)
Build avec support GPU — tensor split sur 2 P40
Tester vLLM (optionnel)
Évaluer les perfs vs llama.cpp — vLLM meilleur en batch, llama.cpp plus flexible
Configurer le serving API
Endpoint OpenAI-compatible pour l'utiliser avec OpenClaw et autres clients
Monitoring & benchmarks
nvidia-smi, temps de génération, tokens/s, conso électrique