Pourquoi héberger Ollama sur son propre serveur

Les API cloud comme OpenAI ou Anthropic sont pratiques, mais elles ont des limites : coût variable, dépendance réseau, et surtout des données qui transitent par des serveurs tiers. Pour une entreprise qui traite des données sensibles ou qui veut maîtriser son infrastructure, l’option self-hosted devient vite pertinente.

Prérequis matériels

Les besoins varient énormément selon la taille du modèle que vous comptez faire tourner. Voici un tableau récapitulatif pour les profils les plus courants :

Installer Ollama sur Debian ou Ubuntu

L’installation est volontairement simple. Ollama fournit un script d’installation en une commande qui gère tout : téléchargement du binaire, création du service systemd, configuration des chemins.

Installation en une commande

# Télécharger et installer Ollama
curl -fsSL https://ollama.com/install.sh | sh

Le script installe Ollama dans /usr/local/bin, configure un service systemd (ollama.service) et crée l’utilisateur ollama si nécessaire.

Vérifier l’installation

# Vérifier la version
ollama --version

# Le service doit être actif
sudo systemctl status ollama

# Tester avec un modèle léger (téléchargement automatique)
ollama run llama3:8b

Télécharger et tester des modèles

Ollama propose un registre de modèles pré-configurés. La commande pull télécharge le modèle, run le charge en mémoire et lance une session interactive.

# Télécharger des modèles populaires
ollama pull llama3        # Meta Llama 3 (8B)
ollama pull mistral       # Mistral 7B
ollama pull codellama     # Code Llama (spécialisé code)
ollama pull phi3          # Microsoft Phi-3 (compact et performant)

# Lister les modèles disponibles en local
ollama list

# Lancer une session interactive
ollama run llama3

# Tester directement en mode API
curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "Explique Docker en 3 phrases."
}'

Les modèles sont stockés par défaut dans ~/.ollama/models. Chaque modèle occupe entre 4 et 40 Go selon sa taille et son niveau de quantization. Vous pouvez modifier ce chemin avec la variable d’environnement OLLAMA_MODELS.

Exposer l’API REST Ollama avec Nginx

Par défaut, Ollama écoute sur 127.0.0.1:11434. Pour l’atteindre depuis d’autres machines ou depuis une application web, il faut un reverse proxy. Nginx est le choix naturel : il gère le HTTPS, l’authentification et le rate limiting.

Écouter sur toutes les interfaces

# Configurer Ollama pour écouter sur toutes les interfaces
sudo systemctl edit ollama

# Ajouter :
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

sudo systemctl daemon-reload
sudo systemctl restart ollama

Configuration Nginx avec authentification

# Créer un fichier de mots de passe
sudo apt install apache2-utils
sudo htpasswd -c /etc/nginx/.ollama_auth utilisateur

# Configuration Nginx : /etc/nginx/sites-available/ollama
server {
    listen 443 ssl http2;
    server_name ollama.votre-domaine.fr;

    ssl_certificate     /etc/letsencrypt/live/ollama.votre-domaine.fr/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/ollama.votre-domaine.fr/privkey.pem;

    # Limiter la taille des uploads (modèles)
    client_max_body_size 50G;

    location / {
        proxy_pass http://127.0.0.1:11434;

        # Headers pour le streaming
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;

        # Timeout longs pour les générations
        proxy_read_timeout 300s;
        proxy_send_timeout 300s;

        # Authentification basique
        auth_basic "Accès restreint Ollama";
        auth_basic_user_file /etc/nginx/.ollama_auth;
    }
}

Ollama avec Docker

Pour les environnements conteneurisés, Ollama propose une image officielle Docker. C’est idéal pour intégrer un LLM dans une stack existante, ou pour isoler complètement l’environnement d’exécution.

Dockerfile

FROM ollama/ollama:latest

# Variables d'environnement
ENV OLLAMA_HOST=0.0.0.0
ENV OLLAMA_MODELS=/models

# Volume pour persister les modèles
VOLUME /models

EXPOSE 11434

docker-compose.yml

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    ports:
      - "127.0.0.1:11434:11434"
    volumes:
      - ollama_models:/root/.ollama
    environment:
      - OLLAMA_HOST=0.0.0.0
      - OLLAMA_NUM_PARALLEL=4
    restart: unless-stopped
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

volumes:
  ollama_models:
    driver: local

Le volume ollama_models persiste les modèles entre les redémarrages du conteneur. La section deploy.resources expose les GPUs NVIDIA au conteneur. Sans GPU, supprimez cette section : Ollama tournera en CPU-only.

Automatiser avec systemd

Si vous n’utilisez pas Docker, le service systemd est la méthode recommandée pour gérer Ollama en production. Il gère le démarrage automatique, les logs et les redémarrages en cas de crash.

Fichier unit systemd

# /etc/systemd/system/ollama.service
[Unit]
Description=Ollama - Serveur LLM local
After=network-online.target
Wants=network-online.target

[Service]
Type=simple
User=ollama
Group=ollama
ExecStart=/usr/local/bin/ollama serve
Restart=on-failure
RestartSec=5

# Variables d'environnement
Environment="OLLAMA_HOST=0.0.0.0:11434"
Environment="OLLAMA_MODELS=/var/lib/ollama/models"
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_MAX_LOADED_MODELS=2"

# Logs
StandardOutput=journal
StandardError=journal
SyslogIdentifier=ollama

# Sécurité
NoNewPrivileges=true
ProtectSystem=strict
ReadWritePaths=/var/lib/ollama

[Install]
WantedBy=multi-user.target

# Activer et démarrer le service
sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

# Consulter les logs
journalctl -u ollama -f

Cas d’usage concrets

Une fois Ollama en place et accessible via son API, les possibilités sont nombreuses. Voici les scénarios les plus fréquents en entreprise :

Erreurs courantes et troubleshooting

Voici les problèmes les plus fréquents et leurs solutions :

FAQ