Ollama CUDA Sur Solus

1️⃣ Installer le pilote NVIDIA

# Mettre à jour les dépôts

sudo eopkg update

# Installer le pilote propriétaire (exemple : version actuelle)

sudo eopkg install nvidia-current nvidia-current-glx   # ou le paquet correspondant à votre carte

# (ajoutez le paquet 32‑bits si vous utilisez Steam/Wine : nvidia-current-32bit) 

Redémarrez, puis vérifiez : nvidia-smi. Si la commande affiche votre GPU, le pilote fonctionne correctement

2️⃣ CUDA : Solus ne le fournit pas directement

Solus ne propose pas le toolkit CUDA à cause des licences NVIDIA hostkey.com. Vous avez deux options :

Installer le toolkit depuis le site NVIDIA

Téléchargez le fichier .run correspondant à votre version de driver (ex. CUDA 12.x).

Passez en console texte (Ctrl+Alt+F3), arrêtez le serveur graphique (sudo systemctl isolate multi-user.target).

Exécutez : sudo sh cuda_<version>_linux.run et suivez les instructions (ne réinstallez pas le driver si déjà présent).

Ajoutez les bibliothèques :

echo 'export PATH=/usr/local/cuda/bin:$PATH' >> ~/.profile

echo 'export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH' >> ~/.profile

source ~/.profile

Vérifiez : nvcc --version et nvidia-smi (les deux doivent fonctionner).

Utiliser Docker avec nvidia‑docker (plus simple, évite les conflits) :

sudo eopkg install nvidia-docker   # paquet fourni par Solus

docker run --gpus all -it ollama/ollama bash

Le conteneur possède déjà CUDA et le serveur Ollama peut être lancé à l’intérieur.

3️⃣ Installer Ollama

curl -fsSL https://ollama.com/install.sh | sh

# ou téléchargez le .tar.gz depuis https://ollama.com/download

Le service systemd ollama.service est créé automatiquement.

4️⃣ Activer l’accélération GPU dans Ollama

Éditez le service :

sudo systemctl edit ollama.service

Ajoutez :

[Service]

Environment="OLLAMA_NUM_GPU=-1"          # utilise tout le GPU

Environment="OLLAMA_FLASH_ATTENTION=1"   # améliore les performances

Rechargez et redémarrez :

sudo systemctl daemon-reload

sudo systemctl restart ollama.service

5️⃣ Tester

ollama run llama2   # ou tout autre modèle disponible

Dans la sortie, la colonne Processor doit indiquer « 100 % GPU » si l’accélération fonctionne

6️⃣ Dépannage rapide

Symptom Vérification

nvidia-smi échoue Le pilote n’est pas chargé ; réinstallez le paquet nvidia-* et redémarrez.

Ollama reste sur CPU Confirmez que les variables OLLAMA_NUM_GPU et OLLAMA_FLASH_ATTENTION sont bien dans le service ; relancez le service.

ollama run signale « CUDA not found » Assurez‑vous que le toolkit CUDA est dans LD_LIBRARY_PATH (ou utilisez le conteneur Docker).

Conflit de versions driver / CUDA Installez une version de CUDA compatible avec le driver affiché par nvidia-smi (ex. driver 535 ↔ CUDA 12.2).

En résumé : installez le pilote NVIDIA via eopkg, obtenez CUDA soit avec le .run officiel soit via le conteneur Docker, installez Ollama, puis activez les variables d’environnement OLLAMA_NUM_GPU=-1 (et éventuellement OLLAMA_FLASH_ATTENTION=1). Vous pourrez alors lancer vos modèles LLM directement sur le GPU sous Solus.

Bonne configuration !