ollama container e nvidia passtrought

La soluzione QNAP per IoT (Internet of Things)
Rispondi
fraste03
Messaggi: 162
Iscritto il: 02 gen 2012, 14:48
Località: ghedi

ollama container e nvidia passtrought

Messaggio da fraste03 »

salve ragazzi ho perfettamente configurato ollama e webui tramite docker in container station ma non riesco in nessun modo a usare la gpu per la potenza dei calcoli , hon scaricato dei modelli semplici quindi la mia quadro p2200 dovrebbe perfettamente essere in grado di trattarli. ho perfettamente abilitato il passtrought della gpuy e lho assegnata a container station .l'jho assegnata al docker di ollama e da comando msi si vede chge la gpu e' perfettamente riconosciuta dal docker e che i driver e i cuda sono installati corretamente ma non riesco in nessun modo a farla funzionare con i modelli di ollama.

qualche guru che ne e' gia ujscito fuori da sta situazione?
Allegati
Screenshot 2025-02-22 181845.png
turbo nas TS-670 PRO, CPU i7 3770t 6hdd seagate vn0000 4tb in raid 5=20tb 16gb installati SWITCH LAN 10/100/1000 MODEM ROUTER ASUS DSL AC68U
Rispondi