ollama 使用Nvidia显卡/GPU 跑deepseek r1安装配置

确认Ollama兼容您的GPU

CUDA 安装

CUDA ToolKit 下载

通过查看当前现卡驱动的版本来确定下载Tookit版本

12.6.x<CUDA ToolKit 版本<= 12.6.65 这里下载的12.6.3版本

CUDA ToolKit 历史版本下载地址 ：CUDA Toolkit Archive | NVIDIA Developer

CUDA ToolKit 安装

执行下面命令验证

nvcc --version

cuDNN 安装

9.x 下载地址 ：cuDNN Archive | NVIDIA Developer

8.x 下载地址：cuDNN Archive | NVIDIA Developer

这里下载 9.3为例子

下载完成后是个zip压缩包，解压并放到D盘 D:/cudnn 将bin目录添加到系统环境变量path中

Windows系统PATH变量添加参考：Windows 系统如何配置环境变量

将CUDA的demo_suite 也配置到PATH变量

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.6\extras\demo_suite

Windows系统PATH变量添加参考：Windows 系统如何配置环境变量

提示：添加后面这个环境变量是为了方便测试

验证是否成功，打开cmd分别输入下面命令

bandwidthTest.exe 

这里执行结果为Result = PASS 表示成功

和

deviceQuery.exe

这里执行结果为Result = PASS 表示成功

测试是否成功，在ollama里提一个耗时的问题，然后新开窗口执行命令

ollama ps

查看信息

由于本机 1030不在兼容列表所以 100% cpu

在兼容的gpu下，PROCESSOR栏目会出现  40% cpu,60% gpu 有些版本在这里也不会显示，需要去window的任务管理器查看gpu使用情况

ollama deepseek cuda安装

版权所有 © 【代码谷】 欢迎非商用转载，转载请按下面格式注明出处，商业转载请联系授权，违者必究。（提示：点击下方内容复制出处）

源文：《ollama 使用Nvidia显卡/GPU 跑deepseek r1安装配置》，链接：https://www.daimagu.com/article/250206121559253.html，来源：【代码谷】