本地部署Deepseek大模型
🟨本地部署Deepseek大模型
技术分享|2021-7-2|最后更新: 2025-4-28
type
status
date
slug
summary
tags
category
icon
password
😀
本文目标:部署 DeepSeek 本地模型,并通过 Ollama 提供 API 支持,cherryStudio 提供 UI 界面。 本文系统平台为Windows,需提前吧显卡驱动更到最新,并安装CUDA驱动
 

1. 安装Ollama

进入Ollama官方网站,点击Download下载并安装。
notion image
 
安装完成后,新建CMD窗口,输入ollama,输出下图证明安装成功。
notion image
回到ollama官网,点击Models>deepseek-r1,根据显卡选择合适的模型。例如博主显卡为4070TI,12G显存,可以选择8B模型。
notion image
CMD运行ollama run deepseek-r1:8b,如下图运行成功。
notion image

1. 安装配置cherryStudio

cherryStudio官网:http://cherry-ai.com/,下载客户端并安装。
点击设置>模型服务>Ollama,开启,点击管理
notion image
添加所下载的模型
notion image
设置默认模型
notion image
可以在主页提问了
notion image
 
💡
如果你需要让局域网内的其他设备也能访问你的 Ollama 服务,可以配置 OLLAMA_HOST 环境变量。 同样在 “环境变量” 窗口的 “系统变量(S)” 区域 (或者 “用户变量(U)” 区域),点击 “新建(W)...” 按钮。 在 “变量名(N)” 输入框中,输入: OLLAMA_HOST 在 “变量值(V)” 输入框中,输入 0.0.0.0:11434 (或者你想要指定的端口号,默认端口是 11434)。 0.0.0.0 表示监听所有网络接口,允许局域网访问。 11434 是 Ollama 默认端口。 示例: 0.0.0.0:11434 点击 “确定” 按钮,关闭 “新建系统变量” (或者 “新建用户变量”) 窗口。
 
Dify+RAGFlow 混合架构部署Prometheus Grafana docker部署
Loading...