今天来教大家把超火的智能助手DeepSeek – R1装进自己电脑, 离线使用隐私有保障。
不用联网就能随时和AI互动,写文案、聊天、做翻译都不在话下,学生党和上班族都很适用呢。
一、下载 Ollama
打开Ollama官网。这里需要注意的是,下载 Ollama 无需特殊网络,普通的网络连接即可完成搜索与下载操作。
进入官网后,在页面的右上角位置,可以清晰地看到 “Download” 按钮,点击它。
选择安装包:此时,页面会根据你的电脑系统类型,展示相应的下载选项。如果你的电脑是 Windows 系统,就选择对应的 Windows 安装包;若是 Mac 系统,就选择 macOS 安装包;Linux 系统同理。一定要确保选择的安装包与你的电脑系统版本完全匹配,否则可能导致安装失败。
如果某些地区无法从Github下载最新版的Ollama, 可以使用加速工具链接: Github Proxy, 比如下载当前最新版:
https://github.7boe.top/https://github.com/ollama/ollama/releases/download/v0.5.7/OllamaSetup.exe
安装过程:下载完成后,找到下载好的安装包,通常它会保存在浏览器默认的下载路径中。双击安装包,安装向导会随即启动。在安装过程中,你只需要一直点击 “下一步” 按钮,按照安装向导的提示完成各项设置即可。安装过程中可能会出现一些询问框,比如询问你安装的路径等,如果你对这些设置不太熟悉,保持默认设置即可。安装完成后,电脑右下角通常会弹出一个提示框,告知你 Ollama 已经成功安装。
验证安装:安装完成后,还需要验证是否安装成功。这里有一个简单的小技巧:打开终端。如果你不知道如何打开终端,对于 Windows 系统的用户,可以同时按下键盘上的 “Windows 键 + R”,这时会弹出一个 “运行” 对话框,在对话框中输入 “cmd”,然后回车,即可打开命令提示符(也就是终端);对于 Mac 系统用户,可以在 “应用程序” 文件夹中找到 “终端” 应用并打开。在终端中输入 “ollama -v
”,如果出现 Ollama 的版本号,那就说明你已经成功安装 Ollama 了。
二、使用 DeepSeek R1 模型
打开终端:按照前面介绍的方法,打开电脑的终端。
输入命令:在终端中输入 “ollama run deepseek-r1”
。这里需要注意的是,默认情况下,系统会下载 7B 参数规格的模型。在输入命令后,你需要耐心等待,因为模型下载需要一定的时间,期间会出现模型下载进度条,你可以通过进度条了解下载的进展情况。
选择不同参数模型:如果你不想下载默认的 7B 参数规格模型,Ollama 还提供了多种不同参数规格的模型供你选择,比如 1.5b、7b、8b、14b 等。其中,14b 参数规格的模型推理能力较强,比较适合在 PC 本地运行。
如果你想要下载其他参数规格的模型,方法是在模型名称后面加上 “: 加参数量”。例如,如果你想要下载 7b 模型,就在终端中输入 “ollama run deepseek -r1:7b
”。
三、开启 AI 聊天
等待提示符号:当你完成模型下载后,在终端中会出现 “>>>” 符号,这就表示你已经可以开始与 AI 进行聊天了。
输入聊天内容:你可以根据自己的需求,输入各种有趣的问题或指令。比如,你可以输入 “用甄嬛体帮我写请假条”,让 AI 帮你以独特的语言风格生成请假条;也可以输入 “模仿李佳琦推荐我的快乐水”,看看 AI 会如何像李佳琦一样充满激情地推荐你的快乐水;还可以输入 “帮我想 10 个情人节礼物创意”,让 AI 为你提供情人节礼物的灵感。
四、注意事项
下载时间:模型下载通常需要较长时间,至少 20 分钟。并且需要注意的是,Ollama 目前不支持断点续传,所以在下载模型时,一定要确保网络连接稳定,避免因网络中断而导致下载失败,需要重新下载。
磁盘空间:不同参数规格的模型文件大小不同,7b 模型文件大约为 4.7G,14b 模型文件大约为 9G。在下载模型之前,请务必检查你的电脑磁盘空间,根据剩余空间大小选择合适参数规格的模型进行下载,以免因磁盘空间不足而导致下载失败。
电脑硬件要求及解决方案
DeepSeek本地电脑安装最低硬件配置要求,分GPU和CPU两种方案:
如果电脑有GPU,那么最低配置是8GB显存,比如RTX 3060/3080等,而CPU作为备用方案。
仅有CPU情况下,最低8GB内存,但推荐16GB以上,尤其是7B模型可能需要更多内存。
处理器方面,近几年的Intel或AMD多核处理器,比如i5或Ryzen 5以上都可以。
下面的表格,详细列出了CPU的最低配置,比如内存大小、建议的处理器型号,以及存储空间、操作系统。
硬件配置项 | GPU方案(推荐) | 纯CPU方案 |
---|---|---|
处理器 | 任意支持AVX指令的CPU | 近5年的多核CPU(如Intel i5/Ryzen 5及以上) |
内存 | 16GB RAM(需共享显存时) | 最低8GB(7B模型),推荐32GB+(流畅运行) |
存储 | 15GB可用空间(模型文件) | 同左 |
系统 | Windows 10+/Linux/macOS | 同左 |
电脑仅有CPU环境下运行DeepSeek的优化建议:
在CPU环境下,建议对DeepSeek模型的加载方式进行优化,比如设置device_map=”cpu”和torch_dtype=torch.float32等(详细代码见下文)。
另外,还需要注意速度问题,因为CPU推理会比GPU慢很多,尤其是在处理长文本的时候。因此,建议从较小的输入开始测试,或者考虑量化技术减少内存占用,比如4位或8位量化,但是需要注意量化可能影响模型效果。
1,缩小模型加载内存:
# 修改模型加载代码
model = AutoModelForCausalLM.from_pretrained(
model_path,
device_map="cpu",
torch_dtype=torch.float32, # 必须用float32
low_cpu_mem_usage=True # 内存优化模式
)
2,使用量化技术(需修改代码):
# 8-bit量化(减少30%内存)
model = AutoModelForCausalLM.from_pretrained(
model_path,
load_in_8bit=True,
device_map="cpu"
)
# 4-bit量化(减少50%内存,但效果可能下降)
model = AutoModelForCausalLM.from_pretrained(
model_path,
load_in_4bit=True,
device_map="cpu"
)
3,限制生成长度:
outputs = model.generate(inputs, max_new_tokens=100) # 生成内容越短越好
实际体验参考:
7B模型在CPU上的表现:
i7-12700H(14核) + 32GB内存
加载时间:约60秒
生成100字响应:约90秒
较旧的i5-8250U(4核) + 16GB内存
加载时间:约120秒
生成100字响应:约180秒
版本说明
1.5B-14B(迷你版)
相当于“智能小助手”,装在手机里就能用。反应快、省电,但遇到复杂问题容易卡壳。适合查天气、简单聊天、写个短文案。
32B-70B(中杯版)
像“专业顾问”,能处理法律文件分析、行业报告生成这类工作。需要中等配置的电脑或服务器才能跑得动。
671B(巨无霸)
妥妥的“学霸体质”,能解竞赛题、写长篇小说、做商业决策分析。但必须用顶级显卡服务器,普通电脑根本带不动。
deepseek-r1的1.5b、7b、8b、14b、32b、70b和671b有啥区别?具体的可以参考以下这张表格,仅供大家参考:
模型名称 | 模型大小 | 运行命令 | 适应场景 | 硬件配置 |
---|---|---|---|---|
DeepSeek-R1 | 671B | ollama run deepseek-r1:671b | 适合国家级 / 超大规模 AI 研究,如气候建模、基因组分析等,以及通用人工智能探索 | 需要极高的硬件配置,显存需求超过 336GB |
DeepSeek-R1-Distill-Qwen-1.5B | 1.5B | ollama run deepseek-r1:1.5b | 适用于轻量级任务,如短文本生成、基础问答等 | 最低配置:8GB RAM,无显卡加速;适合老旧设备 |
DeepSeek-R1-Distill-Qwen-7B | 7B | ollama run deepseek-r1:7b | 适合中等复杂度任务,如文案撰写、表格处理、统计分析等 | 最低配置:16GB RAM,8GB 显存(GPU 加速) |
DeepSeek-R1-Distill-Llama-8B | 8B | ollama run deepseek-r1:8b | 适合需要更高精度的轻量级任务,比如代码生成、逻辑推理等 | 最低配置:16GB RAM,8GB 显存(GPU 加速) |
DeepSeek-R1-Distill-Qwen-14B | 14B | ollama run deepseek-r1:14b | 可处理复杂任务,如长文本生成、数据分析等 | 最低配置:32GB RAM,26GB 显存(GPU 加速) |
DeepSeek-R1-Distill-Qwen-32B | 32B | ollama run deepseek-r1:32b | 适合超大规模任务,如语言建模、大规模训练、金融预测等 | 最低配置:64GB RAM,64GB 显存(GPU 加速) |
DeepSeek-R1-Distill-Llama-70B | 70B | ollama run deepseek-r1:70b | 适合高精度专业领域任务,比如多模态任务预处理。这些任务对硬件要求非常高,需要高端的 CPU 和显卡,适合预算充足的企业或研究机构使用 | 最低配置:128GB RAM,140GB 显存(GPU 加速) |