这几天自己在 Mac mini 上部署了一个 DeepSeek R1,总体步骤还是非常简单的,一共只需要三步就可以实现本地运行一个大模型。具体能运行多少参数的还得看本地的 GPU 算力等情况。本文简单分享一下如何在本地部署 DeepSeek R1,采用的技术方案是 ollama + Open Web UI,可能还要用到 Docker。
Mac mini 配置参考《Mac mini 远程桌面解决方案整理:远程桌面软件/自建服务器/内网穿透/ARD/分辨率问题》。
一、下载并安装 ollama
官网地址:https://ollama.com
下载页面:https://ollama.com/download
挑选自己的系统对应的版本下载然后安装即可。
二、运行合适的大模型
安装完 ollama 之后,挑选合适的模型:https://ollama.com/search,比如 DeepSeek R1(https://ollama.com/library/deepseek-r1),根据自己本地的显存确定合适的参数。我用的是 Mac mini M4 24G 内存的,因为 Mac 这个显存内存共享的,我装的是 14b 的 DeepSeek R1,推理的时候基本上会占用 22G 左右,感觉正好,推理速度也不慢。
如果不知道怎么选择,可以先安装个 7b 或者 14b 看看,如果可以运行并且速度合适就可以,如果看显存没占满就换个更大的,如果看速度太慢就换个更小的。
至此其实已经可以在命令行使用 DeepSeek R1 了,但是如果我们想要一个更好看的界面,可以进一步安装一个 Open WebUI 或者是 AnythingLLM 等。
三、安装一个好看的界面
Open WebUI 官网:https://github.com/open-webui/open-webui
如果本地有 Python,可以直接通过下面命令安装:
pip install open-webui
运行:
open-webui serve
访问地址:http://localhost:8080
如果本地安装了 Docker,那么推荐使用 Docker 进行安装:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
或者如果 ollama 不在本地:
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
具体我们也可以查看 Open WebUI 官网确认更多安装方法。
至此,就安装完成啦!Docker 安装方式的话,浏览器访问 http://localhost:3000
就可以了。
相关文章:
目前 DeepSeek 非常火热,建议大家都用起来,才不会被时代淘汰。