1. 优势
在本地部署模型的最大优势是完全无需联网,所有数据和计算都保留在本地系统中,避免了隐私泄露和外部网络审查。尤其是在询问敏感问题时,网络审查机制通常会中止回答,而本地部署可以让模型更自由地处理问题,尽管模型本身仍然可能存在一些内置的审查机制。
2. 步骤
2.1 安装 Ollama
Ollama 是一个开源的大语言模型运行平台,可以用来运行多种流行的 LLM(大语言模型),如 Deepseek R1、Meta 的 Llama 和阿里的 Qwen 等等。首先,你需要在你的操作系统中安装 Ollama。
访问 Ollama 下载页面,选择与你的操作系统兼容的版本进行下载并安装。
安装完成后,打开命令行终端,运行以下命令确认安装成功:
ollama -v这将显示 Ollama 的版本信息,确认安装成功。
2.2 拉取并运行未经审查模型
在安装并配置好 Ollama 后,你可以通过以下命令来拉取并运行 Deepseek R1 的未经审查版本。具体版本的选择取决于你的计算机配置。
如果你的显卡性能较好(例如 4060 Laptop),可以选择运行 8b 或更高版本的模型:
ollama run huihui_ai/deepseek-r1-abliterated:7bollama run huihui_ai/deepseek-r1-abliterated:8bollama run huihui_ai/deepseek-r1-abliterated:14bollama run huihui_ai/deepseek-r1-abliterated:32bollama run huihui_ai/deepseek-r1-abliterated:70b命令中指定的模型大小决定了内存和显卡的需求。你可以根据自己电脑的硬件配置选择适合的版本。(1点几b的不能用!!!!不听使唤)
2.3 模型 API 配置
启动模型后,Ollama 会自动将 API 地址配置为 http://127.0.0.1:11434。你可以通过该地址访问模型,并且它也兼容 OpenAI 的 API 接口,路径为:
http://127.0.0.1:11434/v1/chat/completions这样,你可以使用类似 OpenAI API 的方式与模型进行交互,发送和接收聊天内容。
3. 其他未经审查模型
除了 Deepseek R1,还有一些其他优秀的未经审查大语言模型。例如,wizardlm-uncensored 模型,虽然它仅有 13B 参数,但在一些应用中也表现出了不错的效果。
你可以使用以下命令来运行该模型:
ollama run wizardlm-uncensored同样,Ollama 会将模型下载到你的默认路径,若你需要修改存放位置,可以参考官方文档进行配置。
鲁公网安备37048102006944号