语言: English · 简体中文 · 繁體中文 · Español · Português · Deutsch · Français · 日本語 · 한국어 · Русский · हिन्दी

如何在 Windows 上部署 DeepSeek-R1：本地 AI 服务器托管分步指南

作者：

简介

在 Windows 上部署 DeepSeek-R1 可以让你在本地利用强大的 AI 功能，执行逻辑推理、文本生成和数据分析等任务。本指南将带你完成从安装必要工具到托管本地 AI 服务器的整个过程。无论你是在构建私有知识库还是测试 AI 模型，这份分步教程都能确保顺利完成设置。

目录

  1. 什么是 DeepSeek-R1、Ollama 和 AnythingLLM？
  2. 核心功能和用例
  3. 在 Windows 上安装和部署 DeepSeek-R1
    • 第 1 步：安装 CUDA Toolkit（可选，用于 GPU 加速）
    • 第 2 步：安装 Ollama
    • 第 3 步：通过 Ollama 安装模型
    • 第 4 步：安装和配置 AnythingLLM
    • 第 5 步：下载和配置嵌入模型
    • 第 6 步：上传本地数据以构建知识库
  4. 在 Windows 上将 Ollama 作为服务器托管
    • 配置用于远程访问的环境变量
    • 打开防火墙端口
    • 验证远程访问
    • 可选：通过隧道工具实现公共访问
  5. 常见问题排查

1. 什么是 DeepSeek-R1、Ollama 和 AnythingLLM？

DeepSeek-R1

DeepSeek-R1 是一个开源大语言模型 (LLM)，专为逻辑推理、文本生成和数据分析等任务而设计。它支持 FP16 计算和 CUDA 加速，非常适合本地部署。

主要功能：

  • 参数规模从 1.5B 到 671B，适用于不同的硬件能力。
  • 低延迟响应，适用于实时应用。
  • 在处理复杂任务（包括中文文本）方面表现出色。

Ollama

Ollama 提供一键下载和管理 DeepSeek-R1 等模型的功能，简化了本地 LLM 的部署。

主要功能：

  • 离线运行，保护隐私。
  • 在多个模型之间轻松切换。
  • 可自定义的安装路径。

AnythingLLM

AnythingLLM 将本地 LLM 与知识库集成在一起，实现上下文 Q&A 和私有数据处理。

主要功能：

  • 私有知识库创建。
  • 多工作区管理。
  • 上下文 Q&A 功能。

2. 核心功能和用例

用例 1：企业知识库和智能客服

将企业文档（例如手册、合同）上传到 AnythingLLM，并使用 DeepSeek-R1 进行精确的 Q&A。

优势：

  • 本地数据存储，保护隐私。
  • 多格式文件解析。

用例 2：研究与分析

研究人员可以处理长文本（例如论文、报告），生成摘要或提取关键见解。

示例：

  • 法律文件分析。
  • 医学文献处理。

用例 3：个人生产力

  • 根据工作日志生成周报。
  • 离线多语言翻译。
  • 构建用于学习的私有知识库。

用例 4：开发与测试

开发者可以测试 DeepSeek-R1 的不同参数规模，以评估性能和兼容性。

3. 在 Windows 上安装和部署 DeepSeek-R1

第 1 步：安装 CUDA Toolkit（可选，用于 GPU 加速）

  1. 访问 CUDA Toolkit 下载页面.
  2. 为你的 Windows 系统选择合适的版本。
  3. 选择“local”安装类型，以获得最佳体验。
  4. 安装后重启计算机。

注意： 如果你的系统没有 GPU，请跳过此步骤。

第 2 步：安装 Ollama

  1. 从以下网站下载 Ollama 安装程序： 官方网站.
  2. 按照安装提示操作。
  3. 验证 Ollama 是否在后台运行（检查系统托盘）。

第 3 步：通过 Ollama 安装模型

  1. 访问 Ollama 模型库.
  2. 根据你的硬件选择模型：
    • 1.5B 适用于纯 CPU 配置。
    • 14B+ 适用于拥有 16GB+ VRAM 的 GPU。
  3. 在 PowerShell 中运行安装命令： ollama run deepseek-r1:1.5b

第 4 步：安装和配置 AnythingLLM

  1. 从以下网站下载 AnythingLLM： 官方网站.
  2. 在设置中将 LLM 提供商设置为“Ollama”。
  3. AnythingLLM 会自动检测已部署的模型，例如 deepseek-r1:14b.

第 5 步：下载和配置嵌入模型

  1. 打开命令行工具并运行： ollama pull nomic-embed-text
  2. 在 AnythingLLM 设置中配置嵌入模型并保存更改。

第 6 步：上传本地数据以构建知识库

  1. 导航到 AnythingLLM 中的工作区页面。
  2. 点击“Upload”，然后选择以下其中一项：
    • 直接上传文件。
    • 连接到数据库。
  3. 系统会将数据向量化，以实现上下文 Q&A。

4. 在 Windows 上将 Ollama 作为服务器托管

配置用于远程访问的环境变量

  1. 打开 系统属性 → 环境变量.
  2. 添加以下变量：
    • OLLAMA_HOST=0.0.0.0
    • OLLAMA_ORIGINS=* （可选，用于跨源访问）。
  3. 重启 Ollama 服务或你的系统。

打开防火墙端口

以管理员身份运行以下命令：

netsh advfirewall firewall add rule name="Ollama" dir=in action=allow protocol=TCP localport=11434  

#verify the port
netsh advfirewall firewall show rule name="Ollama"

验证远程访问

  1. 通过以下命令查看你的本地 IP 地址： ipconfig.
  2. 从另一台设备测试访问：curl http://[Windows Host IP]:11434/api/tags

可选：通过隧道工具实现公共访问

使用 ngrok 来公开你的服务器：

ngrok http 11434

5. 常见问题排查

服务器连接失败

  • 确保 OLLAMA_HOST 和 OLLAMA_ORIGINS 已正确配置。
  • 重启 Ollama 服务。

端口冲突

  • 使用以下命令检查端口冲突：netstat -ano | findstr 11434

内存问题

  • 对于内存较小的系统，请使用较小的模型（例如 1.5B）。

本指南提供了在 Windows 上部署 DeepSeek-R1 并将其作为本地 AI 服务器托管所需的所有步骤。有关其他资源，请参阅 官方文档.

发表评论