語言: English · 简体中文 · 繁體中文 · Español · Português · Deutsch · Français · 日本語 · 한국어 · Русский · हिन्दी

如何在 Windows 上部署 DeepSeek-R1：本機 AI 伺服器代管逐步指南

作者：

簡介

在 Windows 上部署 DeepSeek-R1 可以讓你在本機利用強大的 AI 功能，執行邏輯推理、文字產生和資料分析等任務。本指南將帶你完成從安裝必要工具到託管本機 AI 伺服器的整個流程。無論你是在建立私人知識庫還是測試 AI 模型，這份逐步教學都能確保順利完成設定。

目錄

  1. 什麼是 DeepSeek-R1、Ollama 和 AnythingLLM？
  2. 核心功能和使用案例
  3. 在 Windows 上安裝和部署 DeepSeek-R1
    • 第 1 步：安裝 CUDA Toolkit（選用，用於 GPU 加速）
    • 第 2 步：安裝 Ollama
    • 第 3 步：透過 Ollama 安裝模型
    • 第 4 步：安裝和設定 AnythingLLM
    • 第 5 步：下載和設定嵌入模型
    • 第 6 步：上傳本機資料以建立知識庫
  4. 在 Windows 上將 Ollama 作為伺服器託管
    • 設定用於遠端存取的環境變數
    • 開啟防火牆連接埠
    • 驗證遠端存取
    • 選用：透過通道工具實現公開存取
  5. 常見問題疑難排解

1. 什麼是 DeepSeek-R1、Ollama 和 AnythingLLM？

DeepSeek-R1

DeepSeek-R1 是一個開源大型語言模型 (LLM)，專為邏輯推理、文字產生和資料分析等任務而設計。它支援 FP16 運算和 CUDA 加速，非常適合本機部署。

主要功能：

  • 參數規模從 1.5B 到 671B，適用於不同的硬體能力。
  • 低延遲回應，適用於即時應用程式。
  • 在處理複雜任務（包括中文文字）方面表現出色。

Ollama

Ollama 提供一鍵下載和管理 DeepSeek-R1 等模型的功能，簡化了本機 LLM 的部署。

主要功能：

  • 離線運作，保護隱私。
  • 在多個模型之間輕鬆切換。
  • 可自訂的安裝路徑。

AnythingLLM

AnythingLLM 將本機 LLM 與知識庫整合在一起，實現上下文 Q&A 和私密資料處理。

主要功能：

  • 私人知識庫建立。
  • 多工作區管理。
  • 上下文 Q&A 功能。

2. 核心功能和使用案例

使用案例 1：企業知識庫和智慧客服

將企業文件（例如手冊、合約）上傳到 AnythingLLM，並使用 DeepSeek-R1 進行精確的 Q&A。

優勢：

  • 本機資料儲存，保護隱私。
  • 多格式檔案解析。

使用案例 2：研究與分析

研究人員可以處理長文字（例如論文、報告），產生摘要或擷取關鍵見解。

範例：

  • 法律文件分析。
  • 醫學文獻處理。

使用案例 3：個人生產力

  • 根據工作日誌產生週報。
  • 離線多語言翻譯。
  • 建立用於學習的私人知識庫。

使用案例 4：開發與測試

開發者可以測試 DeepSeek-R1 的不同參數規模，以評估效能和相容性。

3. 在 Windows 上安裝和部署 DeepSeek-R1

第 1 步：安裝 CUDA Toolkit（選用，用於 GPU 加速）

  1. 造訪 CUDA Toolkit 下載頁面.
  2. 為你的 Windows 系統選擇合適的版本。
  3. 選擇「local」安裝類型，以獲得最佳體驗。
  4. 安裝後重新啟動電腦。

注意： 如果你的系統沒有 GPU，請略過此步驟。

第 2 步：安裝 Ollama

  1. 從下列網站下載 Ollama 安裝程式： 官方網站.
  2. 按照安裝提示操作。
  3. 驗證 Ollama 是否在背景執行（檢查系統匣）。

第 3 步：透過 Ollama 安裝模型

  1. 造訪 Ollama 模型庫.
  2. 根據你的硬體選擇模型：
    • 1.5B 適用於純 CPU 設定。
    • 14B+ 適用於擁有 16GB+ VRAM 的 GPU。
  3. 在 PowerShell 中執行安裝命令： ollama run deepseek-r1:1.5b

第 4 步：安裝和設定 AnythingLLM

  1. 從下列網站下載 AnythingLLM： 官方網站.
  2. 在設定中將 LLM 提供者設定為「Ollama」。
  3. AnythingLLM 會自動偵測已部署的模型，例如 deepseek-r1:14b.

第 5 步：下載和設定嵌入模型

  1. 開啟命令列工具並執行： ollama pull nomic-embed-text
  2. 在 AnythingLLM 設定中設定嵌入模型並儲存變更。

第 6 步：上傳本機資料以建立知識庫

  1. 瀏覽至 AnythingLLM 中的工作區頁面。
  2. 按一下「Upload」，然後選擇下列其中一項：
    • 直接上傳檔案。
    • 連線到資料庫。
  3. 系統會將資料向量化，以實現上下文 Q&A。

4. 在 Windows 上將 Ollama 作為伺服器託管

設定用於遠端存取的環境變數

  1. 開啟 系統內容 → 環境變數.
  2. 新增下列變數：
    • OLLAMA_HOST=0.0.0.0
    • OLLAMA_ORIGINS=* （選用，用於跨來源存取）。
  3. 重新啟動 Ollama 服務或你的系統。

開啟防火牆連接埠

以系統管理員身分執行下列命令：

netsh advfirewall firewall add rule name="Ollama" dir=in action=allow protocol=TCP localport=11434  

#verify the port
netsh advfirewall firewall show rule name="Ollama"

驗證遠端存取

  1. 透過下列命令查看你的本機 IP 位址： ipconfig.
  2. 從另一台裝置測試存取：curl http://[Windows Host IP]:11434/api/tags

選用：透過通道工具實現公開存取

使用 ngrok 來公開你的伺服器：

ngrok http 11434

5. 常見問題疑難排解

伺服器連線失敗

  • 確認 OLLAMA_HOST 和 OLLAMA_ORIGINS 已正確設定。
  • 重新啟動 Ollama 服務。

連接埠衝突

  • 使用下列命令檢查連接埠衝突：netstat -ano | findstr 11434

記憶體問題

  • 對於記憶體較小的系統，請使用較小的模型（例如 1.5B）。

本指南提供了在 Windows 上部署 DeepSeek-R1 並將其作為本機 AI 伺服器託管所需的所有步驟。有關其他資源，請參閱 官方文件.

發表留言