Sprache: English · 简体中文 · 繁體中文 · Español · Português · Deutsch · Français · 日本語 · 한국어 · Русский · हिन्दी

So stellen Sie DeepSeek-R1 unter Windows bereit: Schritt-für-Schritt-Anleitung für das Hosten eines lokalen KI-Servers

von

Einleitung

Die Bereitstellung von DeepSeek-R1 unter Windows ermöglicht es Ihnen, leistungsstarke KI-Funktionen lokal zu nutzen – für Aufgaben wie logisches Denken, Textgenerierung und Datenanalyse. Diese Anleitung führt Sie durch den gesamten Prozess, von der Installation der erforderlichen Tools bis zum Hosten eines lokalen KI-Servers. Ob Sie eine private Wissensdatenbank aufbauen oder KI-Modelle testen – dieses Schritt-für-Schritt-Tutorial sorgt für eine reibungslose Einrichtung.

Inhaltsverzeichnis

  1. Was sind DeepSeek-R1, Ollama und AnythingLLM?
  2. Kernfunktionen und Anwendungsfälle
  3. DeepSeek-R1 unter Windows installieren und bereitstellen
    • Schritt 1: CUDA Toolkit installieren (optional für GPU-Beschleunigung)
    • Schritt 2: Ollama installieren
    • Schritt 3: Modelle über Ollama installieren
    • Schritt 4: AnythingLLM installieren und konfigurieren
    • Schritt 5: Einbettungsmodelle herunterladen und konfigurieren
    • Schritt 6: Lokale Daten hochladen, um eine Wissensdatenbank aufzubauen
  4. Ollama als Server unter Windows hosten
    • Umgebungsvariablen für den Fernzugriff konfigurieren
    • Firewall-Ports öffnen
    • Fernzugriff überprüfen
    • Optional: Öffentlicher Zugriff über Tunneling-Tools
  5. Häufige Probleme beheben

1. Was sind DeepSeek-R1, Ollama und AnythingLLM?

DeepSeek-R1

DeepSeek-R1 ist ein quelloffenes großes Sprachmodell (LLM), das für Aufgaben wie logisches Denken, Textgenerierung und Datenanalyse konzipiert ist. Es unterstützt FP16-Berechnungen und CUDA-Beschleunigung und ist daher ideal für die lokale Bereitstellung.

Hauptfunktionen:

  • Parametergrößen von 1,5 Mrd. bis 671 Mrd. für verschiedene Hardwarefähigkeiten.
  • Antworten mit geringer Latenz für Echtzeitanwendungen.
  • Außergewöhnliche Leistung bei der Bewältigung komplexer Aufgaben, einschließlich chinesischer Texte.

Ollama

Ollama vereinfacht die Bereitstellung lokaler LLMs, indem es Downloads und die Verwaltung von Modellen wie DeepSeek-R1 mit einem Klick ermöglicht.

Hauptfunktionen:

  • Offline-Betrieb für den Datenschutz.
  • Einfaches Wechseln zwischen mehreren Modellen.
  • Anpassbare Installationspfade.

AnythingLLM

AnythingLLM integriert lokale LLMs mit Wissensdatenbanken und ermöglicht kontextbezogene Q&A sowie die private Verarbeitung von Daten.

Hauptfunktionen:

  • Erstellung privater Wissensdatenbanken.
  • Verwaltung mehrerer Arbeitsbereiche.
  • Kontextbezogene Q&A-Funktionen.

2. Kernfunktionen und Anwendungsfälle

Anwendungsfall 1: Unternehmens-Wissensdatenbank und intelligenter Kundensupport

Laden Sie Unternehmensdokumente (z. B. Handbücher, Verträge) in AnythingLLM hoch und verwenden Sie DeepSeek-R1 für präzise Q&A.

Vorteile:

  • Lokale Datenspeicherung für den Datenschutz.
  • Parsen von Dateien in mehreren Formaten.

Anwendungsfall 2: Forschung und Analyse

Forscher können lange Texte (z. B. Papers, Berichte) verarbeiten, um Zusammenfassungen zu erstellen oder wichtige Erkenntnisse zu extrahieren.

Beispiele:

  • Analyse juristischer Dokumente.
  • Verarbeitung medizinischer Literatur.

Anwendungsfall 3: Persönliche Produktivität

  • Erstellen Sie wöchentliche Berichte aus Arbeitsprotokollen.
  • Offline-Übersetzung in mehreren Sprachen.
  • Erstellen Sie eine private Wissensdatenbank zum Lernen.

Anwendungsfall 4: Entwicklung und Tests

Entwickler können verschiedene Parametergrößen von DeepSeek-R1 auf Leistung und Kompatibilität testen.

3. DeepSeek-R1 unter Windows installieren und bereitstellen

Schritt 1: CUDA Toolkit installieren (optional für GPU-Beschleunigung)

  1. Besuchen Sie die CUDA Toolkit-Downloadseite.
  2. Wählen Sie die passende Version für Ihr Windows-System.
  3. Wählen Sie den Installationstyp „local“ für die beste Erfahrung.
  4. Starten Sie Ihren Computer nach der Installation neu.

Hinweis: Überspringen Sie diesen Schritt, wenn Ihr System keine GPU hat.

Schritt 2: Ollama installieren

  1. Laden Sie das Ollama-Installationsprogramm von der offiziellen Website.
  2. Befolgen Sie die Installationsanweisungen.
  3. Prüfen Sie, ob Ollama im Hintergrund läuft (überprüfen Sie die Taskleiste).

Schritt 3: Modelle über Ollama installieren

  1. Besuchen Sie die Ollama-Modellbibliothek.
  2. Wählen Sie ein Modell basierend auf Ihrer Hardware:
    • 1.5B für reine CPU-Setups.
    • 14B+ für GPUs mit 16 GB+ VRAM.
  3. Führen Sie den Installationsbefehl in PowerShell aus: ollama run deepseek-r1:1.5b

Schritt 4: AnythingLLM installieren und konfigurieren

  1. Laden Sie AnythingLLM von der offiziellen Website.
  2. Legen Sie „Ollama“ als LLM-Anbieter in den Einstellungen fest.
  3. AnythingLLM erkennt bereitgestellte Modelle wie deepseek-r1:14b.

Schritt 5: Einbettungsmodelle herunterladen und konfigurieren

  1. Öffnen Sie ein Befehlszeilentool und führen Sie Folgendes aus: ollama pull nomic-embed-text
  2. Konfigurieren Sie das Einbettungsmodell in den AnythingLLM-Einstellungen und speichern Sie die Änderungen.

Schritt 6: Lokale Daten hochladen, um eine Wissensdatenbank aufzubauen

  1. Navigieren Sie zur Workspace-Seite in AnythingLLM.
  2. Klicken Sie auf „Upload“ und wählen Sie eine der folgenden Optionen:
    • Laden Sie Dateien direkt hoch.
    • Verbinden Sie sich mit einer Datenbank.
  3. Das System vektorisiert die Daten für kontextbezogene Q&A.

4. Ollama als Server unter Windows hosten

Umgebungsvariablen für den Fernzugriff konfigurieren

  1. Öffnen Sie Systemeigenschaften → Umgebungsvariablen.
  2. Fügen Sie die folgenden Variablen hinzu:
    • OLLAMA_HOST=0.0.0.0
    • OLLAMA_ORIGINS=* (optional für den Cross-Origin-Zugriff).
  3. Starten Sie den Ollama-Dienst oder Ihr System neu.

Firewall-Ports öffnen

Führen Sie den folgenden Befehl als Administrator aus:

netsh advfirewall firewall add rule name="Ollama" dir=in action=allow protocol=TCP localport=11434  

#verify the port
netsh advfirewall firewall show rule name="Ollama"

Fernzugriff überprüfen

  1. Prüfen Sie Ihre lokale IP-Adresse mit ipconfig.
  2. Testen Sie den Zugriff von einem anderen Gerät:curl http://[Windows Host IP]:11434/api/tags

Optional: Öffentlicher Zugriff über Tunneling-Tools

Verwenden Sie ngrok , um Ihren Server freizugeben:

ngrok http 11434

5. Häufige Probleme beheben

Serververbindung fehlgeschlagen

  • Stellen Sie sicher, dass OLLAMA_HOST und OLLAMA_ORIGINS korrekt konfiguriert sind.
  • Starten Sie den Ollama-Dienst neu.

Portkonflikt

  • Prüfen Sie Portkonflikte mit:netstat -ano | findstr 11434

Speicherprobleme

  • Verwenden Sie kleinere Modelle (z. B. 1,5 Mrd.) für Systeme mit wenig Arbeitsspeicher.

Diese Anleitung enthält alle Schritte, die Sie benötigen, um DeepSeek-R1 unter Windows bereitzustellen und als lokalen KI-Server zu hosten. Weitere Ressourcen finden Sie in der offiziellen Dokumentation.

Kommentar hinterlassen