Язык: English · 简体中文 · 繁體中文 · Español · Português · Deutsch · Français · 日本語 · 한국어 · Русский · हिन्दी

Как развернуть DeepSeek-R1 в Windows: пошаговое руководство по размещению локального ИИ-сервера

Автор:

Введение

Развёртывание DeepSeek-R1 в Windows позволяет использовать мощные возможности ИИ локально для таких задач, как логическое рассуждение, генерация текста и анализ данных. Это руководство проведёт вас через весь процесс — от установки необходимых инструментов до размещения локального ИИ-сервера. Независимо от того, создаёте ли вы частную базу знаний или тестируете модели ИИ, это пошаговое руководство обеспечит плавную настройку.

Содержание

  1. Что такое DeepSeek-R1, Ollama и AnythingLLM?
  2. Основные возможности и сценарии использования
  3. Установка и развёртывание DeepSeek-R1 в Windows
    • Шаг 1. Установите CUDA Toolkit (необязательно, для ускорения GPU)
    • Шаг 2. Установите Ollama
    • Шаг 3. Установите модели через Ollama
    • Шаг 4. Установите и настройте AnythingLLM
    • Шаг 5. Скачайте и настройте модели встраивания
    • Шаг 6. Загрузите локальные данные для создания базы знаний
  4. Размещение Ollama в качестве сервера в Windows
    • Настройка переменных среды для удалённого доступа
    • Открытие портов брандмауэра
    • Проверка удалённого доступа
    • Необязательно: публичный доступ через инструменты туннелирования
  5. Устранение распространённых проблем

1. Что такое DeepSeek-R1, Ollama и AnythingLLM?

DeepSeek-R1

DeepSeek-R1 — это большая языковая модель (LLM) с открытым исходным кодом, предназначенная для таких задач, как логическое рассуждение, генерация текста и анализ данных. Она поддерживает вычисления FP16 и ускорение CUDA, что делает её идеальной для локального развёртывания.

Ключевые особенности:

  • Размеры параметров от 1,5 млрд до 671 млрд для различных возможностей оборудования.
  • Ответы с низкой задержкой для приложений реального времени.
  • Исключительная производительность при решении сложных задач, включая тексты на китайском языке.

Ollama

Ollama упрощает развёртывание локальных LLM, предлагая загрузку и управление моделями, такими как DeepSeek-R1, в один клик.

Ключевые особенности:

  • Работа офлайн для конфиденциальности.
  • Простое переключение между несколькими моделями.
  • Настраиваемые пути установки.

AnythingLLM

AnythingLLM объединяет локальные LLM с базами знаний, обеспечивая контекстные вопросы-ответы (Q&A) и приватную обработку данных.

Ключевые особенности:

  • Создание частных баз знаний.
  • Управление несколькими рабочими областями.
  • Возможности контекстных Q&A.

2. Основные возможности и сценарии использования

Сценарий 1. Корпоративная база знаний и умная поддержка клиентов

Загрузите корпоративные документы (например, руководства, договоры) в AnythingLLM и используйте DeepSeek-R1 для точных Q&A.

Преимущества:

  • Локальное хранение данных для конфиденциальности.
  • Разбор файлов разных форматов.

Сценарий 2. Исследования и анализ

Исследователи могут обрабатывать длинные тексты (например, статьи, отчёты), чтобы создавать резюме или извлекать ключевые выводы.

Примеры:

  • Анализ юридических документов.
  • Обработка медицинской литературы.

Сценарий 3. Личная продуктивность

  • Создание еженедельных отчётов из рабочих журналов.
  • Офлайн-перевод на несколько языков.
  • Создание частной базы знаний для обучения.

Сценарий 4. Разработка и тестирование

Разработчики могут тестировать разные размеры параметров DeepSeek-R1 для проверки производительности и совместимости.

3. Установка и развёртывание DeepSeek-R1 в Windows

Шаг 1. Установите CUDA Toolkit (необязательно, для ускорения GPU)

  1. Посетите страницу загрузки CUDA Toolkit.
  2. Выберите подходящую версию для вашей системы Windows.
  3. Выберите тип установки «local» для наилучшего опыта.
  4. Перезагрузите компьютер после установки.

Примечание: Пропустите этот шаг, если в вашей системе нет GPU.

Шаг 2. Установите Ollama

  1. Скачайте установщик Ollama с официального сайта.
  2. Следуйте подсказкам установщика.
  3. Убедитесь, что Ollama работает в фоновом режиме (проверьте системный трей).

Шаг 3. Установите модели через Ollama

  1. Посетите библиотеку моделей Ollama.
  2. Выберите модель исходя из вашего оборудования:
    • 1.5B для конфигураций только с CPU.
    • 14B+ для GPU с 16 ГБ+ видеопамяти.
  3. Выполните команду установки в PowerShell: ollama run deepseek-r1:1.5b

Шаг 4. Установите и настройте AnythingLLM

  1. Скачайте AnythingLLM с официального сайта.
  2. Установите «Ollama» в качестве поставщика LLM в настройках.
  3. AnythingLLM автоматически обнаружит развёрнутые модели, такие как deepseek-r1:14b.

Шаг 5. Скачайте и настройте модели встраивания

  1. Откройте инструмент командной строки и выполните: ollama pull nomic-embed-text
  2. Настройте модель встраивания в параметрах AnythingLLM и сохраните изменения.

Шаг 6. Загрузите локальные данные для создания базы знаний

  1. Перейдите на страницу рабочей области в AnythingLLM.
  2. Нажмите «Upload» и выберите один из следующих вариантов:
    • Прямая загрузка файлов.
    • Подключение к базе данных.
  3. Система векторизует данные для контекстных Q&A.

4. Размещение Ollama в качестве сервера в Windows

Настройка переменных среды для удалённого доступа

  1. Откройте Свойства системы → Переменные среды.
  2. Добавьте следующие переменные:
    • OLLAMA_HOST=0.0.0.0
    • OLLAMA_ORIGINS=* (необязательно для доступа между источниками).
  3. Перезапустите службу Ollama или систему.

Открытие портов брандмауэра

Выполните следующую команду от имени администратора:

netsh advfirewall firewall add rule name="Ollama" dir=in action=allow protocol=TCP localport=11434  

#verify the port
netsh advfirewall firewall show rule name="Ollama"

Проверка удалённого доступа

  1. Проверьте свой локальный IP-адрес с помощью ipconfig.
  2. Проверьте доступ с другого устройства:curl http://[Windows Host IP]:11434/api/tags

Необязательно: публичный доступ через инструменты туннелирования

Используйте ngrok , чтобы открыть доступ к вашему серверу:

ngrok http 11434

5. Устранение распространённых проблем

Не удалось подключиться к серверу

  • Убедитесь, что OLLAMA_HOST и OLLAMA_ORIGINS настроены правильно.
  • Перезапустите службу Ollama.

Конфликт портов

  • Проверьте конфликты портов с помощью:netstat -ano | findstr 11434

Проблемы с памятью

  • Используйте модели меньшего размера (например, 1,5 млрд) для систем с малым объёмом памяти.

В этом руководстве приведены все шаги, необходимые для развёртывания DeepSeek-R1 в Windows и размещения его в качестве локального ИИ-сервера. Дополнительные ресурсы см. в официальной документации.

Оставить комментарий