언어: English · 简体中文 · 繁體中文 · Español · Português · Deutsch · Français · 日本語 · 한국어 · Русский · हिन्दी

Windows에 DeepSeek-R1을 배포하는 방법: 로컬 AI 서버 호스팅 단계별 가이드

글:

소개

Windows에 DeepSeek-R1을 배포하면 논리적 추론, 텍스트 생성, 데이터 분석 등의 작업을 위한 강력한 AI 기능을 로컬에서 활용할 수 있습니다. 이 가이드는 필요한 도구 설치부터 로컬 AI 서버 호스팅까지 전체 과정을 안내합니다. 비공개 지식 베이스를 구축하든 AI 모델을 테스트하든, 이 단계별 튜토리얼을 통해 원활하게 설정할 수 있습니다.

목차

  1. DeepSeek-R1, Ollama, AnythingLLM이란?
  2. 핵심 기능과 사용 사례
  3. Windows에 DeepSeek-R1 설치 및 배포하기
    • 1단계: CUDA Toolkit 설치(GPU 가속을 위한 선택 사항)
    • 2단계: Ollama 설치
    • 3단계: Ollama를 통해 모델 설치
    • 4단계: AnythingLLM 설치 및 구성
    • 5단계: 임베딩 모델 다운로드 및 구성
    • 6단계: 로컬 데이터를 업로드해 지식 베이스 구축
  4. Windows에서 Ollama를 서버로 호스팅하기
    • 원격 액세스를 위한 환경 변수 구성
    • 방화벽 포트 열기
    • 원격 액세스 확인
    • 선택 사항: 터널링 도구를 통한 공개 액세스
  5. 일반적인 문제 해결

1. DeepSeek-R1, Ollama, AnythingLLM이란?

DeepSeek-R1

DeepSeek-R1은 논리적 추론, 텍스트 생성, 데이터 분석 등의 작업을 위해 설계된 오픈소스 대형 언어 모델(LLM)입니다. FP16 연산과 CUDA 가속을 지원해 로컬 배포에 이상적입니다.

주요 기능:

  • 다양한 하드웨어 성능에 맞는 1.5B~671B 파라미터 크기.
  • 실시간 애플리케이션을 위한 저지연 응답.
  • 중국어 텍스트를 포함한 복잡한 작업 처리에서 뛰어난 성능.

Ollama

Ollama는 DeepSeek-R1과 같은 모델의 원클릭 다운로드와 관리를 제공해 로컬 LLM 배포를 단순화합니다.

주요 기능:

  • 개인정보 보호를 위한 오프라인 동작.
  • 여러 모델 간 쉬운 전환.
  • 사용자 지정 가능한 설치 경로.

AnythingLLM

AnythingLLM은 로컬 LLM을 지식 베이스와 통합해 맥락 기반 Q&A와 비공개 데이터 처리를 가능하게 합니다.

주요 기능:

  • 비공개 지식 베이스 만들기.
  • 다중 작업 공간 관리.
  • 맥락 기반 Q&A 기능.

2. 핵심 기능과 사용 사례

사용 사례 1: 기업 지식 베이스와 스마트 고객 지원

기업 문서(예: 매뉴얼, 계약서)를 AnythingLLM에 업로드하고 DeepSeek-R1을 사용해 정확한 Q&A를 수행하세요.

장점:

  • 개인정보 보호를 위한 로컬 데이터 저장.
  • 다양한 형식의 파일 파싱.

사용 사례 2: 연구 및 분석

연구자는 긴 텍스트(예: 논문, 보고서)를 처리해 요약을 생성하거나 핵심 인사이트를 추출할 수 있습니다.

예시:

  • 법률 문서 분석.
  • 의학 문헌 처리.

사용 사례 3: 개인 생산성

  • 작업 로그에서 주간 보고서를 생성합니다.
  • 오프라인 다국어 번역.
  • 학습용 비공개 지식 베이스를 구축합니다.

사용 사례 4: 개발 및 테스트

개발자는 성능과 호환성을 확인하기 위해 DeepSeek-R1의 다양한 파라미터 크기를 테스트할 수 있습니다.

3. Windows에 DeepSeek-R1 설치 및 배포하기

1단계: CUDA Toolkit 설치(GPU 가속을 위한 선택 사항)

  1. 다음 페이지를 방문하세요: CUDA Toolkit 다운로드 페이지.
  2. Windows 시스템에 맞는 버전을 선택하세요.
  3. 최상의 경험을 위해 “local” 설치 유형을 선택하세요.
  4. 설치 후 컴퓨터를 재부팅하세요.

참고: 시스템에 GPU가 없으면 이 단계를 건너뛰세요.

2단계: Ollama 설치

  1. 다음에서 Ollama 설치 프로그램을 다운로드하세요: 공식 웹사이트.
  2. 설치 안내를 따르세요.
  3. Ollama가 백그라운드에서 실행 중인지 확인하세요(시스템 트레이 확인).

3단계: Ollama를 통해 모델 설치

  1. 다음 페이지를 방문하세요: Ollama 모델 라이브러리.
  2. 하드웨어에 따라 모델을 선택하세요.
    • 1.5B CPU 전용 설정용.
    • 14B+ 16GB 이상의 VRAM을 갖춘 GPU용.
  3. PowerShell에서 설치 명령을 실행하세요. ollama run deepseek-r1:1.5b

4단계: AnythingLLM 설치 및 구성

  1. 다음에서 AnythingLLM을 다운로드하세요: 공식 웹사이트.
  2. 설정에서 LLM 제공업체로 “Ollama”를 설정하세요.
  3. AnythingLLM은 다음과 같이 배포된 모델을 자동으로 감지합니다. deepseek-r1:14b.

5단계: 임베딩 모델 다운로드 및 구성

  1. 명령줄 도구를 열고 다음을 실행하세요. ollama pull nomic-embed-text
  2. AnythingLLM 설정에서 임베딩 모델을 구성하고 변경 사항을 저장하세요.

6단계: 로컬 데이터를 업로드해 지식 베이스 구축

  1. AnythingLLM에서 작업 공간 페이지로 이동하세요.
  2. “Upload”를 클릭하고 다음 중 하나를 선택하세요:
    • 파일을 직접 업로드합니다.
    • 데이터베이스에 연결합니다.
  3. 시스템은 맥락 기반 Q&A를 위해 데이터를 벡터화합니다.

4. Windows에서 Ollama를 서버로 호스팅하기

원격 액세스를 위한 환경 변수 구성

  1. 다음 순서로 엽니다. 시스템 속성 → 환경 변수.
  2. 다음 변수를 추가하세요.
    • OLLAMA_HOST=0.0.0.0
    • OLLAMA_ORIGINS=* (교차 출처 액세스용 선택 사항).
  3. Ollama 서비스를 다시 시작하거나 시스템을 재부팅하세요.

방화벽 포트 열기

다음 명령을 관리자로 실행하세요.

netsh advfirewall firewall add rule name="Ollama" dir=in action=allow protocol=TCP localport=11434  

#verify the port
netsh advfirewall firewall show rule name="Ollama"

원격 액세스 확인

  1. 다음 명령으로 로컬 IP 주소를 확인하세요: ipconfig.
  2. 다른 디바이스에서 액세스를 테스트하세요.curl http://[Windows Host IP]:11434/api/tags

선택 사항: 터널링 도구를 통한 공개 액세스

다음 도구 ngrok 를 사용해 서버를 노출하세요:

ngrok http 11434

5. 일반적인 문제 해결

서버 연결 실패

  • 다음 설정이 OLLAMA_HOST 및 OLLAMA_ORIGINS 이(가) 올바르게 구성되었는지 확인하세요.
  • Ollama 서비스를 다시 시작하세요.

포트 충돌

  • 다음 명령으로 포트 충돌을 확인하세요.netstat -ano | findstr 11434

메모리 문제

  • 메모리가 부족한 시스템에서는 더 작은 모델(예: 1.5B)을 사용하세요.

이 가이드는 Windows에 DeepSeek-R1을 배포하고 로컬 AI 서버로 호스팅하는 데 필요한 모든 단계를 제공합니다. 추가 리소스는 다음을 참조하세요: 공식 문서.

댓글 남기기