भाषा: English · 简体中文 · 繁體中文 · Español · Português · Deutsch · Français · 日本語 · 한국어 · Русский · हिन्दी

Windows पर DeepSeek-R1 कैसे डिप्लॉय करें: लोकल AI सर्वर होस्टिंग के लिए चरण-दर-चरण मार्गदर्शिका

लेखक:

परिचय

Windows पर DeepSeek-R1 डिप्लॉय करने से आप शक्तिशाली AI क्षमताओं का स्थानीय रूप से लाभ उठा सकते हैं, जिससे तार्किक तर्क, टेक्स्ट जनरेशन और डेटा विश्लेषण जैसे काम संभव होते हैं। यह मार्गदर्शिका आपको ज़रूरी टूल इंस्टॉल करने से लेकर स्थानीय AI सर्वर होस्ट करने तक की पूरी प्रक्रिया से गुज़ारती है। चाहे आप निजी नॉलेज बेस बना रहे हों या AI मॉडल टेस्ट कर रहे हों, यह चरण-दर-चरण ट्यूटोरियल सहज सेटअप सुनिश्चित करता है।

विषय-सूची

  1. DeepSeek-R1, Ollama और AnythingLLM क्या हैं?
  2. मुख्य विशेषताएँ और उपयोग मामले
  3. Windows पर DeepSeek-R1 इंस्टॉल और डिप्लॉय करना
    • चरण 1: CUDA Toolkit इंस्टॉल करें (GPU एक्सेलेरेशन के लिए वैकल्पिक)
    • चरण 2: Ollama इंस्टॉल करें
    • चरण 3: Ollama के ज़रिए मॉडल इंस्टॉल करें
    • चरण 4: AnythingLLM इंस्टॉल और कॉन्फ़िगर करें
    • चरण 5: एंबेडिंग मॉडल डाउनलोड और कॉन्फ़िगर करें
    • चरण 6: नॉलेज बेस बनाने के लिए स्थानीय डेटा अपलोड करें
  4. Windows पर Ollama को सर्वर के रूप में होस्ट करना
    • रिमोट एक्सेस के लिए एनवायरनमेंट वेरिएबल कॉन्फ़िगर करें
    • फ़ायरवॉल पोर्ट खोलें
    • रिमोट एक्सेस सत्यापित करें
    • वैकल्पिक: टनलिंग टूल के ज़रिए सार्वजनिक एक्सेस
  5. आम समस्याओं का निवारण

1. DeepSeek-R1, Ollama और AnythingLLM क्या हैं?

DeepSeek-R1

DeepSeek-R1 एक ओपन-सोर्स बड़ा भाषा मॉडल (LLM) है, जिसे तार्किक तर्क, टेक्स्ट जनरेशन और डेटा विश्लेषण जैसे कामों के लिए डिज़ाइन किया गया है। यह FP16 कंप्यूटेशन और CUDA एक्सेलेरेशन को सपोर्ट करता है, जिससे यह स्थानीय डिप्लॉयमेंट के लिए आदर्श है।

मुख्य विशेषताएँ:

  • विभिन्न हार्डवेयर क्षमताओं के लिए 1.5B से 671B तक पैरामीटर आकार।
  • रियल-टाइम एप्लिकेशन के लिए कम-विलंबता वाले जवाब।
  • चीनी टेक्स्ट सहित जटिल कामों को संभालने में असाधारण प्रदर्शन।

Ollama

Ollama, DeepSeek-R1 जैसे मॉडल के वन-क्लिक डाउनलोड और प्रबंधन की सुविधा देकर स्थानीय LLM के डिप्लॉयमेंट को सरल बनाता है।

मुख्य विशेषताएँ:

  • गोपनीयता के लिए ऑफ़लाइन संचालन।
  • कई मॉडल के बीच आसान स्विचिंग।
  • कस्टमाइज़ किए जा सकने वाले इंस्टॉलेशन पाथ।

AnythingLLM

AnythingLLM स्थानीय LLM को नॉलेज बेस के साथ जोड़ता है, जिससे प्रासंगिक Q&A और निजी डेटा प्रोसेसिंग संभव होती है।

मुख्य विशेषताएँ:

  • निजी नॉलेज बेस बनाना।
  • मल्टी-वर्कस्पेस प्रबंधन।
  • प्रासंगिक Q&A क्षमताएँ।

2. मुख्य विशेषताएँ और उपयोग मामले

उपयोग मामला 1: एंटरप्राइज़ नॉलेज बेस और स्मार्ट ग्राहक सहायता

एंटरप्राइज़ दस्तावेज़ (जैसे, मैनुअल, अनुबंध) AnythingLLM में अपलोड करें और सटीक Q&A के लिए DeepSeek-R1 इस्तेमाल करें।

फ़ायदे:

  • गोपनीयता के लिए स्थानीय डेटा स्टोरेज।
  • मल्टी-फ़ॉर्मैट फ़ाइल पार्सिंग।

उपयोग मामला 2: शोध और विश्लेषण

शोधकर्ता सारांश बनाने या मुख्य जानकारियाँ निकालने के लिए लंबे टेक्स्ट (जैसे, पेपर, रिपोर्ट) प्रोसेस कर सकते हैं।

उदाहरण:

  • कानूनी दस्तावेज़ों का विश्लेषण।
  • चिकित्सा साहित्य की प्रोसेसिंग।

उपयोग मामला 3: निजी उत्पादकता

  • वर्क लॉग से साप्ताहिक रिपोर्ट बनाएँ।
  • ऑफ़लाइन बहुभाषी अनुवाद।
  • सीखने के लिए निजी नॉलेज बेस बनाएँ।

उपयोग मामला 4: डेवलपमेंट और टेस्टिंग

डेवलपर प्रदर्शन और संगतता के लिए DeepSeek-R1 के अलग-अलग पैरामीटर आकार टेस्ट कर सकते हैं।

3. Windows पर DeepSeek-R1 इंस्टॉल और डिप्लॉय करना

चरण 1: CUDA Toolkit इंस्टॉल करें (GPU एक्सेलेरेशन के लिए वैकल्पिक)

  1. यहाँ जाएँ: CUDA Toolkit डाउनलोड पेज.
  2. अपने Windows सिस्टम के लिए उपयुक्त संस्करण चुनें।
  3. सर्वोत्तम अनुभव के लिए “local” इंस्टॉलेशन प्रकार चुनें।
  4. इंस्टॉलेशन के बाद अपना कंप्यूटर रीबूट करें।

नोट: यदि आपके सिस्टम में GPU नहीं है, तो यह चरण छोड़ दें।

चरण 2: Ollama इंस्टॉल करें

  1. निम्नलिखित से Ollama इंस्टॉलर डाउनलोड करें: आधिकारिक वेबसाइट.
  2. इंस्टॉलेशन प्रॉम्प्ट का पालन करें।
  3. सत्यापित करें कि Ollama बैकग्राउंड में चल रहा है (सिस्टम ट्रे जाँचें)।

चरण 3: Ollama के ज़रिए मॉडल इंस्टॉल करें

  1. यहाँ जाएँ: Ollama मॉडल लाइब्रेरी.
  2. अपने हार्डवेयर के आधार पर मॉडल चुनें:
    • 1.5B केवल CPU वाले सेटअप के लिए।
    • 14B+ 16GB+ VRAM वाले GPU के लिए।
  3. PowerShell में इंस्टॉलेशन कमांड चलाएँ: ollama run deepseek-r1:1.5b

चरण 4: AnythingLLM इंस्टॉल और कॉन्फ़िगर करें

  1. निम्नलिखित से AnythingLLM डाउनलोड करें: आधिकारिक वेबसाइट.
  2. सेटिंग में LLM प्रोवाइडर के रूप में “Ollama” सेट करें।
  3. AnythingLLM तैनात किए गए मॉडल को अपने आप पहचान लेगा, जैसे: deepseek-r1:14b.

चरण 5: एंबेडिंग मॉडल डाउनलोड और कॉन्फ़िगर करें

  1. कमांड-लाइन टूल खोलें और चलाएँ: ollama pull nomic-embed-text
  2. AnythingLLM सेटिंग में एंबेडिंग मॉडल कॉन्फ़िगर करें और बदलाव सहेजें।

चरण 6: नॉलेज बेस बनाने के लिए स्थानीय डेटा अपलोड करें

  1. AnythingLLM में वर्कस्पेस पेज पर जाएँ।
  2. “Upload” पर क्लिक करें और निम्नलिखित में से एक चुनें:
    • सीधे फ़ाइलें अपलोड करें।
    • डेटाबेस से कनेक्ट करें।
  3. सिस्टम प्रासंगिक Q&A के लिए डेटा को वेक्टराइज़ करेगा।

4. Windows पर Ollama को सर्वर के रूप में होस्ट करना

रिमोट एक्सेस के लिए एनवायरनमेंट वेरिएबल कॉन्फ़िगर करें

  1. खोलें: सिस्टम गुण → पर्यावरण चर.
  2. निम्न वेरिएबल जोड़ें:
    • OLLAMA_HOST=0.0.0.0
    • OLLAMA_ORIGINS=* (क्रॉस-ऑरिजिन एक्सेस के लिए वैकल्पिक)।
  3. Ollama सर्विस या अपना सिस्टम रीस्टार्ट करें।

फ़ायरवॉल पोर्ट खोलें

निम्न कमांड एडमिनिस्ट्रेटर के रूप में चलाएँ:

netsh advfirewall firewall add rule name="Ollama" dir=in action=allow protocol=TCP localport=11434  

#verify the port
netsh advfirewall firewall show rule name="Ollama"

रिमोट एक्सेस सत्यापित करें

  1. निम्न कमांड से अपना स्थानीय IP पता जाँचें: ipconfig.
  2. दूसरे डिवाइस से एक्सेस टेस्ट करें:curl http://[Windows Host IP]:11434/api/tags

वैकल्पिक: टनलिंग टूल के ज़रिए सार्वजनिक एक्सेस

इस्तेमाल करें: ngrok अपने सर्वर को एक्सपोज़ करने के लिए:

ngrok http 11434

5. आम समस्याओं का निवारण

सर्वर कनेक्शन विफल

  • सुनिश्चित करें कि OLLAMA_HOST और OLLAMA_ORIGINS सही तरीके से कॉन्फ़िगर किए गए हैं।
  • Ollama सर्विस रीस्टार्ट करें।

पोर्ट कॉन्फ़्लिक्ट

  • पोर्ट कॉन्फ़्लिक्ट जाँचें:netstat -ano | findstr 11434

मेमोरी समस्याएँ

  • कम मेमोरी वाले सिस्टम के लिए छोटे मॉडल (जैसे, 1.5B) इस्तेमाल करें।

यह मार्गदर्शिका Windows पर DeepSeek-R1 डिप्लॉय करने और उसे स्थानीय AI सर्वर के रूप में होस्ट करने के लिए आवश्यक सभी चरण देती है। अतिरिक्त संसाधनों के लिए देखें: आधिकारिक दस्तावेज़.

टिप्पणी छोड़ें