Google Colab-এ বিনামূল্যে মিক্সট্রাল 8x7b চালানো হচ্ছে – KDnuggets

লেখকের ছবি
 

এই পোস্টে, আমরা Mixtral 8x7b নামে নতুন অত্যাধুনিক ওপেন-সোর্স মডেলটি অন্বেষণ করব। আমরা LLaMA C++ লাইব্রেরি ব্যবহার করে কীভাবে এটি অ্যাক্সেস করতে হয় এবং কীভাবে কম কম্পিউটিং এবং মেমরিতে বড় ভাষা মডেল চালাতে হয় তাও শিখব।

Mixtral 8x7b মিস্ট্রাল এআই দ্বারা তৈরি ওপেন ওয়েট সহ বিশেষজ্ঞদের (SMOE) মডেলের একটি উচ্চ-মানের স্পার্স মিশ্রণ। এটি Apache 2.0 এর অধীনে লাইসেন্সপ্রাপ্ত এবং 2x দ্রুত অনুমান থাকাকালীন বেশিরভাগ বেঞ্চমার্কে Llama 70 6B-কে ছাড়িয়ে যায়। মিক্সট্রাল মেলে বা বেশিরভাগ স্ট্যান্ডার্ড বেঞ্চমার্কে GPT3.5 কে বীট করে এবং খরচ/পারফরম্যান্স সম্পর্কিত সেরা ওপেন-ওয়েট মডেল।

চিত্র থেকে বিশেষজ্ঞদের মিশ্র
 

Mixtral 8x7B একটি ডিকোডার-অনলি স্পারস মিশ্রণ-অফ-বিশেষজ্ঞ নেটওয়ার্ক ব্যবহার করে। এতে একটি ফিডফরোয়ার্ড ব্লক রয়েছে যা পরামিতির 8টি গ্রুপ থেকে নির্বাচন করে, একটি রাউটার নেটওয়ার্ক প্রতিটি টোকেনের জন্য এই দুটি গ্রুপকে বেছে নেয়, তাদের আউটপুটগুলিকে যোগ করে। মোট 12.9B প্যারামিটার থাকা সত্ত্বেও এই পদ্ধতিটি খরচ এবং লেটেন্সি পরিচালনা করার সময় মডেলের প্যারামিটারের সংখ্যা বাড়ায়, এটিকে 46.7B মডেলের মতো দক্ষ করে তোলে।

Mixtral 8x7B মডেলটি 32k টোকেনের বিস্তৃত প্রেক্ষাপট পরিচালনা করতে পারদর্শী এবং ইংরেজি, ফ্রেঞ্চ, ইতালীয়, জার্মান এবং স্প্যানিশ সহ একাধিক ভাষা সমর্থন করে। এটি কোড জেনারেশনে দৃঢ় কর্মক্ষমতা প্রদর্শন করে এবং MT-বেঞ্চের মতো বেঞ্চমার্কে উচ্চ স্কোর অর্জন করে একটি নির্দেশনা-অনুসরণকারী মডেলে সূক্ষ্ম-টিউন করা যেতে পারে।

LLaMA.cpp একটি C/C++ লাইব্রেরি যা Facebook-এর LLM আর্কিটেকচারের উপর ভিত্তি করে বড় ভাষা মডেলের (LLMs) জন্য একটি উচ্চ-পারফরম্যান্স ইন্টারফেস প্রদান করে। এটি একটি হালকা ওজনের এবং দক্ষ লাইব্রেরি যা পাঠ্য তৈরি, অনুবাদ এবং প্রশ্নের উত্তর সহ বিভিন্ন কাজের জন্য ব্যবহার করা যেতে পারে। LLaMA.cpp বিস্তৃত LLM সমর্থন করে, যার মধ্যে LLaMA, LLaMA 2, Falcon, Alpaca, Mistral 7B, Mixtral 8x7B, এবং GPT4ALL রয়েছে। এটি সমস্ত অপারেটিং সিস্টেমের সাথে সামঞ্জস্যপূর্ণ এবং CPU এবং GPU উভয় ক্ষেত্রেই কাজ করতে পারে।

এই বিভাগে, আমরা Colab-এ llama.cpp ওয়েব অ্যাপ্লিকেশন চালাব। কোডের কয়েকটি লাইন লিখে, আপনি আপনার পিসি বা Google Colab-এ নতুন অত্যাধুনিক মডেল পারফরম্যান্সের অভিজ্ঞতা নিতে পারবেন।

শুরু হচ্ছে

প্রথমে, আমরা নীচের কমান্ড লাইনটি ব্যবহার করে llama.cpp GitHub সংগ্রহস্থল ডাউনলোড করব: 

!git clone --depth 1 https://github.com/ggerganov/llama.cpp.git

এর পরে, আমরা ডিরেক্টরিকে সংগ্রহস্থলে পরিবর্তন করব এবং `make` কমান্ড ব্যবহার করে llama.cpp ইনস্টল করব। আমরা CUDA ইনস্টল করা NVidia GPU-এর জন্য llama.cpp ইনস্টল করছি। 

%cd llama.cpp

!make LLAMA_CUBLAS=1

মডেলটি ডাউনলোড করুন

আমরা `.gguf` মডেল ফাইলের উপযুক্ত সংস্করণ নির্বাচন করে Hugging Face Hub থেকে মডেলটি ডাউনলোড করতে পারি। বিভিন্ন সংস্করণে আরও তথ্য পাওয়া যাবে TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF.

চিত্র থেকে TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF
 

বর্তমান ডিরেক্টরিতে মডেলটি ডাউনলোড করতে আপনি `wget` কমান্ডটি ব্যবহার করতে পারেন। 

!wget https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF/resolve/main/mixtral-8x7b-instruct-v0.1.Q2_K.gguf

LLaMA সার্ভারের জন্য বাহ্যিক ঠিকানা

আমরা যখন LLaMA সার্ভার চালাই তখন এটি আমাদের একটি লোকালহোস্ট আইপি দেবে যা Colab-এ আমাদের জন্য অকেজো। Colab কার্নেল প্রক্সি পোর্ট ব্যবহার করে আমাদের লোকালহোস্ট প্রক্সির সাথে সংযোগ প্রয়োজন। 

নিচের কোডটি রান করার পর, আপনি গ্লোবাল হাইপারলিঙ্ক পাবেন। আমরা পরে আমাদের ওয়েব অ্যাপ অ্যাক্সেস করতে এই লিঙ্কটি ব্যবহার করব। 

from google.colab.output import eval_js
print(eval_js("google.colab.kernel.proxyPort(6589)"))

https://8fx1nbkv1c8-496ff2e9c6d22116-6589-colab.googleusercontent.com/

সার্ভার চলমান

LLaMA C++ সার্ভার চালানোর জন্য, আপনাকে মডেল ফাইলের অবস্থান এবং সঠিক পোর্ট নম্বর সহ সার্ভার কমান্ড প্রদান করতে হবে। এটি নিশ্চিত করা গুরুত্বপূর্ণ যে পোর্ট নম্বরটি প্রক্সি পোর্টের জন্য পূর্ববর্তী ধাপে আমরা যেটি শুরু করেছি তার সাথে মেলে।  

%cd /content/llama.cpp

!./server -m mixtral-8x7b-instruct-v0.1.Q2_K.gguf -ngl 27 -c 2048 --port 6589

পূর্ববর্তী ধাপে প্রক্সি পোর্ট হাইপারলিঙ্কে ক্লিক করে চ্যাট ওয়েবঅ্যাপ অ্যাক্সেস করা যেতে পারে যেহেতু সার্ভার স্থানীয়ভাবে চলছে না।

LLaMA C++ Webapp

আমরা চ্যাটবট ব্যবহার শুরু করার আগে, আমাদের এটি কাস্টমাইজ করতে হবে। প্রম্পট বিভাগে আপনার মডেল নামের সাথে "LLaMA" প্রতিস্থাপন করুন। অতিরিক্তভাবে, উত্পন্ন প্রতিক্রিয়াগুলির মধ্যে পার্থক্য করতে ব্যবহারকারীর নাম এবং বট নাম পরিবর্তন করুন৷

নিচে স্ক্রোল করে চ্যাট বিভাগে টাইপ করে চ্যাটিং শুরু করুন। অন্য ওপেন সোর্স মডেল সঠিকভাবে উত্তর দিতে ব্যর্থ হয়েছে যে প্রযুক্তিগত প্রশ্ন জিজ্ঞাসা করতে নির্দ্বিধায়. 

অ্যাপে সমস্যা হলে, আপনি আমার Google Colab ব্যবহার করে নিজে থেকে এটি চালানোর চেষ্টা করতে পারেন: https://colab.research.google.com/drive/1gQ1lpSH-BhbKN-DdBmq5r8-8Rw8q1p9r?usp=sharing

এই টিউটোরিয়ালটি LLaMA C++ লাইব্রেরি ব্যবহার করে Google Colab-এ কীভাবে উন্নত ওপেন-সোর্স মডেল, Mixtral 8x7b চালাতে হয় তার একটি বিস্তৃত নির্দেশিকা প্রদান করে। অন্যান্য মডেলের তুলনায়, Mixtral 8x7b উচ্চতর কর্মক্ষমতা এবং দক্ষতা প্রদান করে, যারা বৃহৎ ভাষার মডেল নিয়ে পরীক্ষা-নিরীক্ষা করতে চান কিন্তু তাদের কাছে ব্যাপক গণনামূলক সংস্থান নেই তাদের জন্য এটি একটি চমৎকার সমাধান। আপনি সহজেই এটি আপনার ল্যাপটপে বা বিনামূল্যে ক্লাউড কম্পিউটে চালাতে পারেন। এটি ব্যবহারকারী-বান্ধব, এবং আপনি এমনকি আপনার চ্যাট অ্যাপটি অন্যদের ব্যবহার এবং পরীক্ষা করার জন্য স্থাপন করতে পারেন।

আমি আশা করি আপনি সহায়ক বড় মডেল চালানোর জন্য এই সহজ সমাধান খুঁজে পেয়েছেন. আমি সবসময় সহজ এবং ভাল বিকল্প খুঁজছি. আপনার যদি আরও ভাল সমাধান থাকে তবে দয়া করে আমাকে জানান, এবং আমি পরের বার এটি কভার করব।
 
 

আবিদ আলী আওয়ান (@1 আবিদালিয়াওয়ান) একজন প্রত্যয়িত ডেটা সায়েন্টিস্ট পেশাদার যিনি মেশিন লার্নিং মডেল তৈরি করতে পছন্দ করেন। বর্তমানে, তিনি মেশিন লার্নিং এবং ডেটা সায়েন্স টেকনোলজিতে বিষয়বস্তু তৈরি এবং প্রযুক্তিগত ব্লগ লেখার উপর মনোযোগ নিবদ্ধ করছেন। আবিদ টেকনোলজি ম্যানেজমেন্টে স্নাতকোত্তর ডিগ্রি এবং টেলিকমিউনিকেশন ইঞ্জিনিয়ারিংয়ে স্নাতক ডিগ্রি অর্জন করেছেন। তার দৃষ্টিভঙ্গি মানসিক অসুস্থতার সাথে সংগ্রামরত শিক্ষার্থীদের জন্য একটি গ্রাফ নিউরাল নেটওয়ার্ক ব্যবহার করে একটি AI পণ্য তৈরি করা।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://www.kdnuggets.com/running-mixtral-8x7b-on-google-colab-for-free?utm_source=rss&utm_medium=rss&utm_campaign=running-mixtral-8x7b-on-google-colab-for-free