গত কয়েক বছরে লার্জ ল্যাঙ্গুয়েজ মডেল (এলএলএম) অসামান্য দক্ষতার সাথে পাঠ্য বোঝা, তৈরি এবং ম্যানিপুলেট করতে সক্ষম অসামান্য সরঞ্জাম হিসাবে বিশিষ্টতা অর্জন করেছে। তাদের সম্ভাব্য অ্যাপ্লিকেশনগুলি কথোপকথন এজেন্ট থেকে বিষয়বস্তু তৈরি এবং তথ্য পুনরুদ্ধার পর্যন্ত বিস্তৃত, সমস্ত শিল্পে বিপ্লব করার প্রতিশ্রুতি ধারণ করে। যাইহোক, এই মডেলগুলির দায়িত্বশীল এবং কার্যকর ব্যবহার নিশ্চিত করার সময় এই সম্ভাবনাকে কাজে লাগানো LLM মূল্যায়নের সমালোচনামূলক প্রক্রিয়ার উপর নির্ভর করে। একটি মূল্যায়ন হল একটি কাজ যা একটি এলএলএম বা জেনারেটিভ এআই পরিষেবার আউটপুটের গুণমান এবং দায়িত্ব পরিমাপ করতে ব্যবহৃত হয়। এলএলএম-এর মূল্যায়ন শুধুমাত্র একটি মডেল পারফরম্যান্স বোঝার আকাঙ্ক্ষা দ্বারা অনুপ্রাণিত হয় না বরং দায়িত্বশীল AI বাস্তবায়নের প্রয়োজন এবং ভুল তথ্য বা পক্ষপাতদুষ্ট বিষয়বস্তু প্রদানের ঝুঁকি হ্রাস করার এবং ক্ষতিকারক, অনিরাপদ, দূষিত এবং অনৈতিক প্রজন্মকে হ্রাস করার প্রয়োজন দ্বারা অনুপ্রাণিত হয়। বিষয়বস্তু উপরন্তু, এলএলএম মূল্যায়ন নিরাপত্তা ঝুঁকি কমাতে সাহায্য করতে পারে, বিশেষ করে প্রম্পট ডেটা টেম্পারিংয়ের প্রসঙ্গে। LLM-ভিত্তিক অ্যাপ্লিকেশনগুলির জন্য, দুর্বলতাগুলি চিহ্নিত করা এবং সম্ভাব্য লঙ্ঘন এবং ডেটার অননুমোদিত হেরফের থেকে রক্ষা করে এমন সুরক্ষাগুলি প্রয়োগ করা অত্যন্ত গুরুত্বপূর্ণ৷
একটি সরল কনফিগারেশন এবং এক-ক্লিক পদ্ধতির সাথে এলএলএম মূল্যায়নের জন্য প্রয়োজনীয় সরঞ্জাম সরবরাহ করে, আমাজন সেজমেকার স্পষ্ট করুন LLM মূল্যায়ন ক্ষমতা গ্রাহকদের উপরোল্লিখিত বেশিরভাগ সুবিধার অ্যাক্সেস দেয়। এই সরঞ্জামগুলি হাতে নিয়ে, পরবর্তী চ্যালেঞ্জ হল মেশিন লার্নিং অ্যান্ড অপারেশন (MLOps) লাইফসাইকেলে এলএলএম মূল্যায়নকে একীভূত করা যাতে প্রক্রিয়ায় অটোমেশন এবং মাপযোগ্যতা অর্জন করা যায়। এই পোস্টে, আমরা আপনাকে দেখাব কিভাবে অ্যামাজন সেজমেকার ক্ল্যারিফাই এলএলএম মূল্যায়নকে অ্যামাজন সেজমেকার পাইপলাইনগুলির সাথে একীভূত করতে হয় যাতে স্কেলে এলএলএম মূল্যায়ন করা যায়৷ উপরন্তু, আমরা এই কোড উদাহরণ প্রদান GitHub Llama2-7b-f, Falcon-7b, এবং ফাইন-টিউনড Llama2-7b মডেলের মতো উদাহরণ ব্যবহার করে ব্যবহারকারীদের স্কেলে সমান্তরাল মাল্টি-মডেল মূল্যায়ন পরিচালনা করতে সক্ষম করার জন্য সংগ্রহস্থল।
কাদের এলএলএম মূল্যায়ন করতে হবে?
যে কেউ প্রশিক্ষণ দেয়, সূক্ষ্ম সুর করে বা কেবল একটি প্রাক-প্রশিক্ষিত এলএলএম ব্যবহার করে, তাদের সেই এলএলএম দ্বারা চালিত অ্যাপ্লিকেশনটির আচরণের মূল্যায়ন করার জন্য সঠিকভাবে মূল্যায়ন করতে হবে। এই নীতির উপর ভিত্তি করে, আমরা জেনারেটিভ AI ব্যবহারকারীদের শ্রেণীবদ্ধ করতে পারি যাদের LLM মূল্যায়ন ক্ষমতার প্রয়োজন নিম্নলিখিত চিত্রে দেখানো হয়েছে: মডেল প্রদানকারী, ফাইন-টিউনার এবং ভোক্তা।
- ফাউন্ডেশনাল মডেল (এফএম) প্রদানকারী ট্রেন মডেল যা সাধারণ উদ্দেশ্য। এই মডেলগুলি অনেক ডাউনস্ট্রিম কাজের জন্য ব্যবহার করা যেতে পারে, যেমন বৈশিষ্ট্য নিষ্কাশন বা বিষয়বস্তু তৈরি করতে। প্রতিটি প্রশিক্ষিত মডেলকে শুধুমাত্র তার কর্মক্ষমতা মূল্যায়ন করার জন্য নয় বরং অন্যান্য বিদ্যমান মডেলের সাথে তুলনা করার জন্য, উন্নতির প্রয়োজন আছে এমন ক্ষেত্রগুলি চিহ্নিত করার জন্য এবং পরিশেষে, ক্ষেত্রের অগ্রগতির ট্র্যাক রাখার জন্য অনেকগুলি কাজের সাথে বেঞ্চমার্ক করা প্রয়োজন। শুরুর ডেটাসেটের গুণমান এবং তাদের মডেলের সঠিক আচরণ নিশ্চিত করার জন্য মডেল প্রদানকারীদের যেকোনো পক্ষপাতের উপস্থিতিও পরীক্ষা করতে হবে। মডেল প্রদানকারীদের জন্য মূল্যায়ন ডেটা সংগ্রহ করা গুরুত্বপূর্ণ। উপরন্তু, আসন্ন প্রবিধান মেনে চলার জন্য এই ডেটা এবং মেট্রিক্স সংগ্রহ করতে হবে। আইএসও 42001, দ্য বিডেন প্রশাসনের নির্বাহী আদেশ, এবং ইইউ এআই আইন AI সিস্টেমগুলি নিরাপদ, সুরক্ষিত এবং বিশ্বস্ত তা নিশ্চিত করার জন্য মান, সরঞ্জাম এবং পরীক্ষাগুলি বিকাশ করুন। উদাহরণ স্বরূপ, EU AI আইনের দায়িত্ব দেওয়া হয়েছে প্রশিক্ষণের জন্য কোন ডেটাসেট ব্যবহার করা হয়, মডেল চালানোর জন্য কী কম্পিউট পাওয়ার প্রয়োজন, পাবলিক/ইন্ডাস্ট্রি-স্ট্যান্ডার্ড বেঞ্চমার্কের বিপরীতে মডেলের ফলাফল রিপোর্ট করা এবং অভ্যন্তরীণ ও বাহ্যিক পরীক্ষার ফলাফল শেয়ার করা।
- মডেল ফাইন-টিউনার নির্দিষ্ট কাজগুলি (যেমন সেন্টিমেন্ট শ্রেণীবিভাগ, সংক্ষিপ্তকরণ, প্রশ্নের উত্তর) এবং সেইসাথে ডোমেন নির্দিষ্ট কাজগুলি গ্রহণের জন্য প্রাক-প্রশিক্ষিত মডেলগুলি সমাধান করতে চান। একটি প্রারম্ভিক বিন্দু হিসাবে সঠিক প্রাক-প্রশিক্ষিত মডেল নির্বাচন করতে তাদের মডেল প্রদানকারীদের দ্বারা উত্পন্ন মূল্যায়ন মেট্রিক্স প্রয়োজন।
টাস্ক-নির্দিষ্ট বা ডোমেন-নির্দিষ্ট ডেটাসেটের সাথে তাদের পছন্দসই ব্যবহারের ক্ষেত্রে তাদের সূক্ষ্ম-টিউন করা মডেলগুলিকে মূল্যায়ন করতে হবে। প্রায়শই, তাদের অবশ্যই তাদের ব্যক্তিগত ডেটাসেটগুলিকে কিউরেট করতে হবে এবং তৈরি করতে হবে যেহেতু সর্বজনীনভাবে উপলব্ধ ডেটাসেটগুলি, এমনকি যেগুলি একটি নির্দিষ্ট কাজের জন্য ডিজাইন করা হয়েছে, তাদের নির্দিষ্ট ব্যবহারের ক্ষেত্রে প্রয়োজনীয় সূক্ষ্মতাগুলি পর্যাপ্তভাবে ক্যাপচার করতে পারে না।
ফাইন-টিউনিং একটি সম্পূর্ণ প্রশিক্ষণের চেয়ে দ্রুত এবং সস্তা এবং স্থাপনা এবং পরীক্ষার জন্য দ্রুত অপারেটিভ পুনরাবৃত্তির প্রয়োজন কারণ অনেক প্রার্থীর মডেল সাধারণত তৈরি হয়। এই মডেলগুলির মূল্যায়ন ক্রমাগত মডেলের উন্নতি, ক্রমাঙ্কন এবং ডিবাগিংয়ের অনুমতি দেয়। মনে রাখবেন যে ফাইন-টিউনাররা তাদের নিজস্ব মডেলের ভোক্তা হতে পারে যখন তারা বাস্তব বিশ্বের অ্যাপ্লিকেশনগুলি বিকাশ করে। - মডেল ভোক্তাদের বা মডেল স্থাপনকারীরা LLM গ্রহণের মাধ্যমে তাদের অ্যাপ্লিকেশন বা পরিষেবাগুলিকে উন্নত করার লক্ষ্যে উত্পাদনে সাধারণ উদ্দেশ্য বা সূক্ষ্ম-টিউনড মডেলগুলি পরিবেশন করে এবং নিরীক্ষণ করে। তাদের কাছে প্রথম চ্যালেঞ্জটি হল নিশ্চিত করা যে নির্বাচিত এলএলএম তাদের নির্দিষ্ট চাহিদা, খরচ এবং কর্মক্ষমতা প্রত্যাশার সাথে সামঞ্জস্যপূর্ণ। মডেলের আউটপুট ব্যাখ্যা করা এবং বোঝা একটি স্থায়ী উদ্বেগ, বিশেষ করে যখন গোপনীয়তা এবং ডেটা নিরাপত্তা জড়িত থাকে (যেমন আর্থিক খাতের মতো নিয়ন্ত্রিত শিল্পগুলিতে অডিট ঝুঁকি এবং সম্মতির জন্য)। পক্ষপাতিত্ব বা ক্ষতিকর বিষয়বস্তুর প্রচার রোধ করার জন্য ক্রমাগত মডেল মূল্যায়ন গুরুত্বপূর্ণ। একটি শক্তিশালী মনিটরিং এবং মূল্যায়ন কাঠামো বাস্তবায়নের মাধ্যমে, মডেল গ্রাহকরা সক্রিয়ভাবে LLM-তে রিগ্রেশন সনাক্ত করতে এবং মোকাবেলা করতে পারে, নিশ্চিত করে যে এই মডেলগুলি সময়ের সাথে তাদের কার্যকারিতা এবং নির্ভরযোগ্যতা বজায় রাখে।
এলএলএম মূল্যায়ন কীভাবে করবেন
কার্যকরী মডেল মূল্যায়নে তিনটি মৌলিক উপাদান জড়িত: ইনপুট ডেটাসেট (প্রম্পট, কথোপকথন বা নিয়মিত ইনপুট) এবং মূল্যায়ন যুক্তি মূল্যায়নের জন্য এক বা একাধিক FM বা সূক্ষ্ম-টিউনড মডেল।
মূল্যায়নের জন্য মডেলগুলি নির্বাচন করতে, ডেটা বৈশিষ্ট্য, সমস্যা জটিলতা, উপলব্ধ গণনামূলক সংস্থান এবং পছন্দসই ফলাফল সহ বিভিন্ন কারণ বিবেচনা করা উচিত। ইনপুট ডেটাস্টোর প্রশিক্ষণ, সূক্ষ্ম টিউনিং এবং নির্বাচিত মডেল পরীক্ষা করার জন্য প্রয়োজনীয় ডেটা সরবরাহ করে। এটি অত্যাবশ্যক যে এই ডেটাস্টোরটি সুগঠিত, প্রতিনিধিত্বশীল এবং উচ্চ মানের, কারণ মডেলটির কার্যকারিতা এটি যে ডেটা থেকে শেখে তার উপর নির্ভর করে। অবশেষে, মূল্যায়ন যুক্তিবিদ্যা মডেলের কর্মক্ষমতা মূল্যায়ন করতে ব্যবহৃত মানদণ্ড এবং মেট্রিক্স সংজ্ঞায়িত করে।
একসাথে, এই তিনটি উপাদান একটি সমন্বিত কাঠামো তৈরি করে যা মেশিন লার্নিং মডেলগুলির কঠোর এবং পদ্ধতিগত মূল্যায়ন নিশ্চিত করে, যা শেষ পর্যন্ত অবহিত সিদ্ধান্ত এবং মডেল কার্যকারিতার উন্নতির দিকে পরিচালিত করে।
মডেল মূল্যায়ন কৌশল এখনও গবেষণার একটি সক্রিয় ক্ষেত্র। অনেক পাবলিক বেঞ্চমার্ক এবং ফ্রেমওয়ার্ক বিগত কয়েক বছরে গবেষকদের সম্প্রদায় দ্বারা তৈরি করা হয়েছে বিস্তৃত পরিসরের কাজ এবং পরিস্থিতি যেমন আঠা, ভালো আঠা, হেলম, MMLU এবং বিগ-বেঞ্চ. এই বেঞ্চমার্কগুলিতে লিডারবোর্ড রয়েছে যা মূল্যায়ন করা মডেলগুলির তুলনা এবং বৈসাদৃশ্য করতে ব্যবহার করা যেতে পারে। বেঞ্চমার্ক, HELM-এর মতো, নির্ভুলতা বা F1 স্কোরের মতো নির্ভুলতা পরিমাপের বাইরেও মেট্রিক্সের উপর মূল্যায়ন করার লক্ষ্য রাখে। HELM বেঞ্চমার্কে ন্যায্যতা, পক্ষপাত এবং বিষাক্ততার মেট্রিক্স অন্তর্ভুক্ত রয়েছে যা সামগ্রিক মডেল মূল্যায়ন স্কোরে সমানভাবে গুরুত্বপূর্ণ।
এই সমস্ত বেঞ্চমার্কের মধ্যে মেট্রিক্সের একটি সেট অন্তর্ভুক্ত রয়েছে যা পরিমাপ করে যে মডেলটি একটি নির্দিষ্ট কাজের উপর কীভাবে সঞ্চালন করে। সবচেয়ে বিখ্যাত এবং সবচেয়ে সাধারণ মেট্রিক হয় লাল (জিস্টিং ইভালুয়েশনের জন্য রিকল-ওরিয়েন্টেড আন্ডারস্টাডি), ব্লু (দ্বিভাষিক মূল্যায়ন আন্ডারস্টাডি), বা উল্কা (স্পষ্ট অর্ডারিং সহ অনুবাদের মূল্যায়নের জন্য মেট্রিক)। এই মেট্রিক্সগুলি স্বয়ংক্রিয় মূল্যায়নের জন্য একটি দরকারী টুল হিসাবে কাজ করে, উত্পন্ন এবং রেফারেন্স টেক্সটের মধ্যে আভিধানিক মিলের পরিমাণগত পরিমাপ প্রদান করে। যাইহোক, তারা মানব-সদৃশ ভাষা তৈরির সম্পূর্ণ প্রস্থকে ক্যাপচার করে না, যার মধ্যে অর্থবোধক বোঝাপড়া, প্রসঙ্গ বা শৈলীগত সূক্ষ্মতা রয়েছে। উদাহরণস্বরূপ, HELM নির্দিষ্ট ব্যবহারের ক্ষেত্রে প্রাসঙ্গিক মূল্যায়নের বিশদ প্রদান করে না, কাস্টম প্রম্পট পরীক্ষা করার জন্য সমাধান এবং অ-বিশেষজ্ঞদের দ্বারা ব্যবহৃত সহজে ব্যাখ্যা করা ফলাফল, কারণ প্রক্রিয়াটি ব্যয়বহুল হতে পারে, স্কেল করা সহজ নয় এবং শুধুমাত্র নির্দিষ্ট কাজের জন্য।
তদ্ব্যতীত, মানব-সদৃশ ভাষা তৈরি অর্জনের জন্য প্রায়শই স্বয়ংক্রিয় নির্ভুলতা মেট্রিক্সের পরিপূরক করার জন্য গুণগত মূল্যায়ন এবং মানবিক বিচার আনতে মানব-ইন-লুপের অন্তর্ভুক্তির প্রয়োজন হয়। মানব মূল্যায়ন হল এলএলএম আউটপুট মূল্যায়নের জন্য একটি মূল্যবান পদ্ধতি কিন্তু এটি বিষয়ভিত্তিক এবং পক্ষপাতের প্রবণতাও হতে পারে কারণ বিভিন্ন মানব মূল্যায়নকারীদের পাঠ্য মানের বিভিন্ন মতামত এবং ব্যাখ্যা থাকতে পারে। উপরন্তু, মানুষের মূল্যায়ন সম্পদ-নিবিড় এবং ব্যয়বহুল হতে পারে এবং এটি উল্লেখযোগ্য সময় এবং প্রচেষ্টার দাবি করতে পারে।
আমাজন সেজমেকার কীভাবে নির্বিঘ্নে বিন্দুগুলিকে সংযুক্ত করে, গ্রাহকদের সম্পূর্ণ মডেল মূল্যায়ন এবং নির্বাচন পরিচালনা করতে সহায়তা করে তার গভীরে ডুব দেওয়া যাক।
অ্যামাজন সেজমেকার ক্ল্যারিফাইয়ের সাথে এলএলএম মূল্যায়ন
অ্যামাজন সেজমেকার ক্ল্যারিফাই গ্রাহকদের মেট্রিক্স স্বয়ংক্রিয় করতে সাহায্য করে, যার মধ্যে রয়েছে কিন্তু সীমাবদ্ধ নয় নির্ভুলতা, দৃঢ়তা, বিষাক্ততা, স্টেরিওটাইপিং এবং স্বয়ংক্রিয়তার জন্য বাস্তব জ্ঞান, এবং স্টাইল, সমন্বয়, মানব-ভিত্তিক মূল্যায়নের জন্য প্রাসঙ্গিকতা, এবং LLM মূল্যায়নের জন্য একটি কাঠামো প্রদান করে মূল্যায়ন পদ্ধতি। এবং এলএলএম-ভিত্তিক পরিষেবা যেমন অ্যামাজন বেডরক। একটি সম্পূর্ণ-পরিচালিত পরিষেবা হিসাবে, SageMaker Clarify Amazon SageMaker-এর মধ্যে ওপেন-সোর্স মূল্যায়ন ফ্রেমওয়ার্কের ব্যবহারকে সহজ করে। গ্রাহকরা তাদের পরিস্থিতির জন্য প্রাসঙ্গিক মূল্যায়ন ডেটাসেট এবং মেট্রিক্স নির্বাচন করতে পারেন এবং তাদের নিজস্ব প্রম্পট ডেটাসেট এবং মূল্যায়ন অ্যালগরিদমগুলির সাথে প্রসারিত করতে পারেন। সেজমেকার ক্ল্যারিফাই LLM ওয়ার্কফ্লোতে বিভিন্ন ভূমিকা সমর্থন করার জন্য একাধিক ফর্ম্যাটে মূল্যায়ন ফলাফল সরবরাহ করে। ডেটা সায়েন্টিস্টরা নোটবুক, সেজমেকার মডেল কার্ড এবং পিডিএফ রিপোর্টে সেজমেকার ক্ল্যারিফাই ভিজ্যুয়ালাইজেশনের মাধ্যমে বিস্তারিত ফলাফল বিশ্লেষণ করতে পারেন। ইতিমধ্যে, অপারেশন দলগুলি সেজমেকার ক্ল্যারিফাই সনাক্ত করে এমন উচ্চ-ঝুঁকিপূর্ণ আইটেমগুলি পর্যালোচনা এবং টীকা করতে Amazon SageMaker GroundTruth ব্যবহার করতে পারে। উদাহরণস্বরূপ, স্টেরিওটাইপিং, বিষাক্ততা, এস্কেপড PII, বা কম নির্ভুলতা দ্বারা।
টীকা এবং শক্তিবৃদ্ধি শেখার পরবর্তীতে সম্ভাব্য ঝুঁকি কমাতে নিযুক্ত করা হয়। চিহ্নিত ঝুঁকির মানব-বান্ধব ব্যাখ্যা ম্যানুয়াল পর্যালোচনা প্রক্রিয়াকে ত্বরান্বিত করে, যার ফলে খরচ কম হয়। সংক্ষিপ্ত প্রতিবেদনগুলি বিভিন্ন মডেল এবং সংস্করণগুলির মধ্যে ব্যবসায়িক স্টেকহোল্ডারদের তুলনামূলক বেঞ্চমার্ক অফার করে, যা অবগত সিদ্ধান্ত গ্রহণের সুবিধা দেয়।
নিম্নলিখিত চিত্রটি এলএলএম এবং এলএলএম-ভিত্তিক পরিষেবাগুলি মূল্যায়ন করার কাঠামো দেখায়:
অ্যামাজন সেজমেকার ক্ল্যারিফাই এলএলএম মূল্যায়ন হল একটি ওপেন সোর্স ফাউন্ডেশন মডেল ইভালুয়েশন (এফএমইভাল) লাইব্রেরি যা গ্রাহকদের সহজেই এলএলএম মূল্যায়ন করতে সাহায্য করার জন্য AWS দ্বারা তৈরি করা হয়েছে। অ্যামাজন সেজমেকার স্টুডিওর ব্যবহারকারীদের জন্য এলএলএম মূল্যায়ন সক্ষম করার জন্য সমস্ত কার্যকারিতাও অন্তর্ভুক্ত করা হয়েছে। নিম্নলিখিত বিভাগগুলিতে, আমরা MLOps নীতিগুলি ব্যবহার করে স্কেলে এলএলএম মূল্যায়ন সক্ষম করতে সেজমেকার পাইপলাইনগুলির সাথে অ্যামাজন সেজমেকার ক্ল্যারিফাই এলএলএম মূল্যায়ন ক্ষমতাগুলির একীকরণের প্রবর্তন করি৷
Amazon SageMaker MLOps জীবনচক্র
পোস্ট হিসাবে "Amazon SageMaker এর সাথে উদ্যোগের জন্য MLOps ফাউন্ডেশন রোডম্যাপ” বর্ণনা করে, MLOps হল প্রসেস, মানুষ এবং প্রযুক্তির সংমিশ্রণ যাতে ML ব্যবহারের ক্ষেত্রে দক্ষতার সাথে উৎপাদন করা যায়।
নিম্নলিখিত চিত্রটি শেষ থেকে শেষ MLOps জীবনচক্র দেখায়:
একটি সাধারণ যাত্রা শুরু হয় একজন ডেটা সায়েন্টিস্টের মাধ্যমে একটি প্রুফ-অফ-কনসেপ্ট (PoC) নোটবুক তৈরি করে প্রমাণ করার জন্য যে ML একটি ব্যবসায়িক সমস্যার সমাধান করতে পারে। প্রুফ অফ কনসেপ্ট (PoC) ডেভেলপমেন্ট জুড়ে, ব্যবসার কী পারফরম্যান্স ইন্ডিকেটর (KPIs) কে মেশিন লার্নিং মডেল মেট্রিক্সে রূপান্তর করা ডেটা সায়েন্টিস্টের উপর পড়ে, যেমন নির্ভুলতা বা মিথ্যা-পজিটিভ রেট, এবং এইগুলি মূল্যায়ন করার জন্য একটি সীমিত পরীক্ষার ডেটাসেট ব্যবহার করে। মেট্রিক্স ডেটা সায়েন্টিস্টরা এমএল ইঞ্জিনিয়ারদের সাথে নোটবুক থেকে রিপোজিটরিতে কোড ট্রানজিশন করার জন্য সহযোগিতা করে, Amazon SageMaker Pipelines ব্যবহার করে ML পাইপলাইন তৈরি করে, যা প্রি-প্রসেসিং, ট্রেনিং, ইভালুয়েশন এবং পোস্ট-প্রসেসিং সহ বিভিন্ন প্রসেসিং স্টেপ এবং টাস্কগুলিকে সংযুক্ত করে, সব কিছু ক্রমাগত নতুন প্রোডাকশনকে অন্তর্ভুক্ত করে। তথ্য অ্যামাজন সেজমেকার পাইপলাইনগুলির স্থাপনা সংগ্রহস্থলের মিথস্ক্রিয়া এবং CI/CD পাইপলাইন সক্রিয়করণের উপর নির্ভর করে। এমএল পাইপলাইন একটি মডেল রেজিস্ট্রিতে সেরা-পারফর্মিং মডেল, কন্টেইনার ইমেজ, মূল্যায়ন ফলাফল এবং স্থিতির তথ্য বজায় রাখে, যেখানে মডেল স্টেকহোল্ডাররা কর্মক্ষমতা মূল্যায়ন করে এবং কর্মক্ষমতা ফলাফল এবং বেঞ্চমার্কের উপর ভিত্তি করে উৎপাদনে অগ্রগতির বিষয়ে সিদ্ধান্ত নেয়, তারপরে অন্য CI/CD পাইপলাইন সক্রিয় করা হয়। মঞ্চায়ন এবং উত্পাদন স্থাপনার জন্য। একবার উৎপাদনে গেলে, এমএল গ্রাহকরা চলমান কর্মক্ষমতা মূল্যায়নের জন্য মডেল মালিকদের ফিডব্যাক লুপ সহ সরাসরি আমন্ত্রণ বা API কলের মাধ্যমে অ্যাপ্লিকেশন-ট্রিগার করা অনুমানের মাধ্যমে মডেলটি ব্যবহার করেন।
Amazon SageMaker Clarify এবং MLOps ইন্টিগ্রেশন
MLOps লাইফসাইকেল অনুসরণ করে, ফাইন-টিউনার বা ওপেন-সোর্স মডেলের ব্যবহারকারীরা Amazon SageMaker Jumpstart এবং MLOps পরিষেবা ব্যবহার করে ফাইন-টিউনড মডেল বা FM তৈরি করে, যেমন বর্ণনা করা হয়েছে। Amazon SageMaker JumpStart প্রাক-প্রশিক্ষিত মডেলগুলির সাথে MLOps অনুশীলনগুলি বাস্তবায়ন করা. এটি ফাউন্ডেশন মডেল অপারেশন (FMOps) এবং LLM অপারেশন (LLMOps) এর জন্য একটি নতুন ডোমেনের দিকে নিয়ে যায় FMOps/LLMOps: জেনারেটিভ AI এবং MLOps এর সাথে পার্থক্যগুলিকে কার্যকর করুন.
নিম্নলিখিত চিত্রটি এন্ড-টু-এন্ড LLMOps জীবনচক্র দেখায়:
LLMOps-এ MLOps-এর তুলনায় প্রধান পার্থক্য হল মডেল নির্বাচন এবং মডেল মূল্যায়ন বিভিন্ন প্রক্রিয়া এবং মেট্রিক্স জড়িত। প্রাথমিক পরীক্ষা-নিরীক্ষার পর্যায়ে, ডেটা বিজ্ঞানীরা (বা ফাইন-টিউনার) FM নির্বাচন করেন যা একটি নির্দিষ্ট জেনারেটিভ এআই ব্যবহারের ক্ষেত্রে ব্যবহার করা হবে।
এটি প্রায়শই একাধিক এফএম-এর পরীক্ষা এবং সূক্ষ্ম-টিউনিংয়ের ফলাফল করে, যার মধ্যে কিছু তুলনামূলক ফলাফল দিতে পারে। মডেল(গুলি) নির্বাচনের পরে, প্রম্পট ইঞ্জিনিয়াররা মূল্যায়নের জন্য প্রয়োজনীয় ইনপুট ডেটা এবং প্রত্যাশিত আউটপুট প্রস্তুত করার জন্য দায়ী (যেমন ইনপুট ডেটা এবং ক্যোয়ারী সমন্বিত ইনপুট প্রম্পট) এবং সাদৃশ্য এবং বিষাক্ততার মতো মেট্রিক্স সংজ্ঞায়িত করে। এই মেট্রিক্সগুলি ছাড়াও, ডেটা সায়েন্টিস্ট বা ফাইন-টিউনারদের অবশ্যই ফলাফলগুলিকে যাচাই করতে হবে এবং উপযুক্ত এফএম বেছে নিতে হবে শুধুমাত্র নির্ভুলতা মেট্রিক্সের উপর নয়, লেটেন্সি এবং খরচের মতো অন্যান্য ক্ষমতার উপরও। তারপর, তারা একটি SageMaker এন্ডপয়েন্টে একটি মডেল স্থাপন করতে পারে এবং একটি ছোট স্কেলে এর কার্যকারিতা পরীক্ষা করতে পারে। যদিও পরীক্ষামূলক পর্যায়ে একটি সহজবোধ্য প্রক্রিয়া জড়িত হতে পারে, উৎপাদনে রূপান্তরের জন্য গ্রাহকদের প্রক্রিয়াটিকে স্বয়ংক্রিয় করতে এবং সমাধানের দৃঢ়তা বাড়াতে হবে। অতএব, আমাদের কীভাবে মূল্যায়ন স্বয়ংক্রিয় করা যায় সে সম্পর্কে গভীরভাবে ডুব দিতে হবে, পরীক্ষকদের স্কেলে দক্ষ মূল্যায়ন করতে সক্ষম করে এবং মডেল ইনপুট এবং আউটপুটের রিয়েল-টাইম মনিটরিং বাস্তবায়ন করতে হবে।
স্বয়ংক্রিয় এফএম মূল্যায়ন
অ্যামাজন সেজমেকার পাইপলাইনগুলি প্রি-প্রসেসিং, এফএম ফাইন-টিউনিং (ঐচ্ছিকভাবে) এবং স্কেলে মূল্যায়নের সমস্ত ধাপগুলি স্বয়ংক্রিয় করে। পরীক্ষার সময় নির্বাচিত মডেলগুলি প্রদত্ত, প্রম্পট ইঞ্জিনিয়ারদের অনেকগুলি প্রম্পট প্রস্তুত করে এবং প্রম্পট ক্যাটালগ নামক একটি নির্দিষ্ট স্টোরেজ রিপোজিটরিতে সংরক্ষণ করে কেসগুলির একটি বড় সেট কভার করতে হবে। আরো তথ্যের জন্য, পড়ুন FMOps/LLMOps: জেনারেটিভ AI এবং MLOps এর সাথে পার্থক্যগুলিকে কার্যকর করুন. তারপরে, অ্যামাজন সেজমেকার পাইপলাইনগুলি নিম্নরূপ গঠন করা যেতে পারে:
দৃশ্যকল্প 1 – একাধিক FM মূল্যায়ন করুন: এই পরিস্থিতিতে, FMগুলি ফাইন-টিউনিং ছাড়াই ব্যবসায়িক ব্যবহারের ক্ষেত্রে কভার করতে পারে। Amazon SageMaker পাইপলাইন নিম্নলিখিত ধাপগুলি নিয়ে গঠিত: ডেটা প্রাক-প্রক্রিয়াকরণ, একাধিক FM-এর সমান্তরাল মূল্যায়ন, মডেলের তুলনা, এবং নির্ভুলতার উপর ভিত্তি করে নির্বাচন এবং অন্যান্য বৈশিষ্ট্য যেমন খরচ বা লেটেন্সি, নির্বাচিত মডেলের শিল্পকর্মের নিবন্ধন, এবং মেটাডেটা।
নিম্নলিখিত চিত্রটি এই স্থাপত্যের চিত্র তুলে ধরেছে।
দৃশ্যকল্প 2 – একাধিক FM সূক্ষ্ম সুর এবং মূল্যায়ন করুন: এই পরিস্থিতিতে, Amazon SageMaker পাইপলাইনটি অনেকটা দৃশ্যকল্প 1-এর মতোই গঠন করা হয়েছে, কিন্তু এটি প্রতিটি FM-এর জন্য ফাইন-টিউনিং এবং মূল্যায়ন উভয় ধাপেই সমান্তরালভাবে চলে। সেরা ফাইন-টিউনড মডেল মডেল রেজিস্ট্রিতে নিবন্ধিত হবে।
নিম্নলিখিত চিত্রটি এই স্থাপত্যের চিত্র তুলে ধরেছে।
দৃশ্যকল্প 3 – একাধিক এফএম এবং সূক্ষ্ম সুরযুক্ত এফএম মূল্যায়ন করুন: এই দৃশ্যটি সাধারণ উদ্দেশ্য FM এবং সূক্ষ্ম-সুরক্ষিত FM-এর মূল্যায়নের সংমিশ্রণ। এই ক্ষেত্রে, গ্রাহকরা একটি সাধারণ-উদ্দেশ্য এফএম-এর তুলনায় একটি সূক্ষ্ম-টিউনড মডেল ভাল পারফর্ম করতে পারে কিনা তা পরীক্ষা করতে চান।
নিম্নলিখিত চিত্রটি ফলস্বরূপ সেজমেকার পাইপলাইন পদক্ষেপগুলি দেখায়।
নোট করুন যে মডেল নিবন্ধন দুটি প্যাটার্ন অনুসরণ করে: (ক) একটি ওপেন-সোর্স মডেল এবং আর্টিফ্যাক্ট সংরক্ষণ করুন বা (খ) একটি মালিকানাধীন এফএম-এর একটি রেফারেন্স সংরক্ষণ করুন৷ আরো তথ্যের জন্য, পড়ুন FMOps/LLMOps: জেনারেটিভ AI এবং MLOps এর সাথে পার্থক্যগুলিকে কার্যকর করুন.
সমাধান ওভারভিউ
স্কেলে LLM মূল্যায়নে আপনার যাত্রাকে ত্বরান্বিত করতে, আমরা একটি সমাধান তৈরি করেছি যা Amazon SageMaker Clarify এবং নতুন Amazon SageMaker Pipelines SDK উভয়ই ব্যবহার করে পরিস্থিতি প্রয়োগ করে৷ ডেটাসেট, সোর্স নোটবুক এবং সেজমেকার পাইপলাইন (পদক্ষেপ এবং এমএল পাইপলাইন) সহ কোড উদাহরণ এখানে উপলব্ধ GitHub. এই উদাহরণ সমাধানটি বিকাশ করতে, আমরা দুটি FM ব্যবহার করেছি: Llama2 এবং Falcon-7B। এই পোস্টে, আমাদের প্রাথমিক ফোকাস সেজমেকার পাইপলাইন সমাধানের মূল উপাদানগুলির উপর যা মূল্যায়ন প্রক্রিয়ার সাথে সম্পর্কিত।
মূল্যায়ন কনফিগারেশন: মূল্যায়ন পদ্ধতির প্রমিতকরণের উদ্দেশ্যে, আমরা একটি YAML কনফিগারেশন ফাইল তৈরি করেছি, (evaluation_config.yaml), যেটিতে ডেটাসেট, মডেল(গুলি) এবং অ্যালগরিদমগুলি সহ মূল্যায়ন প্রক্রিয়ার জন্য প্রয়োজনীয় বিবরণ রয়েছে সেজমেকার পাইপলাইনের মূল্যায়ন ধাপ। নিম্নলিখিত উদাহরণটি কনফিগারেশন ফাইলটি ব্যাখ্যা করে:
pipeline:
name: "llm-evaluation-multi-models-hybrid"
dataset:
dataset_name: "trivia_qa_sampled"
input_data_location: "evaluation_dataset_trivia.jsonl"
dataset_mime_type: "jsonlines"
model_input_key: "question"
target_output_key: "answer"
models:
- name: "llama2-7b-f"
model_id: "meta-textgeneration-llama-2-7b-f"
model_version: "*"
endpoint_name: "llm-eval-meta-textgeneration-llama-2-7b-f"
deployment_config:
instance_type: "ml.g5.2xlarge"
num_instances: 1
evaluation_config:
output: '[0].generation.content'
content_template: [[{"role":"user", "content": "PROMPT_PLACEHOLDER"}]]
inference_parameters:
max_new_tokens: 100
top_p: 0.9
temperature: 0.6
custom_attributes:
accept_eula: True
prompt_template: "$feature"
cleanup_endpoint: True
- name: "falcon-7b"
...
- name: "llama2-7b-finetuned"
...
finetuning:
train_data_path: "train_dataset"
validation_data_path: "val_dataset"
parameters:
instance_type: "ml.g5.12xlarge"
num_instances: 1
epoch: 1
max_input_length: 100
instruction_tuned: True
chat_dataset: False
...
algorithms:
- algorithm: "FactualKnowledge"
module: "fmeval.eval_algorithms.factual_knowledge"
config: "FactualKnowledgeConfig"
target_output_delimiter: "<OR>"
মূল্যায়ন ধাপ: নতুন SageMaker পাইপলাইন SDK ব্যবহারকারীদের '@step' পাইথন ডেকোরেটর ব্যবহার করে ML ওয়ার্কফ্লোতে কাস্টম ধাপগুলি সংজ্ঞায়িত করার নমনীয়তা প্রদান করে। অতএব, ব্যবহারকারীদের একটি মৌলিক পাইথন স্ক্রিপ্ট তৈরি করতে হবে যা মূল্যায়ন পরিচালনা করে, নিম্নরূপ:
def evaluation(data_s3_path, endpoint_name, data_config, model_config, algorithm_config, output_data_path,):
from fmeval.data_loaders.data_config import DataConfig
from fmeval.model_runners.sm_jumpstart_model_runner import JumpStartModelRunner
from fmeval.reporting.eval_output_cells import EvalOutputCell
from fmeval.constants import MIME_TYPE_JSONLINES
s3 = boto3.client("s3")
bucket, object_key = parse_s3_url(data_s3_path)
s3.download_file(bucket, object_key, "dataset.jsonl")
config = DataConfig(
dataset_name=data_config["dataset_name"],
dataset_uri="dataset.jsonl",
dataset_mime_type=MIME_TYPE_JSONLINES,
model_input_location=data_config["model_input_key"],
target_output_location=data_config["target_output_key"],
)
evaluation_config = model_config["evaluation_config"]
content_dict = {
"inputs": evaluation_config["content_template"],
"parameters": evaluation_config["inference_parameters"],
}
serializer = JSONSerializer()
serialized_data = serializer.serialize(content_dict)
content_template = serialized_data.replace('"PROMPT_PLACEHOLDER"', "$prompt")
print(content_template)
js_model_runner = JumpStartModelRunner(
endpoint_name=endpoint_name,
model_id=model_config["model_id"],
model_version=model_config["model_version"],
output=evaluation_config["output"],
content_template=content_template,
custom_attributes="accept_eula=true",
)
eval_output_all = []
s3 = boto3.resource("s3")
output_bucket, output_index = parse_s3_url(output_data_path)
for algorithm in algorithm_config:
algorithm_name = algorithm["algorithm"]
module = importlib.import_module(algorithm["module"])
algorithm_class = getattr(module, algorithm_name)
algorithm_config_class = getattr(module, algorithm["config"])
eval_algo = algorithm_class(algorithm_config_class(target_output_delimiter=algorithm["target_output_delimiter"]))
eval_output = eval_algo.evaluate(model=js_model_runner, dataset_config=config, prompt_template=evaluation_config["prompt_template"], save=True,)
print(f"eval_output: {eval_output}")
eval_output_all.append(eval_output)
html = markdown.markdown(str(EvalOutputCell(eval_output[0])))
file_index = (output_index + "/" + model_config["name"] + "_" + eval_algo.eval_name + ".html")
s3_object = s3.Object(bucket_name=output_bucket, key=file_index)
s3_object.put(Body=html)
eval_result = {"model_config": model_config, "eval_output": eval_output_all}
print(f"eval_result: {eval_result}")
return eval_result
সেজমেকার পাইপলাইন: প্রয়োজনীয় পদক্ষেপগুলি তৈরি করার পরে, যেমন ডেটা প্রিপ্রসেসিং, মডেল স্থাপনা এবং মডেল মূল্যায়ন, ব্যবহারকারীকে সেজমেকার পাইপলাইন SDK ব্যবহার করে ধাপগুলিকে একসাথে লিঙ্ক করতে হবে। নতুন SDK স্বয়ংক্রিয়ভাবে বিভিন্ন ধাপের মধ্যে নির্ভরতা ব্যাখ্যা করে ওয়ার্কফ্লো তৈরি করে যখন একটি SageMaker পাইপলাইন তৈরি API চালু করা হয় যেমনটি নিম্নলিখিত উদাহরণে দেখানো হয়েছে:
import os
import argparse
from datetime import datetime
import sagemaker
from sagemaker.workflow.pipeline import Pipeline
from sagemaker.workflow.function_step import step
from sagemaker.workflow.step_outputs import get_step
# Import the necessary steps
from steps.preprocess import preprocess
from steps.evaluation import evaluation
from steps.cleanup import cleanup
from steps.deploy import deploy
from lib.utils import ConfigParser
from lib.utils import find_model_by_name
if __name__ == "__main__":
os.environ["SAGEMAKER_USER_CONFIG_OVERRIDE"] = os.getcwd()
sagemaker_session = sagemaker.session.Session()
# Define data location either by providing it as an argument or by using the default bucket
default_bucket = sagemaker.Session().default_bucket()
parser = argparse.ArgumentParser()
parser.add_argument("-input-data-path", "--input-data-path", dest="input_data_path", default=f"s3://{default_bucket}/llm-evaluation-at-scale-example", help="The S3 path of the input data",)
parser.add_argument("-config", "--config", dest="config", default="", help="The path to .yaml config file",)
args = parser.parse_args()
# Initialize configuration for data, model, and algorithm
if args.config:
config = ConfigParser(args.config).get_config()
else:
config = ConfigParser("pipeline_config.yaml").get_config()
evalaution_exec_id = datetime.now().strftime("%Y_%m_%d_%H_%M_%S")
pipeline_name = config["pipeline"]["name"]
dataset_config = config["dataset"] # Get dataset configuration
input_data_path = args.input_data_path + "/" + dataset_config["input_data_location"]
output_data_path = (args.input_data_path + "/output_" + pipeline_name + "_" + evalaution_exec_id)
print("Data input location:", input_data_path)
print("Data output location:", output_data_path)
algorithms_config = config["algorithms"] # Get algorithms configuration
model_config = find_model_by_name(config["models"], "llama2-7b")
model_id = model_config["model_id"]
model_version = model_config["model_version"]
evaluation_config = model_config["evaluation_config"]
endpoint_name = model_config["endpoint_name"]
model_deploy_config = model_config["deployment_config"]
deploy_instance_type = model_deploy_config["instance_type"]
deploy_num_instances = model_deploy_config["num_instances"]
# Construct the steps
processed_data_path = step(preprocess, name="preprocess")(input_data_path, output_data_path)
endpoint_name = step(deploy, name=f"deploy_{model_id}")(model_id, model_version, endpoint_name, deploy_instance_type, deploy_num_instances,)
evaluation_results = step(evaluation, name=f"evaluation_{model_id}", keep_alive_period_in_seconds=1200)(processed_data_path, endpoint_name, dataset_config, model_config, algorithms_config, output_data_path,)
last_pipeline_step = evaluation_results
if model_config["cleanup_endpoint"]:
cleanup = step(cleanup, name=f"cleanup_{model_id}")(model_id, endpoint_name)
get_step(cleanup).add_depends_on([evaluation_results])
last_pipeline_step = cleanup
# Define the SageMaker Pipeline
pipeline = Pipeline(
name=pipeline_name,
steps=[last_pipeline_step],
)
# Build and run the Sagemaker Pipeline
pipeline.upsert(role_arn=sagemaker.get_execution_role())
# pipeline.upsert(role_arn="arn:aws:iam::<...>:role/service-role/AmazonSageMaker-ExecutionRole-<...>")
pipeline.start()
উদাহরণটি প্রাথমিক ডেটা সেটের প্রাক-প্রক্রিয়াকরণ, মডেল স্থাপন এবং মূল্যায়ন চালানোর মাধ্যমে একটি একক FM-এর মূল্যায়ন বাস্তবায়ন করে। উত্পন্ন পাইপলাইন নির্দেশিত অ্যাসাইক্লিক গ্রাফ (DAG) নিম্নলিখিত চিত্রে দেখানো হয়েছে।
অনুরূপ পদ্ধতি অনুসরণ করে এবং উদাহরণটি ব্যবহার করে এবং সেলাই করে সেজমেকার জাম্প স্টার্টে LLaMA 2 মডেলের সূক্ষ্ম সুর, আমরা একটি সূক্ষ্ম-টিউনড মডেল মূল্যায়ন করার জন্য পাইপলাইন তৈরি করেছি, যেমনটি নিম্নলিখিত চিত্রে দেখানো হয়েছে।
"লেগো" ব্লক হিসাবে পূর্ববর্তী সেজমেকার পাইপলাইন পদক্ষেপগুলি ব্যবহার করে, আমরা দৃশ্যকল্প 1 এবং দৃশ্যকল্প 3-এর সমাধান তৈরি করেছি, যা নিম্নলিখিত চিত্রগুলিতে দেখানো হয়েছে। বিশেষ করে, দ GitHub রিপোজিটরি ব্যবহারকারীকে সমান্তরালভাবে একাধিক FM মূল্যায়ন করতে বা ফাউন্ডেশন এবং ফাইন-টিউনড মডেল উভয়ের মূল্যায়নের সমন্বয়ে আরও জটিল মূল্যায়ন করতে সক্ষম করে।
সংগ্রহস্থলে উপলব্ধ অতিরিক্ত কার্যকারিতাগুলির মধ্যে নিম্নলিখিতগুলি অন্তর্ভুক্ত রয়েছে:
- গতিশীল মূল্যায়ন ধাপ প্রজন্ম: আমাদের সমাধান ব্যবহারকারীদের যেকোনো সংখ্যক মডেলের মূল্যায়ন করতে সক্ষম করার জন্য কনফিগারেশন ফাইলের উপর ভিত্তি করে গতিশীলভাবে সমস্ত প্রয়োজনীয় মূল্যায়ন পদক্ষেপ তৈরি করে। হাগিং ফেস বা অ্যামাজন বেডরকের মতো নতুন ধরনের মডেলগুলির একটি সহজ ইন্টিগ্রেশনকে সমর্থন করার জন্য আমরা সমাধানটি প্রসারিত করেছি।
- এন্ডপয়েন্ট রিডিপ্লোয়মেন্ট প্রতিরোধ করুন: যদি একটি এন্ডপয়েন্ট ইতিমধ্যেই থাকে, তাহলে আমরা স্থাপনার প্রক্রিয়াটি এড়িয়ে যাই। এটি ব্যবহারকারীকে মূল্যায়নের জন্য FM-এর সাথে শেষ পয়েন্টগুলি পুনরায় ব্যবহার করার অনুমতি দেয়, যার ফলে খরচ সাশ্রয় হয় এবং স্থাপনের সময় হ্রাস পায়।
- শেষ বিন্দু পরিষ্কার করুন: মূল্যায়ন শেষ হওয়ার পর সেজমেকার পাইপলাইন ডিকমিশন করা শেষ পয়েন্টগুলো। সেরা মডেলের এন্ডপয়েন্টটিকে বাঁচিয়ে রাখতে এই কার্যকারিতা বাড়ানো যেতে পারে।
- মডেল নির্বাচন ধাপ: আমরা একটি মডেল নির্বাচন স্টেপ প্লেসহোল্ডার যোগ করেছি যার জন্য চূড়ান্ত মডেল নির্বাচনের ব্যবসায়িক যুক্তি প্রয়োজন, যেমন খরচ বা বিলম্বের মতো মানদণ্ড।
- মডেল নিবন্ধন ধাপ: সেরা মডেলটি একটি নির্দিষ্ট মডেল গ্রুপের একটি নতুন সংস্করণ হিসাবে Amazon SageMaker মডেল রেজিস্ট্রিতে নিবন্ধিত হতে পারে৷
- উষ্ণ পুল: সেজমেকার পরিচালিত উষ্ণ পুলগুলি আপনাকে পুনরাবৃত্ত কাজের চাপের জন্য বিলম্ব কমাতে একটি কাজ শেষ হওয়ার পরে প্রবিধান করা পরিকাঠামো বজায় রাখতে এবং পুনরায় ব্যবহার করতে দেয়
নিম্নলিখিত চিত্রটি এই ক্ষমতাগুলি এবং একটি মাল্টি-মডেল মূল্যায়ন উদাহরণ চিত্রিত করে যা ব্যবহারকারীরা সহজেই এবং গতিশীলভাবে আমাদের সমাধান ব্যবহার করে তৈরি করতে পারে GitHub সংগ্রহস্থল।
আমরা ইচ্ছাকৃতভাবে ডেটা প্রস্তুতিকে সুযোগের বাইরে রেখেছি কারণ এটি প্রম্পট ক্যাটালগ ডিজাইন, প্রম্পট টেমপ্লেট, প্রম্পট অপ্টিমাইজেশন সহ গভীরতার একটি ভিন্ন পোস্টে বর্ণনা করা হবে। আরও তথ্য এবং সম্পর্কিত উপাদান সংজ্ঞার জন্য, পড়ুন FMOps/LLMOps: জেনারেটিভ AI এবং MLOps এর সাথে পার্থক্যগুলিকে কার্যকর করুন.
উপসংহার
এই পোস্টে, আমরা কীভাবে অ্যামাজন সেজমেকার ক্ল্যারিফাই এলএলএম মূল্যায়ন ক্ষমতা এবং অ্যামাজন সেজমেকার পাইপলাইনগুলি ব্যবহার করে স্কেলে এলএলএম মূল্যায়ন স্বয়ংক্রিয় এবং কার্যকরী করার উপর ফোকাস করেছি। তাত্ত্বিক আর্কিটেকচার ডিজাইনের পাশাপাশি, আমাদের এখানে উদাহরণ কোড রয়েছে GitHub সংগ্রহস্থল (Llama2 এবং Falcon-7B FM সমন্বিত) গ্রাহকদের তাদের নিজস্ব মাপযোগ্য মূল্যায়ন প্রক্রিয়া বিকাশ করতে সক্ষম করতে।
নিম্নলিখিত চিত্রটি মডেল মূল্যায়ন আর্কিটেকচার দেখায়।
এই পোস্টে, আমরা চিত্রের বাম দিকে দেখানো হিসাবে স্কেলে এলএলএম মূল্যায়নকে কার্যকর করার উপর ফোকাস করেছি। ভবিষ্যতে, আমরা উল্লিখিত নির্দেশিকা অনুসরণ করে এফএম-এর শেষ থেকে শেষ লাইফসাইকেল পূর্ণ করার উদাহরণগুলি তৈরি করার দিকে মনোনিবেশ করব FMOps/LLMOps: জেনারেটিভ AI এবং MLOps এর সাথে পার্থক্যগুলিকে কার্যকর করুন. এর মধ্যে রয়েছে LLM পরিবেশন, পর্যবেক্ষণ, আউটপুট রেটিং সংরক্ষণ যা শেষ পর্যন্ত স্বয়ংক্রিয় পুনঃমূল্যায়ন এবং সূক্ষ্ম-টিউনিং ট্রিগার করবে এবং শেষ পর্যন্ত, লেবেলযুক্ত ডেটা বা প্রম্পট ক্যাটালগে কাজ করার জন্য মানুষের-ইন-দ্য-লুপ ব্যবহার করে।
লেখক সম্পর্কে
ডঃ সোক্রতিস কার্তকিস আমাজন ওয়েব পরিষেবাগুলির জন্য একজন প্রধান মেশিন লার্নিং এবং অপারেশন স্পেশালিস্ট সলিউশন আর্কিটেক্ট৷ Sokratis এন্টারপ্রাইজ গ্রাহকদের তাদের মেশিন লার্নিং (ML) এবং জেনারেটিভ AI সমাধানগুলিকে শিল্পীকরণ করতে সক্ষম করার উপর দৃষ্টি নিবদ্ধ করে AWS পরিষেবাগুলিকে কাজে লাগিয়ে এবং তাদের অপারেটিং মডেল, যেমন MLOps/FMOps/LLMOps ফাউন্ডেশন, এবং রূপান্তর রোডম্যাপ সর্বোত্তম উন্নয়ন অনুশীলনগুলিকে কাজে লাগানোর মাধ্যমে। তিনি জ্বালানি, খুচরা, স্বাস্থ্য, অর্থ, মোটরস্পোর্টস ইত্যাদি ক্ষেত্রে উদ্ভাবনী এন্ড-টু-এন্ড প্রোডাকশন-লেভেল এমএল এবং এআই সমাধান উদ্ভাবন, ডিজাইন, নেতৃত্ব এবং বাস্তবায়নে 15+ বছর অতিবাহিত করেছেন।
জগদীপ সিং সোনি নেদারল্যান্ডে অবস্থিত AWS-এর একজন সিনিয়র পার্টনার সলিউশন আর্কিটেক্ট। সিস্টেম ইন্টিগ্রেটর এবং প্রযুক্তি অংশীদার উভয়কেই সাহায্য করার জন্য তিনি DevOps, GenAI এবং নির্মাতা সরঞ্জামগুলির প্রতি তার আবেগ ব্যবহার করেন। জগদীপ তার টিমের মধ্যে উদ্ভাবন চালাতে এবং নতুন প্রযুক্তির প্রচার করতে তার অ্যাপ্লিকেশন বিকাশ এবং স্থাপত্যের পটভূমি প্রয়োগ করে।
ডঃ রিকার্ডো গাট্টি ইতালি ভিত্তিক একজন সিনিয়র স্টার্টআপ সলিউশন আর্কিটেক্ট। তিনি গ্রাহকদের জন্য একজন প্রযুক্তিগত উপদেষ্টা, তাদের উদ্ভাবন, দ্রুত স্কেল এবং মিনিটের মধ্যে বিশ্বব্যাপী যাওয়ার জন্য সঠিক সরঞ্জাম এবং প্রযুক্তি নির্বাচন করে তাদের ব্যবসা বৃদ্ধিতে সহায়তা করেন। তিনি সর্বদা মেশিন লার্নিং এবং জেনারেটিভ এআই সম্পর্কে উত্সাহী ছিলেন, তার কর্মজীবন জুড়ে বিভিন্ন ডোমেনে এই প্রযুক্তিগুলি অধ্যয়ন এবং প্রয়োগ করেছেন। তিনি AWS ইতালীয় পডকাস্ট "কাসা স্টার্টআপ" এর হোস্ট এবং সম্পাদক, স্টার্টআপ প্রতিষ্ঠাতাদের গল্প এবং নতুন প্রযুক্তিগত প্রবণতার জন্য উত্সর্গীকৃত৷
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
- প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
- প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/operationalize-llm-evaluation-at-scale-using-amazon-sagemaker-clarify-and-mlops-services/
- : আছে
- : হয়
- :না
- :কোথায়
- $ ইউপি
- 1
- 100
- 9
- a
- সম্পর্কে
- দ্রুততর করা
- প্রবেশ
- সঠিকতা
- সঠিক
- অর্জন করা
- অর্জনের
- দিয়ে
- আইন
- সক্রিয়করণ
- সক্রিয়
- অ্যাসাইক্লিক
- যোগ
- যোগ
- উপরন্তু
- ঠিকানা
- পর্যাপ্তরূপে
- প্রশাসন
- দত্তক
- গ্রহণ
- উন্নয়নের
- অধ্যাপক
- পর
- বিরুদ্ধে
- এজেন্ট
- AI
- এআই আইন
- এআই সিস্টেমগুলি
- লক্ষ্য
- লক্ষ্য
- অ্যালগরিদম
- আলগোরিদিম
- সারিবদ্ধ
- জীবিত
- সব
- অনুমতি
- ইতিমধ্যে
- এছাড়াও
- সর্বদা
- মর্দানী স্ত্রীলোক
- আমাজন সেজমেকার
- আমাজন সেজমেকার জাম্পস্টার্ট
- অ্যামাজন সেজমেকার পাইপলাইন
- অ্যামাজন সেজমেকার স্টুডিও
- অ্যামাজন ওয়েব সার্ভিসেস
- an
- বিশ্লেষণ করা
- এবং
- অন্য
- উত্তর
- কোন
- API
- আবেদন
- অ্যাপ্লিকেশন ডেভেলপমেন্ট
- অ্যাপ্লিকেশন
- ফলিত
- প্রযোজ্য
- অভিগমন
- যথাযথ
- স্থাপত্য
- রয়েছি
- এলাকার
- যুক্তি
- AS
- পরিমাপ করা
- পরিমাপন
- মূল্যায়ন
- মূল্যায়ন
- At
- নিরীক্ষণ
- স্বয়ংক্রিয় পদ্ধতি প্রয়োগ করা
- অটোমেটেড
- স্বয়ংক্রিয়
- স্বয়ংক্রিয়ভাবে
- স্বয়ংক্রিয়তা
- সহজলভ্য
- ডেস্কটপ AWS
- b
- পটভূমি
- ভিত্তি
- মৌলিক
- BE
- কারণ
- পরিণত
- হয়েছে
- আচরণ
- উচ্চতার চিহ্ন
- বেঞ্চমার্কযুক্ত
- benchmarks
- সুবিধা
- সর্বোত্তম
- উত্তম
- মধ্যে
- তার পরেও
- পক্ষপাত
- পক্ষপাতদুষ্ট
- গোঁড়ামির
- ব্লক
- উভয়
- ভঙ্গের
- পানা
- আনা
- নির্মাণ করা
- নির্মাতা
- ব্যবসায়
- কিন্তু
- by
- নামক
- কল
- CAN
- প্রার্থী
- ক্ষমতা
- সক্ষম
- গ্রেপ্তার
- কার্ড
- পেশা
- কেস
- মামলা
- তালিকা
- কিছু
- চ্যালেঞ্জ
- বৈশিষ্ট্য
- সস্তা
- চেক
- বেছে নিন
- মনোনীত
- শ্রেণীবিন্যাস
- শ্রেণীভুক্ত করা
- পরিষ্কার
- কোড
- সংহত
- সহযোগিতা করা
- সমাহার
- মিশ্রন
- সাধারণ
- সম্প্রদায়
- তুলনীয়
- তুলনা করা
- তুলনা
- তুলনা
- পূরক
- পরিপূরণ
- জটিল
- জটিলতা
- সম্মতি
- মেনে চলতে
- উপাদান
- উপাদান
- অংশীভূত
- গণনা
- গনা
- ধারণা
- উদ্বেগ
- আচার
- আবহ
- কর্মের যেসব প্রবণতা
- কনফিগারেশন
- সংযোগ করা
- সংযোগ স্থাপন করে
- বিবেচিত
- গঠিত
- গঠন করা
- কনজিউমার্স
- আধার
- ধারণ
- বিষয়বস্তু
- প্রসঙ্গ
- অবিরাম
- একটানা
- বিপরীত হত্তয়া
- কথ্য
- কথোপকথন
- রূপান্তর
- ঠিক
- মূল্য
- খরচ বাঁচানো
- ব্যয়বহুল
- খরচ
- আবরণ
- সৃষ্টি
- নির্মিত
- তৈরি করা হচ্ছে
- সৃষ্টি
- নির্ণায়ক
- সংকটপূর্ণ
- কঠোর
- প্রথা
- গ্রাহকদের
- DAG
- উপাত্ত
- ডেটা প্রস্তুতি
- তথ্য বিজ্ঞানী
- তথ্য নিরাপত্তা
- তথ্য সেট
- ডেটা টেম্পারিং
- ডেটাসেট
- DATETIME
- সিদ্ধান্ত নেন
- সিদ্ধান্ত মেকিং
- সিদ্ধান্ত
- নিবেদিত
- গভীর
- গভীর ডুব
- ডিফল্ট
- নির্ধারণ করা
- সংজ্ঞা
- বিতরণ
- চাহিদা
- নির্ভরতা
- নির্ভর করে
- স্থাপন
- মোতায়েন
- মোতায়েন
- বিস্তৃতি
- গভীরতা
- বর্ণিত
- মনোনীত
- পরিকল্পিত
- ফন্দিবাজ
- ডিজাইন
- ইচ্ছা
- আকাঙ্ক্ষিত
- বিশদ
- বিস্তারিত
- বিকাশ
- উন্নত
- উন্নয়নশীল
- উন্নয়ন
- DevOps
- পার্থক্য
- বিভিন্ন
- সরাসরি
- পরিচালিত
- ডুব
- বিচিত্র
- do
- না
- ডোমেইন
- ডোমেইনের
- ড্রাইভ
- সময়
- পরিবর্তনশীল
- e
- প্রতি
- সহজে
- সহজ
- সম্পাদক
- কার্যকর
- কার্যকারিতা
- দক্ষ
- দক্ষতার
- প্রচেষ্টা
- পারেন
- উপাদান
- আর
- নিযুক্ত
- সক্ষম করা
- সম্ভব
- সক্রিয়
- সর্বশেষ সীমা
- শেষপ্রান্ত
- এন্ড পয়েন্ট
- শক্তি
- প্রকৌশলী
- উন্নত করা
- নিশ্চিত করা
- নিশ্চিত
- নিশ্চিত
- উদ্যোগ
- এন্টারপ্রাইজ গ্রাহকরা
- উদ্যোগ
- কাল
- সমানভাবে
- বিশেষত
- অপরিহার্য
- ইত্যাদি
- থার (eth)
- EU
- মূল্যায়ন
- মূল্যায়ন
- মূল্যায়নের
- মূল্যায়ন
- এমন কি
- অবশেষে
- উদাহরণ
- উদাহরণ
- কার্যনির্বাহী
- বিদ্যমান
- প্রত্যাশা
- প্রত্যাশিত
- সুবিধাযুক্ত
- প্রসারিত করা
- সম্প্রসারিত
- বহিরাগত
- নিষ্কাশন
- f1
- মুখ
- সুবিধা
- কারণের
- বাস্তবিক
- সততা
- ঝরনা
- মিথ্যা
- বিখ্যাত
- দ্রুত
- দ্রুত
- বৈশিষ্ট্য
- সমন্বিত
- প্রতিক্রিয়া
- কয়েক
- ক্ষেত্র
- ব্যক্তিত্ব
- পরিসংখ্যান
- ফাইল
- চূড়ান্ত
- পরিশেষে
- অর্থ
- আর্থিক
- আর্থিক খাত
- প্রথম
- নমনীয়তা
- কেন্দ্রবিন্দু
- দৃষ্টি নিবদ্ধ করা
- গুরুত্ত্ব
- অনুসৃত
- অনুসরণ
- অনুসরণ
- জন্য
- ফর্ম
- ভিত
- ফাউন্ডেশন
- প্রতিষ্ঠাতার
- ফ্রেমওয়ার্ক
- অবকাঠামো
- ঘনঘন
- থেকে
- পরিপূরক
- সম্পূর্ণ
- বৈশিষ্ট্য
- কার্যকারিতা
- মৌলিক
- তদ্ব্যতীত
- ভবিষ্যৎ
- জমায়েত
- সাধারণ
- সাধারন ক্ষেত্রে
- উত্পাদন করা
- উত্পন্ন
- উত্পন্ন
- উৎপাদিত
- প্রজন্ম
- সৃজক
- জেনারেটিভ এআই
- পাওয়া
- প্রদত্ত
- বিশ্বব্যাপী
- Go
- প্রদান
- চিত্রলেখ
- গ্রুপ
- গ্রুপের
- ক্রমবর্ধমান
- হাত
- ক্ষতিকর
- হারনেসিং
- আছে
- জমিদারি
- he
- স্বাস্থ্য
- প্রচন্ডভাবে
- সাহায্য
- সাহায্য
- সাহায্য
- উচ্চ
- উচ্চ ঝুঁকি
- বিশৃঙ্খল
- তার
- অধিষ্ঠিত
- নিমন্ত্রণকর্তা
- কিভাবে
- কিভাবে
- যাহোক
- এইচটিএমএল
- HTTPS দ্বারা
- মানবীয়
- i
- আমি
- চিহ্নিত
- শনাক্ত
- সনাক্ত করা
- if
- প্রকাশ
- চিত্র
- বাস্তবায়ন
- বাস্তবায়ন
- সরঁজাম
- আমদানি
- গুরুত্ব
- উন্নতি
- উন্নতি
- in
- অন্তর্ভুক্ত করা
- অন্তর্ভুক্ত
- সুদ্ধ
- অন্তর্ভূক্ত
- একত্রিত
- সূচক
- শিল্প
- তথ্য
- অবগত
- পরিকাঠামো
- প্রারম্ভিক
- পরিবর্তন করা
- ইনোভেশন
- উদ্ভাবনী
- ইনপুট
- ইনপুট
- সম্পূর্ণ
- ইন্টিগ্রেশন
- ইচ্ছাকৃতভাবে
- পারস্পরিক ক্রিয়ার
- অভ্যন্তরীণ
- মধ্যে
- প্রবর্তন করা
- প্রার্থনা
- জড়িত করা
- জড়িত
- জড়িত
- ঘটিত
- আইএসও
- IT
- ইতালীয়
- ইতালি
- আইটেম
- পুনরাবৃত্তির
- এর
- কাজ
- যাত্রা
- JPG
- রাখা
- রাখা
- চাবি
- জ্ঞান
- ভাষা
- বড়
- বৃহত্তর
- গত
- সর্বশেষে
- অদৃশ্যতা
- নেতৃত্ব
- লিডারবোর্ড
- নেতৃত্ব
- শিক্ষা
- বাম
- দিন
- উপজীব্য
- লাইব্রেরি
- জীবনচক্র
- মত
- সীমিত
- LINK
- শিখা
- অবস্থান
- যুক্তিবিদ্যা
- কম
- মেশিন
- মেশিন লার্নিং
- প্রধান
- বজায় রাখা
- রক্ষণাবেক্ষণ
- পরিচালিত
- হেরফের
- হেরফেরের
- ম্যানুয়াল
- অনেক
- মে..
- এদিকে
- মাপ
- পরিমাপ
- মেকানিজম
- মেটাডাটা
- পদ্ধতি
- পদ্ধতি
- ছন্দোময়
- ছন্দোবিজ্ঞান
- কমান
- মিনিট
- ভুল তথ্য
- প্রশমিত করা
- প্রশমন
- ML
- এমএলওএস
- মডেল
- মডেল
- মডিউল
- মনিটর
- পর্যবেক্ষণ
- অধিক
- সেতু
- উদ্দেশ্যমূলক
- মোটর স্পোর্টসের
- অনেক
- বহু
- অবশ্যই
- নাম
- প্রয়োজনীয়
- প্রয়োজন
- চাহিদা
- নেদারল্যান্ডস
- নতুন
- নতুন প্রযুক্তি
- পরবর্তী
- অ-বিশেষজ্ঞ
- বিঃদ্রঃ
- নোটবই
- নোটবুক
- শেড
- সংখ্যা
- of
- অর্পণ
- প্রায়ই
- on
- একদা
- ONE
- নিরন্তর
- কেবল
- ওপেন সোর্স
- অপারেটিং
- অপারেশন
- অপারেশনস
- মতামত
- অপ্টিমাইজেশান
- or
- OS
- অন্যান্য
- আমাদের
- বাইরে
- ফলাফল
- ফলাফল
- আউটপুট
- আউটপুট
- অনিষ্পন্ন
- শেষ
- সামগ্রিক
- নিজের
- মালিকদের
- সমান্তরাল
- পরামিতি
- বিশেষ
- বিশেষত
- হাসপাতাল
- অংশীদারদের
- আবেগ
- কামুক
- পথ
- নিদর্শন
- পিডিএফ
- সম্প্রদায়
- সম্পাদন করা
- কর্মক্ষমতা
- ক্রিয়াকাণ্ড
- সঞ্চালিত
- ফেজ
- pii
- পাইপলাইন
- জায়গা
- স্থানধারক
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- POC
- পডকাস্ট
- বিন্দু
- পুকুর
- পুল
- পোস্ট
- পোস্ট প্রসেসিং
- সম্ভাব্য
- ক্ষমতা
- চালিত
- চর্চা
- স্পষ্টতা
- প্রস্তুতি
- প্রস্তুতি
- উপস্থিতি
- প্রতিরোধ
- আগে
- প্রাথমিক
- অধ্যক্ষ
- নীতিগুলো
- গোপনীয়তা
- ব্যক্তিগত
- সমস্যা
- কার্যপ্রণালী
- প্রক্রিয়া
- প্রসেস
- প্রক্রিয়াজাতকরণ
- উত্পাদনের
- অগ্রগতি
- বিশিষ্টতা
- প্রতিশ্রুতি
- উন্নীত করা
- অনুরোধ জানানো
- প্রমাণ
- ধারণা প্রমাণ
- বিস্তার
- বৈশিষ্ট্য
- মালিকানা
- রক্ষা করা
- প্রমাণ করা
- প্রদান
- প্রদানকারীর
- উপলব্ধ
- প্রদানের
- প্রকাশ্য
- প্রকাশ্যে
- উদ্দেশ্য
- পাইথন
- গুণগত
- গুণ
- মাত্রিক
- প্রশ্ন
- পরিসর
- হার
- নির্ধারণ
- বাস্তব
- বাস্তব জগতে
- প্রকৃত সময়
- হ্রাস করা
- হ্রাসপ্রাপ্ত
- হ্রাস
- পড়ুন
- উল্লেখ
- নিবন্ধভুক্ত
- নিবন্ধন
- রেজিস্ট্রি
- প্রত্যাগতি
- নিয়মিত
- নিয়ন্ত্রিত
- নিয়ন্ত্রিত শিল্প
- আইন
- শক্তিবৃদ্ধি শেখার
- সংশ্লিষ্ট
- প্রাসঙ্গিকতা
- প্রাসঙ্গিক
- বিশ্বাসযোগ্যতা
- পুনরাবৃত্তিমূলক
- রিপোর্ট
- প্রতিবেদন
- প্রতিবেদন
- সংগ্রহস্থলের
- প্রতিনিধি
- প্রয়োজনীয়
- প্রয়োজন
- গবেষণা
- গবেষকরা
- সংস্থান-নিবিড়
- Resources
- দায়িত্ব
- দায়ী
- ফলে এবং
- ফলাফল
- খুচরা
- রাখা
- প্রত্যাবর্তন
- পুনঃব্যবহারের
- এখানে ক্লিক করুন
- বিপ্লব এনেছে
- অধিকার
- কঠোর
- উদিত
- ঝুঁকি
- ঝুঁকি
- রোডম্যাপ
- শক্তসমর্থ
- বলিষ্ঠতা
- ভূমিকা
- ভূমিকা
- চালান
- দৌড়
- রান
- s
- নিরাপদ
- সুরক্ষা
- ঋষি নির্মাতা
- সেজমেকার পাইপলাইন
- জমা
- স্কেলেবিলিটি
- মাপযোগ্য
- স্কেল
- দৃশ্যকল্প
- পরিস্থিতিতে
- বিজ্ঞানী
- বিজ্ঞানীরা
- সুযোগ
- স্কোর
- লিপি
- SDK
- নির্বিঘ্নে
- বিভাগে
- সেক্টর
- নিরাপদ
- নিরাপত্তা
- নিরাপত্তা ঝুঁকি
- নির্বাচন করা
- নির্বাচিত
- নির্বাচন
- নির্বাচন
- জ্যেষ্ঠ
- অনুভূতি
- পরিবেশন করা
- সেবা
- সেবা
- ভজনা
- সেশন
- সেট
- রুপায়ণ
- শেয়ার
- প্রদর্শনী
- প্রদর্শিত
- শো
- পাশ
- গুরুত্বপূর্ণ
- অনুরূপ
- সরলীকৃত
- কেবল
- থেকে
- একক
- ছোট
- সমাধান
- সলিউশন
- সমাধান
- কিছু
- উৎস
- বিঘত
- বিশেষজ্ঞ
- নির্দিষ্ট
- বিশেষভাবে
- অতিবাহিত
- উপস্থাপনকারী
- অংশীদারদের
- প্রমিতকরণ
- মান
- স্ট্যানফোর্ড
- শুরু হচ্ছে
- শুরু
- প্রারম্ভকালে
- অবস্থা
- ধাপ
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- এখনো
- স্টোরেজ
- দোকান
- খবর
- অকপট
- কাঠামোবদ্ধ
- চর্চিত
- চিত্রশালা
- শৈলী
- পরবর্তীকালে
- এমন
- সংক্ষিপ্তসার
- সমর্থন
- পদ্ধতি
- সিস্টেম
- দরজির কার্য
- কার্য
- কাজ
- টীম
- দল
- কারিগরী
- প্রযুক্তি
- প্রযুক্তিক
- প্রযুক্তি
- প্রযুক্তিঃ
- টেমপ্লেট
- পরীক্ষা
- পরীক্ষকগণ
- পরীক্ষামূলক
- পরীক্ষা
- পাঠ
- চেয়ে
- যে
- সার্জারির
- ভবিষ্যৎ
- তাদের
- তাহাদিগকে
- তারপর
- তত্ত্বীয়
- যার ফলে
- অতএব
- এইগুলো
- তারা
- এই
- সেগুলো
- তিন
- দ্বারা
- সর্বত্র
- সময়
- থেকে
- একসঙ্গে
- টুল
- সরঞ্জাম
- পথ
- রেলগাড়ি
- প্রশিক্ষিত
- প্রশিক্ষণ
- ট্রেন
- রুপান্তর
- রূপান্তর
- রূপান্তর
- অনুবাদ
- প্রবণতা
- ট্রিগার
- সত্য
- বিশ্বস্ত
- দুই
- ধরনের
- টিপিক্যাল
- পরিণামে
- অনধিকার
- বোঝা
- বোধশক্তি
- অভূতপূর্ব
- আসন্ন
- ব্যবহার
- ব্যবহার ক্ষেত্রে
- ব্যবহৃত
- ব্যবহারকারী
- ব্যবহারকারী
- ব্যবহারসমূহ
- ব্যবহার
- সাধারণত
- সদ্ব্যবহার করা
- যাচাই করুন
- দামি
- বিভিন্ন
- সংস্করণ
- মাধ্যমে
- অত্যাবশ্যক
- দুর্বলতা
- প্রয়োজন
- উষ্ণ
- we
- ওয়েব
- ওয়েব সার্ভিস
- আমরা একটি
- ছিল
- কি
- কখন
- যে
- যখন
- হু
- ব্যাপক
- প্রশস্ত পরিসর
- উইকিপিডিয়া
- ইচ্ছা
- সঙ্গে
- মধ্যে
- ছাড়া
- হয়া যাই ?
- কর্মপ্রবাহ
- কাজ
- বিশ্ব
- ইয়ামল
- বছর
- উত্পাদ
- আপনি
- আপনার
- zephyrnet