Amazon SageMaker-এ RLHF-এর মাধ্যমে আপনার LLM-কে উন্নত করা আমাজন ওয়েব সার্ভিসেস

রিইনফোর্সমেন্ট লার্নিং ফ্রম হিউম্যান ফিডব্যাক (RLHF) বড় ভাষা মডেল (LLMs) সত্য, নিরীহ এবং সহায়ক বিষয়বস্তু উত্পাদন নিশ্চিত করার জন্য শিল্পের মানক কৌশল হিসাবে স্বীকৃত। কৌশলটি মানুষের প্রতিক্রিয়ার উপর ভিত্তি করে একটি "পুরস্কার মডেল" প্রশিক্ষণের মাধ্যমে কাজ করে এবং রিইনফোর্সমেন্ট লার্নিং (RL) এর মাধ্যমে এজেন্টের নীতিকে অপ্টিমাইজ করার জন্য একটি পুরস্কার ফাংশন হিসাবে এই মডেলটিকে ব্যবহার করে। ওপেনএআই-এর চ্যাটজিপিটি এবং অ্যানথ্রোপিকস ক্লডের মতো এলএলএম তৈরি করার জন্য RLHF অপরিহার্য বলে প্রমাণিত হয়েছে যা মানব উদ্দেশ্যের সাথে সামঞ্জস্যপূর্ণ। সেই দিনগুলি চলে গেছে যখন আপনার কাজগুলি সমাধান করার জন্য GPT-3 এর মতো বেস মডেলগুলি পেতে আপনার অপ্রাকৃত প্রম্পট ইঞ্জিনিয়ারিং প্রয়োজন।

RLHF এর একটি গুরুত্বপূর্ণ সতর্কতা হল এটি একটি জটিল এবং প্রায়ই অস্থির প্রক্রিয়া। একটি পদ্ধতি হিসাবে, RLHF এর প্রয়োজন যে আপনাকে প্রথমে একটি পুরস্কার মডেল প্রশিক্ষণ দিতে হবে যা মানুষের পছন্দগুলিকে প্রতিফলিত করে। তারপরে, আসল মডেল থেকে খুব বেশি দূরে না গিয়ে পুরষ্কার মডেলের আনুমানিক পুরষ্কার সর্বাধিক করার জন্য LLM-কে অবশ্যই সূক্ষ্মভাবে তৈরি করতে হবে। এই পোস্টে, আমরা অ্যামাজন সেজমেকারে RLHF এর সাথে একটি বেস মডেলকে কীভাবে সূক্ষ্ম-টিউন করতে হয় তা প্রদর্শন করব। আমরা আপনাকে দেখাই কিভাবে ফলাফল মডেলের উন্নতির পরিমাপ করতে মানুষের মূল্যায়ন করতে হয়।

পূর্বশর্ত

আপনি শুরু করার আগে, নিম্নলিখিত সংস্থানগুলি কীভাবে ব্যবহার করবেন তা আপনি বুঝতে পেরেছেন তা নিশ্চিত করুন:

সমাধান ওভারভিউ

অনেক জেনারেটিভ এআই অ্যাপ্লিকেশান বেস এলএলএম দিয়ে শুরু করা হয়, যেমন জিপিটি-৩, যেগুলি প্রচুর পরিমাণে পাঠ্য ডেটার উপর প্রশিক্ষিত ছিল এবং সাধারণত জনসাধারণের জন্য উপলব্ধ। বেস এলএলএমগুলি, ডিফল্টরূপে, নির্দেশাবলী অনুসরণ করতে না জানার ফলে অনির্দেশ্য এবং কখনও কখনও ক্ষতিকারক এমন একটি ফ্যাশনে পাঠ্য তৈরি করার প্রবণতা। উদাহরণস্বরূপ, প্রম্পট দেওয়া হয়েছে, "আমার বাবা-মাকে একটি ইমেল লিখুন যা তাদের একটি শুভ বার্ষিকী কামনা করে", একটি বেস মডেল একটি প্রতিক্রিয়া তৈরি করতে পারে যা প্রম্পটের স্বয়ংসম্পূর্ণতার অনুরূপ (যেমন "এবং আরও অনেক বছর একসাথে প্রেম") একটি স্পষ্ট নির্দেশ হিসাবে প্রম্পট অনুসরণ করার পরিবর্তে (যেমন একটি লিখিত ইমেল)। এটি ঘটে কারণ মডেলটিকে পরবর্তী টোকেনের পূর্বাভাস দিতে প্রশিক্ষিত করা হয়। বেস মডেলের নির্দেশনা-অনুসরণ করার ক্ষমতা উন্নত করার জন্য, মানব ডেটা টীকাকারদের বিভিন্ন প্রম্পটে প্রতিক্রিয়া লেখার দায়িত্ব দেওয়া হয়। সংগৃহীত প্রতিক্রিয়াগুলি (প্রায়ই প্রদর্শনের ডেটা হিসাবে উল্লেখ করা হয়) একটি প্রক্রিয়ায় ব্যবহৃত হয় যাকে বলা হয় তদারকিকৃত ফাইন-টিউনিং (SFT)। RLHF মানুষের পছন্দের সাথে মডেলের আচরণকে আরও পরিমার্জিত এবং সারিবদ্ধ করে। এই ব্লগ পোস্টে, আমরা টীকাকারদেরকে নির্দিষ্ট পরামিতিগুলির উপর ভিত্তি করে মডেল আউটপুটগুলিকে র‌্যাঙ্ক করতে বলি, যেমন সহায়কতা, সত্যবাদিতা এবং ক্ষতিহীনতা। প্রাপ্ত পছন্দের ডেটা একটি পুরষ্কার মডেলকে প্রশিক্ষণের জন্য ব্যবহার করা হয় যা ফলস্বরূপ তত্ত্বাবধানে সূক্ষ্ম-টিউনড মডেলকে প্রশিক্ষণ দেওয়ার জন্য প্রক্সিমাল পলিসি অপ্টিমাইজেশান (PPO) নামক একটি শক্তিশালীকরণ লার্নিং অ্যালগরিদম দ্বারা ব্যবহৃত হয়। রিওয়ার্ড মডেল এবং রিইনফোর্সমেন্ট লার্নিং হিউম্যান-ইন-দ্য-লুপ ফিডব্যাকের সাথে পুনরাবৃত্তিমূলকভাবে প্রয়োগ করা হয়।

নিম্নলিখিত চিত্রটি এই স্থাপত্যের চিত্র তুলে ধরেছে।

এই ব্লগ পোস্টে, আমরা তুলে ধরছি কিভাবে RLHF জনপ্রিয়, ওপেন সোর্স-এর সাথে একটি পরীক্ষা পরিচালনা করে Amazon SageMaker-এ সঞ্চালিত হতে পারে RLHF রেপো Trlx. আমাদের পরীক্ষা-নিরীক্ষার মাধ্যমে, আমরা দেখাই যে কীভাবে RLHF ব্যবহার করা যেতে পারে সর্বজনীনভাবে উপলব্ধ ব্যবহার করে একটি বৃহৎ ভাষার মডেলের সহায়কতা বা ক্ষতিকরতা বাড়াতে সহায়ক এবং ক্ষতিহীনতা (HH) ডেটাসেট অ্যানথ্রোপিক দ্বারা সরবরাহ করা হয়েছে। এই ডেটাসেট ব্যবহার করে, আমরা আমাদের পরীক্ষা পরিচালনা করি অ্যামাজন সেজমেকার স্টুডিও নোটবুক যে একটি উপর চলছে ml.p4d.24xlarge দৃষ্টান্ত. অবশেষে, আমরা একটি প্রদান জুপিটার নোটবুক আমাদের পরীক্ষা প্রতিলিপি করতে.

পূর্বশর্তগুলি ডাউনলোড এবং ইনস্টল করতে নোটবুকে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

প্রদর্শন ডেটা আমদানি করুন

RLHF-এর প্রথম ধাপে একটি বেস LLM-কে সূক্ষ্ম-সুর করার জন্য প্রদর্শনী ডেটা সংগ্রহ করা জড়িত। এই ব্লগ পোস্টের উদ্দেশ্যে, আমরা উপরে উল্লিখিত হিসাবে HH ডেটাসেটে প্রদর্শনী ডেটা ব্যবহার করছি। আমরা সরাসরি হাগিং ফেস ডেটাসেট প্যাকেজ থেকে প্রদর্শনের ডেটা লোড করতে পারি:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

একটি বেস এলএলএম ফাইন-টিউনিং তত্ত্বাবধান

পরবর্তী ধাপ হল একটি বেস এলএলএম-এর তত্ত্বাবধানে ফাইন-টিউনিং করা। এই ব্লগ পোস্টে, আমরা বেস মডেলের উল্লেখ করি যেটি তত্ত্বাবধানে ফাইন-টিউনিং করা হয়েছে কেবলমাত্র "SFT মডেল" হিসাবে। একটি LLM আমাদের কথোপকথনমূলক কাজটি ভালভাবে সম্পাদন করে এবং সহায়ক এবং ক্ষতিহীন হতে শেখার জন্য প্রদর্শনী ডেটা থেকে শেখার জন্য তত্ত্বাবধানে সূক্ষ্ম টিউনিং প্রয়োজন। এই পোস্টে, আমরা সর্বজনীনভাবে উপলব্ধ ব্যবহার করি EleutherAI/gpt-j-6b মডেল আলিঙ্গন মুখে হোস্ট. আমরা Trlx ফ্রেমওয়ার্কও ব্যবহার করি যা এই মডেলের তত্ত্বাবধানে ফাইন-টিউনিংয়ের জন্য কোড প্রদান করে।

প্রশিক্ষণ শুরু করতে নিম্নলিখিত কমান্ডগুলি চালান:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

পছন্দ ডেটা আমদানি করুন

আগের চিত্রে যেমন দেখানো হয়েছে, RLHF-এর একটি গুরুত্বপূর্ণ পদক্ষেপের মধ্যে রয়েছে পছন্দের ডেটা অর্জন করা। পছন্দের ডেটা হল উদাহরণগুলির একটি সংগ্রহ যা প্রদর্শন করে যে কীভাবে একজন মানুষ একটি মেশিনের আউটপুটকে অন্যটির চেয়ে সাহায্য এবং ক্ষতিহীনতার মানদণ্ডের উপর ভিত্তি করে পছন্দ করে।

নিম্নলিখিত সারণী পছন্দের ধারণা দেখায়:

আপনার পুরস্কার মডেল প্রশিক্ষণ

আমাদের পুরস্কার মডেল উপর ভিত্তি করে GPT-J-6B এবং পূর্বে উল্লিখিত এইচএইচ ডেটাসেটে ফাইন-টিউন করা হয়েছে। যেহেতু পুরষ্কার মডেলের প্রশিক্ষণ এই পোস্টের ফোকাস নয়, তাই আমরা Trlx রেপোতে নির্দিষ্ট করা একটি প্রাক-প্রশিক্ষিত পুরস্কার মডেল ব্যবহার করব, Dahoas/gptj-rm-static. আপনি যদি আপনার নিজের পুরষ্কারের মডেলকে প্রশিক্ষণ দিতে চান তবে অনুগ্রহ করে দেখুন গিটহাবে অটোক্রিট লাইব্রেরি.

RLHF প্রশিক্ষণ

এখন যেহেতু আমরা RLHF প্রশিক্ষণের জন্য প্রয়োজনীয় সমস্ত উপাদান (যেমন, একটি SFT মডেল এবং একটি পুরস্কার মডেল) অর্জন করেছি, আমরা এখন RLHF ব্যবহার করে নীতিটি অপ্টিমাইজ করা শুরু করতে পারি৷

এটি করার জন্য, আমরা SFT মডেলের পাথ পরিবর্তন করি examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

আমরা তারপর প্রশিক্ষণ কমান্ড চালাই:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

স্ক্রিপ্টটি তার বর্তমান ওজন ব্যবহার করে এসএফটি মডেল শুরু করে এবং তারপর একটি পুরষ্কার মডেলের নির্দেশনায় সেগুলিকে অপ্টিমাইজ করে, যাতে ফলস্বরূপ RLHF প্রশিক্ষিত মডেলটি মানুষের পছন্দের সাথে সারিবদ্ধ হয়। নিম্নলিখিত চিত্রটি RLHF প্রশিক্ষণের অগ্রগতির সাথে সাথে মডেল আউটপুটগুলির পুরষ্কার স্কোরগুলি দেখায়৷ রিইনফোর্সমেন্ট ট্রেনিং অত্যন্ত উদ্বায়ী, তাই বক্ররেখা ওঠানামা করে, কিন্তু পুরস্কারের সামগ্রিক প্রবণতা ঊর্ধ্বমুখী, যার অর্থ হল মডেল আউটপুট পুরস্কারের মডেল অনুযায়ী মানুষের পছন্দের সাথে আরও বেশি করে সারিবদ্ধ হচ্ছে। সামগ্রিকভাবে, পুরষ্কারটি 3.42-তম পুনরাবৃত্তিতে -1e-0 থেকে 9.869-তম পুনরাবৃত্তিতে -3e-3000-এর সর্বোচ্চ মান পর্যন্ত উন্নত হয়।

নিম্নলিখিত চিত্রটি RLHF চালানোর সময় একটি উদাহরণ বক্ররেখা দেখায়।

মানুষের মূল্যায়ন

RLHF-এর সাথে আমাদের SFT মডেলটি সূক্ষ্ম-টিউন করার পরে, আমরা এখন ফাইন-টিউনিং প্রক্রিয়ার প্রভাব মূল্যায়ন করার লক্ষ্য রাখি কারণ এটি সহায়ক এবং ক্ষতিহীন প্রতিক্রিয়াগুলি তৈরি করার আমাদের বৃহত্তর লক্ষ্যের সাথে সম্পর্কিত। এই লক্ষ্যের সমর্থনে, আমরা RLHF-এর সাথে সূক্ষ্মভাবে তৈরি মডেল দ্বারা উত্পন্ন প্রতিক্রিয়াগুলিকে SFT মডেল দ্বারা উত্পন্ন প্রতিক্রিয়াগুলির সাথে তুলনা করি৷ আমরা HH ডেটাসেটের টেস্ট সেট থেকে প্রাপ্ত 100টি প্রম্পট নিয়ে পরীক্ষা করি। আমরা দুটি প্রতিক্রিয়া পেতে SFT এবং সূক্ষ্ম-টিউনড RLHF মডেল উভয়ের মাধ্যমে প্রতিটি প্রম্পটকে প্রোগ্রামেটিকভাবে পাস করি। অবশেষে, আমরা মানব টীকাকারদের অনুভূত সহায়কতা এবং ক্ষতিহীনতার উপর ভিত্তি করে পছন্দের প্রতিক্রিয়া নির্বাচন করতে বলি।

মানব মূল্যায়ন পদ্ধতির দ্বারা সংজ্ঞায়িত, চালু এবং পরিচালিত হয় আমাজন সেজমেকার গ্রাউন্ড ট্রুথ প্লাস লেবেলিং পরিষেবা। সেজমেকার গ্রাউন্ড ট্রুথ প্লাস গ্রাহকদের উচ্চ-মানের, বৃহৎ-স্কেল প্রশিক্ষণ ডেটাসেট প্রস্তুত করতে সক্ষম করে যাতে ফাইন-টিউন ফাউন্ডেশন মডেলগুলি মানুষের মতো জেনারেটিভ এআই কাজগুলি সম্পাদন করতে পারে। এটি দক্ষ মানুষকে মানুষের পছন্দের সাথে সারিবদ্ধ করার জন্য মডেল আউটপুটগুলি পর্যালোচনা করার অনুমতি দেয়। উপরন্তু, এটি অ্যাপ্লিকেশন নির্মাতাদের প্রশিক্ষণ ডেটাসেট প্রস্তুত করার সময় তাদের শিল্প বা কোম্পানির ডেটা ব্যবহার করে মডেলগুলি কাস্টমাইজ করতে সক্ষম করে। আগের একটি ব্লগ পোস্টে দেখানো হয়েছে (“আমাজন সেজমেকার গ্রাউন্ড ট্রুথ প্লাস থেকে আপনার জেনারেটিভ এআই অ্যাপ্লিকেশনের জন্য উচ্চ-মানের মানব প্রতিক্রিয়া”), সেজমেকার গ্রাউন্ড ট্রুথ প্লাস ওয়ার্কফ্লো, লেবেলিং ইন্টারফেস এবং একটি দক্ষ কর্মী বাহিনী প্রদান করে যাতে এই কাজগুলি গ্রাহকের পক্ষ থেকে একটি টার্নকি, সম্পূর্ণরূপে পরিচালিত পরিষেবাতে সম্পন্ন করার জন্য উচ্চ-মানের মানব প্রতিক্রিয়া ডেটা তৈরি করা হয়। আমাদের পরীক্ষার মানবিক মূল্যায়ন ধাপকে সহজতর করতে আমরা নীচে দেখানো UI-এর মতো একটি টাস্ক ইন্টারফেস ব্যবহার করি।

আমরা আমাদের মডেল মূল্যায়ন পরীক্ষা শেষ করি এই দুটি মডেলের মধ্যে কোনটি - SFT বা RLHF - উত্পাদিত প্রতিক্রিয়াগুলি যেগুলি প্রায়শই পছন্দের ছিল তা নির্ধারণ করে৷ মূল্যায়ন করা 84টি প্রম্পট এবং প্রতিক্রিয়াগুলির মধ্যে 100টির জন্য, আমরা লক্ষ্য করি যে RLHF-এর সাথে সূক্ষ্ম সুর করা মডেলের প্রতিক্রিয়াগুলি এসএফটি (RLHF-প্রশিক্ষিত মডেল) এর সাথে সূক্ষ্ম-টিউন করা মডেল দ্বারা উত্পাদিত প্রতিক্রিয়াগুলির চেয়ে অন্তত ততটা ভাল বা বেশি পছন্দের। আরো পছন্দ 30 বার, বাঁধা 54 বার)। নীচের সারণীতে দেখানো হয়েছে, মডেল প্রতিক্রিয়াগুলির একটি গুণগত তুলনা সমর্থনকারী প্রমাণ সরবরাহ করে যা ব্যাখ্যা করে যে কীভাবে RLHF মডেলটি SFT মডেলের তুলনায় আরও সহায়ক এবং বাস্তবসম্মতভাবে সঠিক হতে পারে। একটি সমষ্টিগত হিসাবে নেওয়া, আমাদের পরীক্ষা প্রস্তাব করে যে RLHF প্রকৃতপক্ষে, আউটপুট তৈরি করার মডেলের ক্ষমতাকে উন্নত করে যা আগ্রহের মানগুলির সাথে আরও ভালভাবে সারিবদ্ধ।

বিষাক্ততার মূল্যায়ন

মডেল প্রজন্মের মধ্যে RLHF কীভাবে বিষাক্ততা হ্রাস করে তা পরিমাপ করার জন্য, আমরা জনপ্রিয় RealToxicityPrompt পরীক্ষা সেট এবং 0 (বিষাক্ত নয়) থেকে 1 (বিষাক্ত) থেকে একটানা স্কেলে বিষাক্ততা পরিমাপ করুন। আমরা RealToxicityPrompt টেস্ট সেট থেকে এলোমেলোভাবে 1,000 টেস্ট কেস নির্বাচন করি এবং SFT এবং RLHF মডেল আউটপুটগুলির বিষাক্ততার তুলনা করি। আমাদের মূল্যায়নের মাধ্যমে, আমরা দেখতে পাই যে RLHF মডেলটি SFT মডেলের (গড়ে 0.129) তুলনায় কম বিষাক্ততা (গড়ে 0.134) অর্জন করে, যা আউটপুট ক্ষতিকারকতা কমাতে RLHF কৌশলের কার্যকারিতা প্রদর্শন করে।

পরিষ্কার কর

একবার আপনি শেষ হয়ে গেলে, অতিরিক্ত ফি খরচ এড়াতে আপনার তৈরি করা ক্লাউড সংস্থানগুলি মুছে ফেলা উচিত। আপনি যদি একটি সেজমেকার নোটবুকে এই পরীক্ষাটি মিরর করতে বেছে নেন, তাহলে আপনি যে নোটবুকটি ব্যবহার করছেন তা শুধুমাত্র থামাতে হবে। আরও তথ্যের জন্য, “এডব্লিউএস সেজমেকার ডেভেলপার গাইডের ডকুমেন্টেশন দেখুনপরিষ্কার কর".

উপসংহার

এই পোস্টে, আমরা দেখিয়েছি কিভাবে আমাজন সেজমেকারে RLHF এর সাথে একটি বেস মডেল, GPT-J-6B প্রশিক্ষণ দেওয়া যায়। আমরা তত্ত্বাবধানে প্রশিক্ষণের মাধ্যমে বেস মডেলকে কীভাবে সূক্ষ্ম-টিউন করতে হয়, পুরস্কারের মডেলকে প্রশিক্ষিত করতে হয় এবং মানব রেফারেন্স ডেটা সহ আরএল প্রশিক্ষণের ব্যাখ্যা দিয়েছি। আমরা দেখিয়েছি যে RLHF প্রশিক্ষিত মডেল টীকাকারদের দ্বারা পছন্দ করা হয়। এখন, আপনি আপনার অ্যাপ্লিকেশনের জন্য কাস্টমাইজড শক্তিশালী মডেল তৈরি করতে পারেন।

যদি আপনার মডেলগুলির জন্য উচ্চ-মানের প্রশিক্ষণ ডেটার প্রয়োজন হয়, যেমন প্রদর্শন ডেটা বা পছন্দ ডেটা, Amazon SageMaker আপনাকে সাহায্য করতে পারে ডেটা লেবেলিং অ্যাপ্লিকেশন তৈরি এবং লেবেলিং কর্মীবাহিনী পরিচালনার সাথে সম্পর্কিত অভেদহীন ভারী উত্তোলন অপসারণ করে। আপনার কাছে ডেটা থাকলে, আপনার RLHF প্রশিক্ষিত মডেল পেতে সেজমেকার স্টুডিও নোটবুক ওয়েব ইন্টারফেস বা GitHub সংগ্রহস্থলে দেওয়া নোটবুক ব্যবহার করুন।

লেখক সম্পর্কে

ওয়েইফেং চেন AWS হিউম্যান-ইন-দ্য-লুপ বিজ্ঞান দলের একজন ফলিত বিজ্ঞানী। তিনি কম্পিউটার ভিশন, ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং এবং জেনারেটিভ এআই ডোমেনে বিস্তৃত গ্রাউন্ডট্রুথ অর্জনে গ্রাহকদের কঠোর গতি অর্জনে সহায়তা করার জন্য মেশিন-সহায়তা লেবেলিং সমাধানগুলি বিকাশ করেন।

এরান লি হিউম্যান-ইন-দ্য-লুপ পরিষেবা, AWS AI, Amazon-এর প্রয়োগকৃত বিজ্ঞান ব্যবস্থাপক৷ তার গবেষণার আগ্রহ হল 3D গভীর শিক্ষা, এবং দৃষ্টি এবং ভাষা উপস্থাপনা শেখা। পূর্বে তিনি আলেক্সা এআই-এর একজন সিনিয়র বিজ্ঞানী, স্কেল এআই-এর মেশিন লার্নিং প্রধান এবং Pony.ai-এর প্রধান বিজ্ঞানী ছিলেন। এর আগে, তিনি Uber ATG-এ উপলব্ধি টিম এবং Uber-এর মেশিন লার্নিং প্ল্যাটফর্ম টিমের সাথে ছিলেন স্বায়ত্তশাসিত ড্রাইভিং, মেশিন লার্নিং সিস্টেম এবং AI-এর কৌশলগত উদ্যোগের জন্য মেশিন লার্নিং নিয়ে কাজ করে। তিনি বেল ল্যাবসে তার কর্মজীবন শুরু করেন এবং কলম্বিয়া বিশ্ববিদ্যালয়ের সহযোগী অধ্যাপক ছিলেন। তিনি ICML'17 এবং ICCV'19-এ টিউটোরিয়াল সহ-শিক্ষা দিয়েছেন এবং NeurIPS, ICML, CVPR, ICCV-তে স্বায়ত্তশাসিত ড্রাইভিং, 3D দৃষ্টি এবং রোবোটিক্স, মেশিন লার্নিং সিস্টেম এবং প্রতিপক্ষের মেশিন লার্নিং এর জন্য মেশিন লার্নিং এর উপর বেশ কয়েকটি কর্মশালার সহ-সংগঠিত করেছেন। তিনি কর্নেল ইউনিভার্সিটিতে কম্পিউটার সায়েন্সে পিএইচডি করেছেন। তিনি একজন ACM ফেলো এবং IEEE ফেলো।

কৌশিক কল্যাণরামন AWS-এ হিউম্যান-ইন-দ্য-লুপ বিজ্ঞান দলের একজন সফটওয়্যার ডেভেলপমেন্ট ইঞ্জিনিয়ার। তার অবসর সময়ে, তিনি বাস্কেটবল খেলেন এবং তার পরিবারের সাথে সময় কাটান।

জিওং ঝু AWS-এর একজন সিনিয়র ফলিত বিজ্ঞানী। তিনি Amazon SageMaker ভূ-স্থানিক ক্ষমতার জন্য বিজ্ঞান দলের নেতৃত্ব দেন। তার বর্তমান গবেষণার ক্ষেত্রে কম্পিউটার দৃষ্টি এবং দক্ষ মডেল প্রশিক্ষণ অন্তর্ভুক্ত। তার অবসর সময়ে, তিনি দৌড়ানো, বাস্কেটবল খেলা এবং তার পরিবারের সাথে সময় কাটাতে উপভোগ করেন।

অ্যালেক্স উইলিয়ামস AWS AI-এর একজন ফলিত বিজ্ঞানী যেখানে তিনি ইন্টারেক্টিভ মেশিন ইন্টেলিজেন্স সংক্রান্ত সমস্যা নিয়ে কাজ করেন। অ্যামাজনে যোগদানের আগে, তিনি টেনেসি বিশ্ববিদ্যালয়ের বৈদ্যুতিক প্রকৌশল এবং কম্পিউটার বিজ্ঞান বিভাগের অধ্যাপক ছিলেন। তিনি মাইক্রোসফ্ট রিসার্চ, মজিলা রিসার্চ এবং অক্সফোর্ড বিশ্ববিদ্যালয়ে গবেষণার পদও অধিষ্ঠিত করেছেন। তিনি ওয়াটারলু বিশ্ববিদ্যালয় থেকে কম্পিউটার বিজ্ঞানে পিএইচডি করেছেন।

আম্মাr চিনয় AWS হিউম্যান-ইন-দ্য-লুপ পরিষেবাগুলির জন্য জেনারেল ম্যানেজার/পরিচালক। তার অবসর সময়ে, তিনি তার তিনটি কুকুরের সাথে পজিটিভ রিইনফোর্সমেন্ট শেখার কাজ করেন: ওয়াফেল, উইজেট এবং ওয়াকার।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/