একটি অবশ্যই পড়ুন: GenAI বিকাশকারীদের জন্য 15টি প্রয়োজনীয় AI কাগজপত্র৷

ভূমিকা

কৃত্রিম বুদ্ধিমত্তার (AI) ক্ষেত্রটি ক্রমাগত বৃদ্ধি এবং বিকশিত হওয়ার সাথে সাথে, উচ্চাকাঙ্ক্ষী AI বিকাশকারীদের জন্য সাম্প্রতিক গবেষণা এবং অগ্রগতির সাথে আপডেট থাকা ক্রমশ গুরুত্বপূর্ণ হয়ে ওঠে। এটি করার সর্বোত্তম উপায়গুলির মধ্যে একটি হল GenAI বিকাশকারীদের জন্য AI পেপারগুলি পড়া, যা অত্যাধুনিক কৌশল এবং অ্যালগরিদমের মূল্যবান অন্তর্দৃষ্টি প্রদান করে। এই নিবন্ধটি GenAI বিকাশকারীদের জন্য 15টি প্রয়োজনীয় AI কাগজপত্র অন্বেষণ করবে। এই কাগজপত্র প্রাকৃতিক ভাষা প্রক্রিয়াকরণ থেকে কম্পিউটার দৃষ্টি পর্যন্ত বিভিন্ন বিষয় কভার করে। এগুলি এআই সম্পর্কে আপনার বোঝার উন্নতি করবে এবং এই উত্তেজনাপূর্ণ ক্ষেত্রে আপনার প্রথম চাকরির অবতরণের সম্ভাবনাকে বাড়িয়ে তুলবে।

GenAI ডেভেলপারদের জন্য এআই পেপারের গুরুত্ব

GenAI ডেভেলপারদের জন্য AI পেপারগুলি গবেষক এবং বিশেষজ্ঞদের তাদের অনুসন্ধান, পদ্ধতি এবং অগ্রগতি বৃহত্তর সম্প্রদায়ের সাথে শেয়ার করার অনুমতি দেয়। এই কাগজপত্রগুলি পড়ার মাধ্যমে, আপনি AI-তে সাম্প্রতিক অগ্রগতিতে অ্যাক্সেস লাভ করেন, আপনাকে বক্ররেখার থেকে এগিয়ে থাকতে এবং আপনার কাজে জ্ঞাত সিদ্ধান্ত নিতে দেয়। অধিকন্তু, GenAI বিকাশকারীদের জন্য AI পেপারগুলি প্রায়শই অ্যালগরিদম এবং কৌশলগুলির বিশদ ব্যাখ্যা প্রদান করে, আপনাকে তারা কীভাবে কাজ করে এবং বাস্তব-বিশ্বের সমস্যাগুলিতে কীভাবে প্রয়োগ করা যেতে পারে সে সম্পর্কে আপনাকে গভীরভাবে উপলব্ধি করে।

GenAI ডেভেলপারদের জন্য AI পেপার পড়া উচ্চাকাঙ্ক্ষী AI ডেভেলপারদের জন্য বেশ কিছু সুবিধা দেয়। প্রথমত, এটি আপনাকে ক্ষেত্রের সর্বশেষ গবেষণা এবং প্রবণতাগুলির সাথে আপডেট থাকতে সহায়তা করে। এআই-সম্পর্কিত চাকরির জন্য আবেদন করার সময় এই জ্ঞানটি অত্যন্ত গুরুত্বপূর্ণ, কারণ নিয়োগকর্তারা প্রায়ই সাম্প্রতিক অগ্রগতির সাথে পরিচিত প্রার্থীদের সন্ধান করেন। উপরন্তু, AI কাগজপত্র পড়া আপনাকে আপনার জ্ঞান প্রসারিত করতে এবং AI ধারণা এবং পদ্ধতিগুলির গভীরতর বোঝার সুযোগ দেয়। এই জ্ঞান আপনার প্রকল্প এবং গবেষণায় প্রয়োগ করা যেতে পারে, আপনাকে আরও দক্ষ এবং দক্ষ এআই বিকাশকারী করে তোলে।

একটি সংক্ষিপ্ত বিবরণ: লিঙ্ক সহ GenAI বিকাশকারীদের জন্য প্রয়োজনীয় AI কাগজপত্র

পেপার 1: ট্রান্সফরমার: মনোযোগ আপনার প্রয়োজন

লিঙ্ক: এখানে পড়ুন

কাগজের সারাংশ

কাগজটি ট্রান্সফরমারের সাথে পরিচয় করিয়ে দেয়, একটি নতুন নিউরাল নেটওয়ার্ক আর্কিটেকচার যা মেশিন অনুবাদের মতো সিকোয়েন্স ট্রান্সডাকশন কাজের জন্য। পৌনঃপুনিক বা কনভোল্যুশনাল নিউরাল নেটওয়ার্কের উপর ভিত্তি করে প্রচলিত মডেলের বিপরীতে, ট্রান্সফরমার শুধুমাত্র মনোযোগের প্রক্রিয়ার উপর নির্ভর করে, পুনরাবৃত্তি এবং সংকোচনের প্রয়োজনীয়তা দূর করে। লেখকরা যুক্তি দেন যে এই স্থাপত্যটি অনুবাদের গুণমান, বর্ধিত সমান্তরালতা এবং প্রশিক্ষণের সময় হ্রাসের ক্ষেত্রে উচ্চতর কর্মক্ষমতা প্রদান করে।

GenAI ডেভেলপারদের জন্য এআই পেপারের মূল অন্তর্দৃষ্টি

1. মনোযোগ মেকানিজম
   
   ট্রান্সফরমার সম্পূর্ণরূপে মনোযোগের প্রক্রিয়ার উপর নির্মিত, এটি ইনপুট এবং আউটপুট সিকোয়েন্সের মধ্যে বিশ্বব্যাপী নির্ভরতা ক্যাপচার করার অনুমতি দেয়। এই পদ্ধতিটি মডেলটিকে অনুক্রমের উপাদানগুলির মধ্যে দূরত্ব দ্বারা সীমাবদ্ধ না হয়ে সম্পর্ক বিবেচনা করতে সক্ষম করে।

2. সমান্তরালকরণ

   ট্রান্সফরমার আর্কিটেকচারের একটি বড় সুবিধা হল এর বর্ধিত সমান্তরালতা। প্রথাগত পুনরাবৃত্ত মডেলগুলি অনুক্রমিক গণনার দ্বারা ভোগে, যা সমান্তরালকরণকে চ্যালেঞ্জিং করে তোলে। ট্রান্সফরমারের নকশা প্রশিক্ষণের সময় আরও দক্ষ সমান্তরাল প্রক্রিয়াকরণের অনুমতি দেয়, প্রশিক্ষণের সময় হ্রাস করে।

3. উচ্চতর গুণমান এবং দক্ষতা
   
   কাগজটি মেশিন অনুবাদের কাজগুলিতে পরীক্ষামূলক ফলাফল উপস্থাপন করে, এটি প্রদর্শন করে যে ট্রান্সফরমার বিদ্যমান মডেলগুলির তুলনায় উচ্চতর অনুবাদ গুণমান অর্জন করে। এটি একটি উল্লেখযোগ্য ব্যবধানে এনসেম্বল মডেল সহ পূর্ববর্তী অত্যাধুনিক ফলাফলগুলিকে ছাড়িয়ে গেছে। উপরন্তু, ট্রান্সফরমার যথেষ্ট কম প্রশিক্ষণের সময় এই ফলাফলগুলি সম্পন্ন করে।

4. অনুবাদ কর্মক্ষমতা
   
   WMT 2014 ইংরেজি-থেকে-জার্মান অনুবাদ টাস্কে, প্রস্তাবিত মডেলটি 28.4 এর একটি BLEU স্কোর অর্জন করেছে, যা বিদ্যমান সেরা ফলাফলকে 2 টির বেশি BLEU অতিক্রম করেছে। ইংরেজি-থেকে-ফ্রেঞ্চ টাস্কে, মডেলটি আটটি GPU-তে মাত্র 41.8 দিনের প্রশিক্ষণের পরে 3.5-এর একটি নতুন একক-মডেল অত্যাধুনিক BLEU স্কোর স্থাপন করে।

5. অন্যান্য কাজের সাধারণীকরণলেখকরা দেখান যে ট্রান্সফরমার আর্কিটেকচার মেশিন অনুবাদের বাইরে কাজগুলিকে ভালভাবে সাধারণীকরণ করে। তারা সফলভাবে মডেলটিকে ইংরেজি নির্বাচনী এলাকা পার্সিং-এ প্রয়োগ করে, বিভিন্ন ক্রম ট্রান্সডাকশন সমস্যার সাথে এর অভিযোজনযোগ্যতা দেখায়।

পেপার 2: BERT: ভাষা বোঝার জন্য গভীর দ্বিমুখী ট্রান্সফরমারের প্রাক-প্রশিক্ষণ

লিঙ্ক: এখানে পড়ুন

কাগজের সারাংশ

ভাষা মডেল প্রাক-প্রশিক্ষণ বিভিন্ন প্রাকৃতিক ভাষা প্রক্রিয়াকরণের কাজগুলিকে উন্নত করার জন্য কার্যকর প্রমাণিত হয়েছে। কাগজটি প্রাক-প্রশিক্ষিত ভাষা উপস্থাপনা প্রয়োগের জন্য বৈশিষ্ট্য-ভিত্তিক এবং সূক্ষ্ম-টিউনিং পদ্ধতির মধ্যে পার্থক্য করে। BERT সূক্ষ্ম-টিউনিং পদ্ধতির সীমাবদ্ধতাগুলিকে মোকাবেলা করার জন্য চালু করা হয়েছে, বিশেষ করে স্ট্যান্ডার্ড ল্যাঙ্গুয়েজ মডেলের একমুখীতা সীমাবদ্ধতা। কাগজটি একটি "মাস্কড ল্যাঙ্গুয়েজ মডেল" (এমএলএম) প্রাক-প্রশিক্ষণের উদ্দেশ্য প্রস্তাব করে, যা ক্লোজ টাস্ক দ্বারা অনুপ্রাণিত, দ্বিমুখী উপস্থাপনা সক্ষম করতে। একটি "পরবর্তী বাক্যের ভবিষ্যদ্বাণী" টাস্কটি যৌথভাবে পাঠ্য-জোড়া উপস্থাপনাগুলিকে পূর্ব-প্রশিক্ষণ দেওয়ার জন্যও ব্যবহৃত হয়।

GenAI ডেভেলপারদের জন্য এআই পেপারের মূল অন্তর্দৃষ্টি

1. দ্বিমুখী প্রাক-প্রশিক্ষণের গুরুত্ব
   
   কাগজটি ভাষা উপস্থাপনার জন্য দ্বিমুখী প্রাক-প্রশিক্ষণের তাত্পর্যের উপর জোর দেয়। পূর্ববর্তী মডেলগুলির থেকে ভিন্ন, BERT মুখোশযুক্ত ভাষা মডেলগুলিকে গভীর দ্বিমুখী উপস্থাপনা সক্ষম করতে ব্যবহার করে, পূর্ববর্তী কাজের দ্বারা ব্যবহৃত একমুখী ভাষার মডেলগুলিকে ছাড়িয়ে যায়।

2. টাস্ক-নির্দিষ্ট আর্কিটেকচারে হ্রাস
   
   BERT দেখায় যে প্রাক-প্রশিক্ষিত উপস্থাপনাগুলি ভারী-ইঞ্জিনিয়ারযুক্ত টাস্ক-নির্দিষ্ট আর্কিটেকচারের প্রয়োজনীয়তা হ্রাস করে। এটি প্রথম ফাইন-টিউনিং-ভিত্তিক উপস্থাপনা মডেল হয়ে ওঠে যা বিভিন্ন ধরনের বাক্য-স্তর এবং টোকেন-স্তরের কাজগুলির মধ্যে অত্যাধুনিক কর্মক্ষমতা অর্জন করে, টাস্ক-নির্দিষ্ট আর্কিটেকচারকে ছাড়িয়ে যায়।

3. স্টেট-অফ-দ্য-আর্ট অ্যাডভান্সমেন্ট
   
   BERT এগারোটি প্রাকৃতিক ভাষা প্রক্রিয়াকরণ কাজের উপর নতুন অত্যাধুনিক ফলাফল অর্জন করে, এর বহুমুখিতা প্রদর্শন করে। উল্লেখযোগ্য উন্নতিগুলির মধ্যে রয়েছে GLUE স্কোরের উল্লেখযোগ্য বৃদ্ধি, মাল্টিএনএলআই নির্ভুলতা, এবং SQuAD v1.1 এবং v2.0 প্রশ্ন-উত্তর কার্যগুলিতে উন্নতি।

আপনি এটি পড়তে পারেন: মাস্কড ল্যাঙ্গুয়েজ মডেলিংয়ের সাথে ফাইন-টিউনিং BERT

পেপার 3: GPT: ভাষার মডেলগুলি হল অল্প-শট লার্নার্স

লিঙ্ক: এখানে পড়ুন

কাগজের সারাংশ

গবেষণাপত্রটি প্রাকৃতিক ভাষা প্রক্রিয়াকরণের (এনএলপি) কাজগুলিতে অর্জিত উন্নতিগুলি নিয়ে আলোচনা করে যা ভাষার মডেলগুলিকে স্কেল করে, ফোকাস করে। GPT-3 (জেনারেটিভ প্রাক-প্রশিক্ষিত ট্রান্সফরমার 3), 175 বিলিয়ন প্যারামিটার সহ একটি অটোরিগ্রেসিভ ল্যাঙ্গুয়েজ মডেল। সাম্প্রতিক সময়ে লেখক যে হাইলাইট এনএলপি মডেল প্রাক-প্রশিক্ষণ এবং সূক্ষ্ম-টিউনিংয়ের মাধ্যমে উল্লেখযোগ্য লাভ প্রদর্শন করে, তাদের প্রায়শই ফাইন-টিউনিংয়ের জন্য হাজার হাজার উদাহরণ সহ টাস্ক-নির্দিষ্ট ডেটাসেটের প্রয়োজন হয়। বিপরীতে, মানুষ কয়েকটি উদাহরণ বা সাধারণ নির্দেশাবলীর মাধ্যমে নতুন ভাষার কাজ সম্পাদন করতে পারে।

GenAI ডেভেলপারদের জন্য এআই পেপারের মূল অন্তর্দৃষ্টি

1. স্কেলিং আপ ফিউ-শট কর্মক্ষমতা উন্নত করে

   লেখকরা দেখান যে ভাষার মডেলগুলিকে স্কেল করা টাস্ক-অজ্ঞেয়বাদী, অল্প-শট কর্মক্ষমতাকে উল্লেখযোগ্যভাবে বৃদ্ধি করে। GPT-3, এর বড় প্যারামিটার আকার সহ, কখনও কখনও টাস্ক-নির্দিষ্ট ফাইন-টিউনিং বা গ্রেডিয়েন্ট আপডেট ছাড়াই অত্যাধুনিক ফাইন-টিউনিং পদ্ধতির সাথে প্রতিযোগিতামূলকতা অর্জন করে।

2. বিস্তৃত প্রযোজ্যতা
   
   GPT-3 অনুবাদ, প্রশ্ন-উত্তর, ক্লোজ টাস্ক এবং অন-দ্য-ফ্লাই রিজনিং বা ডোমেন অভিযোজন প্রয়োজন এমন কাজ সহ বিভিন্ন এনএলপি টাস্ক জুড়ে শক্তিশালী কর্মক্ষমতা প্রদর্শন করে।
3. চ্যালেঞ্জ এবং সীমাবদ্ধতা
   
   যদিও GPT-3 উল্লেখযোগ্য কয়েকটি-শট শেখার ক্ষমতা দেখায়, লেখকরা ডেটাসেটগুলি সনাক্ত করেন যেখানে এটি সংগ্রাম করে এবং বড় ওয়েব কর্পোরাতে প্রশিক্ষণ সম্পর্কিত পদ্ধতিগত সমস্যাগুলি হাইলাইট করে।
4. মানব-সদৃশ প্রবন্ধ প্রজন্ম
   
   GPT-3 এমন সংবাদ নিবন্ধ তৈরি করতে পারে যা মানুষের মূল্যায়নকারীরা মানুষের দ্বারা লেখা নিবন্ধ থেকে আলাদা করা কঠিন বলে মনে করেন।
5. সামাজিক প্রভাব এবং বিস্তৃত বিবেচনা
   
   গবেষণাপত্রটি GPT-3 এর ক্ষমতার বৃহত্তর সামাজিক প্রভাব নিয়ে আলোচনা করে, বিশেষ করে মানুষের মতো পাঠ্য তৈরিতে। ব্যবহারিক প্রয়োগ এবং সম্ভাব্য চ্যালেঞ্জের পরিপ্রেক্ষিতে বিভিন্ন কাজে এর কর্মক্ষমতার প্রভাব বিবেচনা করা হয়।
6. বর্তমান NLP পদ্ধতির সীমাবদ্ধতা
   
   লেখকরা বর্তমান এনএলপি পদ্ধতির সীমাবদ্ধতাগুলি তুলে ধরেছেন, বিশেষ করে টাস্ক-নির্দিষ্ট ফাইন-টিউনিং ডেটাসেটের উপর তাদের নির্ভরতা, যা বড় লেবেলযুক্ত ডেটাসেটের প্রয়োজনীয়তা এবং সংকীর্ণ টাস্ক ডিস্ট্রিবিউশনে অতিরিক্ত ফিটিং হওয়ার ঝুঁকির মতো চ্যালেঞ্জ তৈরি করে। অতিরিক্তভাবে, তাদের প্রশিক্ষণ বিতরণের সীমার বাইরে এই মডেলগুলির সাধারণীকরণ ক্ষমতা সম্পর্কে উদ্বেগ দেখা দেয়।

পেপার 4: সিএনএন: ডিপ কনভোলিউশনাল নিউরাল নেটওয়ার্কের সাথে ইমেজনেট শ্রেণীবিভাগ

লিঙ্ক: এখানে পড়ুন

কাগজের সারাংশ

কাগজটি ইমেজনেট লার্জ স্কেল ভিজ্যুয়াল রিকগনিশন চ্যালেঞ্জ (ILSVRC) ডেটাসেটে চিত্র শ্রেণিবিন্যাসের জন্য একটি বৃহৎ, গভীর কনভোলিউশনাল নিউরাল নেটওয়ার্ক (CNN) বিকাশ ও প্রশিক্ষণের বর্ণনা করে। মডেলটি পূর্ববর্তী অত্যাধুনিক পদ্ধতির তুলনায় শ্রেণীবিন্যাস নির্ভুলতার ক্ষেত্রে উল্লেখযোগ্য উন্নতি অর্জন করে।

GenAI ডেভেলপারদের জন্য এআই পেপারের মূল অন্তর্দৃষ্টি

1. মডেল আর্কিটেকচার

   গবেষণায় ব্যবহৃত নিউরাল নেটওয়ার্ক হল একটি গভীর CNN যার 60 মিলিয়ন প্যারামিটার এবং 650,000 নিউরন রয়েছে। এটি পাঁচটি কনভোলিউশনাল লেয়ার নিয়ে গঠিত, কিছুর পরে ম্যাক্স-পুলিং লেয়ার, এবং শ্রেণীবিভাগের জন্য চূড়ান্ত 1000-ওয়ে সফটম্যাক্স সহ তিনটি সম্পূর্ণ-সংযুক্ত স্তর।

2. প্রশিক্ষণ ডেটা
   
   মডেলটিকে ইমেজনেট ILSVRC-1.2 প্রতিযোগিতা থেকে 2010 মিলিয়ন উচ্চ-রেজোলিউশন চিত্রের একটি উল্লেখযোগ্য ডেটাসেটে প্রশিক্ষণ দেওয়া হয়েছে। প্রশিক্ষণ প্রক্রিয়ায় 1000টি বিভিন্ন শ্রেণিতে ছবি শ্রেণীবদ্ধ করা জড়িত।

3. সম্পাদন

   মডেলটি পরীক্ষার ডেটাতে যথাক্রমে 1% এবং 5% শীর্ষ-37.5 এবং শীর্ষ-17.0 ত্রুটির হার অর্জন করে। এই ত্রুটির হারগুলি পূর্ববর্তী অত্যাধুনিক পদ্ধতির তুলনায় যথেষ্ট ভাল, প্রস্তাবিত পদ্ধতির কার্যকারিতা নির্দেশ করে।

4. ওভারফিটিং এর উন্নতি
   
   কাগজটি অ-স্যাচুরেটিং নিউরন, দ্রুত প্রশিক্ষণের জন্য দক্ষ GPU বাস্তবায়ন এবং সম্পূর্ণ সংযুক্ত স্তরগুলিতে "ড্রপআউট" নামক একটি নিয়মিতকরণ পদ্ধতি সহ ওভারফিটিং সমস্যাগুলি মোকাবেলার জন্য বেশ কয়েকটি কৌশল প্রবর্তন করে।
5. কম্পিউটেশনাল দক্ষতা

   বৃহৎ CNN-এর প্রশিক্ষণের কম্পিউটেশনাল চাহিদা থাকা সত্ত্বেও, কাগজে উল্লেখ করা হয়েছে যে বর্তমান GPU এবং অপ্টিমাইজ করা বাস্তবায়নগুলি উচ্চ-রেজোলিউশনের চিত্রগুলিতে এই ধরনের মডেলগুলিকে প্রশিক্ষণ দেওয়া সম্ভবপর করে তোলে।

6. অবদানসমূহ

   গবেষণাপত্রটি ইমেজনেট ডেটাসেটের সবচেয়ে বড় কনভোলিউশনাল নিউরাল নেটওয়ার্কগুলির একটিকে প্রশিক্ষণ এবং ILSVRC প্রতিযোগিতায় অত্যাধুনিক ফলাফল অর্জন সহ গবেষণার অবদানগুলিকে তুলে ধরে।

আপনি এটি পড়তে পারেন: কনভোলিউশনাল নিউরাল নেটওয়ার্ক শেখার জন্য একটি ব্যাপক টিউটোরিয়াল

কাগজ 5: GATs: গ্রাফ অ্যাটেনশন নেটওয়ার্ক

লিঙ্ক: এখানে পড়ুন

কাগজের সারাংশ

কাগজটি গ্রাফ-গঠিত ডেটাতে নোডের শ্রেণীবিভাগের জন্য একটি মনোযোগ-ভিত্তিক আর্কিটেকচার প্রবর্তন করে, বিভিন্ন বেঞ্চমার্ক জুড়ে এর দক্ষতা, বহুমুখিতা এবং প্রতিযোগিতামূলক কর্মক্ষমতা প্রদর্শন করে। মনোযোগের প্রক্রিয়াগুলির সংযোজন নির্বিচারে কাঠামোগত গ্রাফগুলি পরিচালনা করার জন্য একটি শক্তিশালী হাতিয়ার হিসাবে প্রমাণিত হয়।

GenAI ডেভেলপারদের জন্য এআই পেপারের মূল অন্তর্দৃষ্টি

1. গ্রাফ অ্যাটেনশন নেটওয়ার্ক (GATs)GATs গ্রাফ কনভোলিউশনের উপর ভিত্তি করে পূর্ববর্তী পদ্ধতিতে সীমাবদ্ধতাগুলি মোকাবেলা করার জন্য মুখোশযুক্ত স্ব-মনোযোগী স্তরগুলিকে লিভারেজ করে। আর্কিটেকচারটি নোডগুলিকে তাদের আশেপাশের বৈশিষ্ট্যগুলির উপর উপস্থিত থাকতে দেয়, ব্যয়বহুল ম্যাট্রিক্স অপারেশন বা গ্রাফ কাঠামোর অগ্রাধিকার জ্ঞানের উপর নির্ভর না করেই বিভিন্ন নোডের জন্য বিভিন্ন ওজন নির্দিষ্ট করে।

2. বর্ণালী-ভিত্তিক চ্যালেঞ্জ মোকাবেলা করা
   
   GATs একই সাথে বর্ণালী-ভিত্তিক গ্রাফ নিউরাল নেটওয়ার্কগুলিতে বেশ কয়েকটি চ্যালেঞ্জ মোকাবেলা করে। গ্রাফ অ্যাটেনশন নেটওয়ার্ক (GAT) চ্যালেঞ্জগুলির মধ্যে স্থানিকভাবে স্থানীয়কৃত ফিল্টার, তীব্র গণনা, এবং অ-স্থানীয় স্থানীয় ফিল্টার জড়িত। উপরন্তু, GATs ল্যাপ্লাসিয়ান ইজেনবেসিসের উপর নির্ভর করে, প্রবর্তক এবং ট্রান্সডাক্টিভ সমস্যাগুলির জন্য তাদের প্রযোজ্যতায় অবদান রাখে।

3. বেঞ্চমার্ক জুড়ে কর্মক্ষমতা
   
   GAT মডেলগুলি চারটি প্রতিষ্ঠিত গ্রাফ বেঞ্চমার্ক জুড়ে অত্যাধুনিক ফলাফল অর্জন করে বা মেলে: Cora, Citeseer, এবং Pubmed উদ্ধৃতি নেটওয়ার্ক ডেটাসেট, সেইসাথে একটি প্রোটিন-প্রোটিন মিথস্ক্রিয়া ডেটাসেট। এই বেঞ্চমার্কগুলি ট্রান্সডাক্টিভ এবং ইনডাক্টিভ লার্নিং উভয় পরিস্থিতিকে কভার করে, যা GAT-এর বহুমুখিতা প্রদর্শন করে।

4. পূর্ববর্তী পদ্ধতির সাথে তুলনা
   
   কাগজটি পুনরাবৃত্ত নিউরাল নেটওয়ার্ক সহ পূর্ববর্তী পদ্ধতির একটি ব্যাপক ওভারভিউ প্রদান করে, গ্রাফ নিউরাল নেটওয়ার্ক (GNNs), বর্ণালী এবং অ-বর্ণালী পদ্ধতি এবং মনোযোগের প্রক্রিয়া। GATs মনোযোগের প্রক্রিয়াগুলিকে অন্তর্ভুক্ত করে, নোড-প্রতিবেশী জোড়া জুড়ে দক্ষ সমান্তরালকরণ এবং বিভিন্ন ডিগ্রি সহ নোডগুলিতে প্রয়োগের অনুমতি দেয়।

5. দক্ষতা এবং প্রযোজ্যতাGATs একটি সমান্তরাল, দক্ষ অপারেশন অফার করে যা প্রতিবেশীদের কাছে নির্বিচারে ওজন নির্দিষ্ট করে বিভিন্ন ডিগ্রি সহ গ্রাফ নোডগুলিতে প্রয়োগ করা যেতে পারে। মডেলটি সরাসরি প্রবর্তক শিক্ষার সমস্যাগুলির জন্য প্রযোজ্য, এটিকে এমন কাজের জন্য উপযুক্ত করে তোলে যেখানে এটি সম্পূর্ণরূপে অদেখা গ্রাফগুলিতে সাধারণীকরণ করা প্রয়োজন৷

6. পূর্ববর্তী মডেলের সাথে সম্পর্ক
   
   লেখকরা উল্লেখ করেছেন যে GATsকে MoNet-এর একটি বিশেষ উদাহরণ হিসাবে পুনর্গঠন করা যেতে পারে, সম্পর্কযুক্ত নেটওয়ার্কগুলির সাথে মিল ভাগ করে নিতে পারে এবং আশেপাশের মনোযোগ ক্রিয়াকলাপ ব্যবহার করে এমন কাজের সাথে সংযোগ স্থাপন করতে পারে। প্রস্তাবিত মনোযোগ মডেলটি ডুয়ান এট আলের মতো সম্পর্কিত পদ্ধতির সাথে তুলনা করা হয়। (2017) এবং ডেনিল এট আল। (2017)।

পেপার 6: ভিআইটি: একটি চিত্রের মূল্য 16×16 শব্দ: স্কেলে চিত্র স্বীকৃতির জন্য ট্রান্সফরমার

লিঙ্ক: এখানে পড়ুন

কাগজের সারাংশ

ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিংয়ে ট্রান্সফরমার আর্কিটেকচারের সাফল্য সত্ত্বেও কাগজটি কম্পিউটার ভিশনে কনভোলিউশনাল আর্কিটেকচারের আধিপত্য স্বীকার করে। এনএলপি-তে ট্রান্সফরমারের দক্ষতা এবং মাপযোগ্যতা দ্বারা অনুপ্রাণিত হয়ে, লেখকরা ন্যূনতম পরিবর্তন সহ চিত্রগুলিতে সরাসরি একটি স্ট্যান্ডার্ড ট্রান্সফরমার প্রয়োগ করেছেন।

তারা পরিচয় করিয়ে দেয় ভিশন ট্রান্সফরমার (ViT), যেখানে চিত্রগুলিকে প্যাচগুলিতে বিভক্ত করা হয় এবং এই প্যাচগুলির রৈখিক এম্বেডিংয়ের ক্রমটি ট্রান্সফরমারে ইনপুট হিসাবে কাজ করে। মডেলটিকে তত্ত্বাবধানে চিত্র শ্রেণীবিভাগের কাজগুলিতে প্রশিক্ষণ দেওয়া হয়। প্রাথমিকভাবে, যখন শক্তিশালী নিয়মিতকরণ ছাড়া ইমেজনেটের মতো মাঝারি আকারের ডেটাসেটগুলিতে প্রশিক্ষণ দেওয়া হয়, তখন ViT তুলনামূলক ResNets থেকে কিছুটা কম সঠিকতা অর্জন করে।

যাইহোক, লেখকরা প্রকাশ করেছেন যে ViT-এর সাফল্যের জন্য বৃহৎ মাপের প্রশিক্ষণ অত্যন্ত গুরুত্বপূর্ণ, নির্দিষ্ট প্রবর্তক পক্ষপাতের অনুপস্থিতির দ্বারা আরোপিত সীমাবদ্ধতাকে অতিক্রম করে। বিশাল ডেটাসেটের উপর প্রাক-প্রশিক্ষিত হলে, ViT ইমেজনেট, CIFAR-100, এবং VTAB সহ একাধিক বেঞ্চমার্কে অত্যাধুনিক কনভোলিউশনাল নেটওয়ার্কগুলিকে ছাড়িয়ে যায়। কাগজটি কম্পিউটার দৃষ্টিতে ট্রান্সফরমার আর্কিটেকচারের সাথে উল্লেখযোগ্য ফলাফল অর্জনে স্কেলিং এর প্রভাবকে আন্ডারস্কোর করে।

GenAI ডেভেলপারদের জন্য এআই পেপারের মূল অন্তর্দৃষ্টি

1. কম্পিউটার ভিশনে ট্রান্সফরমার
   
   কাগজটি কম্পিউটার ভিশন টাস্কের জন্য কনভোলিউশনাল নিউরাল নেটওয়ার্কের (সিএনএন) উপর বিদ্যমান নির্ভরতাকে চ্যালেঞ্জ করে। এটি দেখায় যে একটি বিশুদ্ধ ট্রান্সফরমার, যখন ইমেজ প্যাচগুলির ক্রমগুলিতে সরাসরি প্রয়োগ করা হয়, তখন এটি চিত্র শ্রেণীবিভাগের কাজগুলিতে দুর্দান্ত কার্যকারিতা অর্জন করতে পারে।

2. ভিশন ট্রান্সফরমার (ViT)
   
   লেখক ভিশন ট্রান্সফরমার (ViT) প্রবর্তন করেছেন, একটি মডেল যা NLP-তে ট্রান্সফরমারের মতো স্ব-মনোযোগ ব্যবস্থা ব্যবহার করে। ViT ImageNet, CIFAR-100, এবং VTAB সহ বিভিন্ন ইমেজ রিকগনিশন বেঞ্চমার্কে প্রতিযোগিতামূলক ফলাফল অর্জন করতে পারে।

3. প্রি-ট্রেনিং এবং ট্রান্সফার লার্নিং
   
   কাগজটি এনএলপি-র পদ্ধতির মতো প্রচুর পরিমাণে ডেটার উপর প্রাক-প্রশিক্ষণের গুরুত্বের উপর জোর দেয় এবং তারপরে শেখা উপস্থাপনাগুলিকে নির্দিষ্ট চিত্র সনাক্তকরণ কাজে স্থানান্তরিত করে। ViT, যখন ImageNet-21k বা JFT-300M-এর মতো বিশাল ডেটাসেটে প্রাক-প্রশিক্ষিত হয়, তখন বিভিন্ন বেঞ্চমার্কে অত্যাধুনিক কনভোলিউশনাল নেটওয়ার্কগুলিকে ছাড়িয়ে যায়।

4. কম্পিউটেশনাল দক্ষতাভিআইটি প্রশিক্ষণের তুলনায় উল্লেখযোগ্যভাবে কম গণনামূলক সংস্থান সহ উল্লেখযোগ্য ফলাফল অর্জন করে অত্যাধুনিক কনভোলিউশনাল নেটওয়ার্ক। এই দক্ষতা বিশেষভাবে উল্লেখযোগ্য যখন মডেলটি একটি বড় স্কেলে প্রাক-প্রশিক্ষিত হয়।

5. স্কেলিং প্রভাব
   
   কাগজটি কম্পিউটার দৃষ্টিতে ট্রান্সফরমার আর্কিটেকচারের সাথে উচ্চতর কর্মক্ষমতা অর্জনে স্কেলিং এর তাত্পর্য তুলে ধরে। লক্ষ লক্ষ থেকে লক্ষ লক্ষ ছবি সমন্বিত ডেটাসেটগুলির উপর বড় আকারের প্রশিক্ষণ ViT কে CNN-এ উপস্থিত কিছু প্রবর্তক পক্ষপাতের অভাব কাটিয়ে উঠতে সাহায্য করে।

পেপার 7: AlphaFold2: আলফাফোল্ড সহ অত্যন্ত সঠিক প্রোটিন গঠন

লিঙ্ক: এখানে পড়ুন

কাগজের সারাংশ

কাগজ "AlphaFold2: AlphaFold সহ অত্যন্ত সঠিক প্রোটিন গঠন" AlphaFold2 প্রবর্তন করে, একটি গভীর শিক্ষার মডেল যা সঠিকভাবে প্রোটিন কাঠামোর পূর্বাভাস দেয়। AlphaFold2 একটি অভিনব মনোযোগ-ভিত্তিক আর্কিটেকচারের সুবিধা দেয় এবং প্রোটিন ভাঁজ করার ক্ষেত্রে একটি অগ্রগতি অর্জন করে।

GenAI ডেভেলপারদের জন্য এআই পেপারের মূল অন্তর্দৃষ্টি

• আলফাফোল্ড2 তাদের অ্যামিনো অ্যাসিড সিকোয়েন্স থেকে প্রোটিনের 3D কাঠামোর পূর্বাভাস দিতে মনোযোগী প্রক্রিয়া সহ একটি গভীর নিউরাল নেটওয়ার্ক ব্যবহার করে।
• মডেলটিকে পরিচিত প্রোটিন কাঠামোর একটি বৃহৎ ডেটাসেটে প্রশিক্ষণ দেওয়া হয়েছিল এবং প্রোটিন কাঠামোর পূর্বাভাস (CASP14) প্রোটিন ভাঁজ প্রতিযোগিতার 14 তম সমালোচনামূলক মূল্যায়নে অভূতপূর্ব নির্ভুলতা অর্জন করা হয়েছিল।
• AlphaFold2 এর সঠিক ভবিষ্যদ্বাণী ওষুধ আবিষ্কার, প্রোটিন ইঞ্জিনিয়ারিং এবং জৈব রসায়নের অন্যান্য ক্ষেত্রে সম্ভাব্য বিপ্লব ঘটাতে পারে।

পেপার 8: GANs: জেনারেটিভ অ্যাডভারসারিয়াল নেট

লিঙ্ক: এখানে পড়ুন

কাগজের সারাংশ

কাগজটি গভীর জেনারেটিভ মডেলের প্রশিক্ষণের চ্যালেঞ্জগুলিকে সম্বোধন করে এবং একটি উদ্ভাবনী পদ্ধতির প্রবর্তন করে যাকে প্রতিপক্ষের জাল বলা হয়। এই কাঠামোতে, জেনারেটিভ এবং ডিসক্রিমিনেটিভ মডেলগুলি এমন একটি গেমে জড়িত থাকে যেখানে জেনারেটিভ মডেলের লক্ষ্য বাস্তব ডেটা থেকে আলাদা করা যায় এমন নমুনা তৈরি করা। বিপরীতে, বৈষম্যমূলক মডেল বাস্তব এবং উত্পন্ন নমুনার মধ্যে পার্থক্য করে। প্রতিকূল প্রশিক্ষণ প্রক্রিয়া একটি অনন্য সমাধানের দিকে নিয়ে যায়, জেনারেটিভ মডেল ডেটা বিতরণ পুনরুদ্ধার করে।

GenAI ডেভেলপারদের জন্য এআই পেপারের মূল অন্তর্দৃষ্টি

1. প্রতিপক্ষের ফ্রেমওয়ার্ক
   
   লেখকরা একটি প্রতিকূল কাঠামো প্রবর্তন করেন যেখানে দুটি মডেলকে একই সাথে প্রশিক্ষিত করা হয়-একটি জেনারেটিভ মডেল (G) যা ডেটা বিতরণকে ক্যাপচার করে এবং একটি বৈষম্যমূলক মডেল (D) যেটি সম্ভাব্যতা অনুমান করে যে একটি নমুনা জেনারেটিভ মডেলের পরিবর্তে প্রশিক্ষণের ডেটা থেকে এসেছে।

2. মিনিম্যাক্স গেমপ্রশিক্ষণ পদ্ধতিতে বৈষম্যমূলক মডেলের ভুল হওয়ার সম্ভাবনাকে সর্বাধিক করা জড়িত। এই কাঠামোটি একটি মিনিম্যাক্স টু-প্লেয়ার গেম হিসাবে প্রণয়ন করা হয়েছে, যেখানে জেনারেটিভ মডেলের লক্ষ্য থাকে নমুনা তৈরি করা যা বাস্তব ডেটা থেকে আলাদা করা যায় না, এবং বৈষম্যমূলক মডেলের লক্ষ্য একটি নমুনা বাস্তব নাকি সঠিকভাবে তৈরি করা হয়েছে তা শ্রেণীবদ্ধ করা।

3. অনন্য সমাধান
   
   জি এবং ডি এর জন্য স্বেচ্ছাচারী ফাংশনে একটি অনন্য সমাধান বিদ্যমান, জি প্রশিক্ষণ ডেটা বিতরণ পুনরুদ্ধার করে এবং ডি সর্বত্র 1/2 এর সমান। এই ভারসাম্য প্রতিপক্ষ প্রশিক্ষণ প্রক্রিয়ার মাধ্যমে পৌঁছানো হয়।

4. মাল্টিলেয়ার পারসেপ্টরন (এমএলপি)লেখকরা দেখান যে মাল্টিলেয়ার পারসেপ্টরনগুলি যখন জি এবং ডি প্রতিনিধিত্ব করে তখন পুরো সিস্টেমটিকে ব্যাকপ্রোপাগেশন ব্যবহার করে প্রশিক্ষিত করা যেতে পারে। এটি প্রশিক্ষণ এবং নমুনা তৈরি করার সময় মার্কভ চেইন বা আনরোল করা আনুমানিক অনুমান নেটওয়ার্কের প্রয়োজনীয়তা দূর করে।

5. কোন আনুমানিক অনুমান
   
   প্রস্তাবিত কাঠামো সর্বাধিক সম্ভাবনা অনুমানে আনুমানিক জটিল সম্ভাব্য গণনা করার অসুবিধাগুলি এড়ায়। এটি জেনারেটিভ প্রেক্ষাপটে টুকরো টুকরো রৈখিক ইউনিটগুলির সুবিধাগুলিকে কাজে লাগাতে চ্যালেঞ্জগুলিও অতিক্রম করে।

পেপার 9: RoBERta: একটি দৃঢ়ভাবে অপ্টিমাইজ করা BERT প্রাক-প্রশিক্ষণ পদ্ধতি

লিঙ্ক: এখানে পড়ুন

কাগজের সারাংশ

কাগজটি BERT-এর আন্ডারট্রেনিং ইস্যুকে সম্বোধন করে এবং RoBERTa প্রবর্তন করে, একটি অপ্টিমাইজড সংস্করণ যা BERT-এর কর্মক্ষমতাকে ছাড়িয়ে যায়। RoBERta-এর প্রশিক্ষণ পদ্ধতির পরিবর্তন এবং একটি অভিনব ডেটাসেট (CC-NEWS) ব্যবহার করা একাধিক প্রাকৃতিক ভাষা প্রক্রিয়াকরণ কাজের অত্যাধুনিক ফলাফলে অবদান রাখে। ফলাফলগুলি ভাষা মডেল প্রাক-প্রশিক্ষণের কার্যকারিতার ক্ষেত্রে নকশা পছন্দ এবং প্রশিক্ষণ কৌশলগুলির গুরুত্বের উপর জোর দেয়। RoBERta মডেল এবং কোড সহ প্রকাশিত সংস্থানগুলি গবেষণা সম্প্রদায়ে অবদান রাখে।

GenAI ডেভেলপারদের জন্য এআই পেপারের মূল অন্তর্দৃষ্টি

1. BERT আন্ডারট্রেনিং
   
   লেখকরা তা খুঁজে পান বার্ট, একটি বহুল ব্যবহৃত ভাষার মডেল, উল্লেখযোগ্যভাবে প্রশিক্ষণপ্রাপ্ত ছিল। হাইপারপ্যারামিটার টিউনিং এবং প্রশিক্ষণ সেটের আকারের প্রভাব সাবধানতার সাথে মূল্যায়ন করে, তারা দেখায় যে BERT এর পরে প্রকাশিত সমস্ত মডেলের কর্মক্ষমতার সাথে মেলে বা অতিক্রম করতে উন্নত করা যেতে পারে।

2. উন্নত প্রশিক্ষণ রেসিপি (RoBERTa)
   
   লেখকরা BERT প্রশিক্ষণ পদ্ধতিতে পরিবর্তন এনেছেন, RoBERTa লাভ করে। এই পরিবর্তনগুলির মধ্যে বৃহত্তর ব্যাচগুলির সাথে বর্ধিত প্রশিক্ষণের সময়কাল, পরবর্তী বাক্যের ভবিষ্যদ্বাণীর উদ্দেশ্যকে বাদ দেওয়া, দীর্ঘতর অনুক্রমের প্রশিক্ষণ এবং প্রশিক্ষণ ডেটার জন্য গতিশীল মাস্কিং প্যাটার্ন সমন্বয় অন্তর্ভুক্ত।

3. ডেটাসেট অবদানকাগজটি CC-NEWS নামে একটি নতুন ডেটাসেট প্রবর্তন করেছে, যা অন্যান্য ব্যক্তিগতভাবে ব্যবহৃত ডেটাসেটের আকারে তুলনীয়। এই ডেটাসেটটি অন্তর্ভুক্ত করা প্রশিক্ষণ সেট আকারের প্রভাবগুলিকে আরও ভালভাবে নিয়ন্ত্রণ করতে সহায়তা করে এবং ডাউনস্ট্রিম কাজগুলিতে উন্নত কর্মক্ষমতাতে অবদান রাখে।

4. কর্মক্ষমতা অর্জন
   
   RoBERTA, প্রস্তাবিত পরিবর্তনের সাথে, GLUE, RACE, এবং SQuAD সহ বিভিন্ন বেঞ্চমার্ক কাজগুলিতে অত্যাধুনিক ফলাফল অর্জন করে। এটি এমএনএলআই, কিউএনএলআই, আরটিই, এসটিএস-বি, স্কোয়াড এবং রেসের মতো কাজগুলিতে BERT-পরবর্তী সমস্ত পদ্ধতির কর্মক্ষমতার সাথে মেলে বা অতিক্রম করে৷

5. মাস্কড ল্যাঙ্গুয়েজ মডেল প্রিট্রেইনিংয়ের প্রতিযোগিতামূলকতা
   
   কাগজটি আবার নিশ্চিত করে যে মুখোশযুক্ত ভাষা মডেল প্রাক-প্রশিক্ষণের উদ্দেশ্য, সঠিক নকশা পছন্দ সহ, অন্যান্য সম্প্রতি প্রস্তাবিত প্রশিক্ষণের উদ্দেশ্যগুলির সাথে প্রতিযোগিতামূলক।

6. রিলিজড রিসোর্স
   
   লেখকরা PyTorch-এ বাস্তবায়িত প্রি-ট্রেনিং এবং ফাইন-টিউনিং কোড সহ তাদের RoBERTA মডেল প্রকাশ করেন, তাদের ফলাফলের পুনরুত্পাদনযোগ্যতা এবং আরও অনুসন্ধানে অবদান রাখে।

এছাড়াও পড়ুন: RoBERTa-এর একটি মৃদু পরিচিতি

পেপার 10: NeRF: দৃশ্য সংশ্লেষণের জন্য নিউরাল রেডিয়েন্স ক্ষেত্র হিসাবে দৃশ্যগুলিকে উপস্থাপন করা

লিঙ্ক: এখানে পড়ুন

কাগজের সারাংশ

অপ্টিমাইজেশানের সাথে পরিচিত ক্যামেরার ভঙ্গি সহ পর্যবেক্ষিত চিত্রগুলির মধ্যে ত্রুটি হ্রাস করা এবং অবিচ্ছিন্ন দৃশ্যের উপস্থাপনা থেকে রেন্ডার করা ভিউ জড়িত। কাগজটি উচ্চতর ফ্রিকোয়েন্সি ফাংশনগুলি পরিচালনা করার জন্য অবস্থানগত এনকোডিং প্রবর্তন করে এবং পর্যাপ্ত নমুনার জন্য প্রয়োজনীয় প্রশ্নের সংখ্যা হ্রাস করার জন্য একটি শ্রেণিবদ্ধ নমুনা পদ্ধতির প্রস্তাব করে অভিসরণ এবং দক্ষতা সম্পর্কিত চ্যালেঞ্জগুলিকে মোকাবেলা করে।

GenAI ডেভেলপারদের জন্য এআই পেপারের মূল অন্তর্দৃষ্টি

1. ক্রমাগত দৃশ্য প্রতিনিধিত্ব
   
   কাগজটি মৌলিক মাল্টিলেয়ার পারসেপ্ট্রন (এমএলপি) নেটওয়ার্ক ব্যবহার করে 5D নিউরাল রেডিয়েন্স ক্ষেত্র হিসাবে জটিল দৃশ্যগুলিকে উপস্থাপন করার একটি পদ্ধতি উপস্থাপন করে।

2. পার্থক্যযোগ্য রেন্ডারিং
   
   প্রস্তাবিত রেন্ডারিং পদ্ধতিটি ক্লাসিক্যাল ভলিউম রেন্ডারিং কৌশলের উপর ভিত্তি করে, যা স্ট্যান্ডার্ড RGB ইমেজ ব্যবহার করে গ্রেডিয়েন্ট-ভিত্তিক অপ্টিমাইজেশানের জন্য অনুমতি দেয়।

3. অনুক্রমিক স্যাম্পলিং কৌশল
   
   একটি শ্রেণীবদ্ধ নমুনা কৌশল চালু করা হয়েছে দৃশ্যমান দৃশ্যের বিষয়বস্তু সহ এলাকার প্রতি এমএলপি ক্ষমতা অপ্টিমাইজ করার জন্য, কনভারজেন্স সমস্যাগুলিকে সম্বোধন করে।

4. অবস্থানগত এনকোডিংএকটি উচ্চ-মাত্রিক স্থানে ইনপুট 5D স্থানাঙ্ক ম্যাপ করার জন্য অবস্থানগত এনকোডিং ব্যবহার করা উচ্চ-ফ্রিকোয়েন্সি দৃশ্য সামগ্রীর জন্য নিউরাল রেডিয়েন্স ক্ষেত্রগুলির সফল অপ্টিমাইজেশন সক্ষম করে।

প্রস্তাবিত পদ্ধতিটি অত্যাধুনিক ভিউ সংশ্লেষণ পদ্ধতিকে ছাড়িয়ে গেছে, যার মধ্যে রয়েছে ফিটিং নিউরাল 3D উপস্থাপনা এবং গভীর কনভোল্যুশনাল নেটওয়ার্ক প্রশিক্ষণ। এই কাগজটি প্রাকৃতিক সেটিংসে RGB ইমেজ থেকে উচ্চ-রেজোলিউশনের ফটোরিয়ালিস্টিক নভেল ভিউ রেন্ডার করার জন্য একটি ক্রমাগত স্নায়ু দৃশ্য উপস্থাপনা প্রবর্তন করে, জটিল দৃশ্য জ্যামিতি এবং চেহারা পরিচালনার ক্ষেত্রে এর কার্যকারিতা হাইলাইট করার জন্য পরিপূরক ভিডিওতে অতিরিক্ত তুলনা প্রদর্শন করা হয়েছে।

পেপার 11: ফান সার্চ: বৃহৎ ভাষার মডেল সহ প্রোগ্রাম অনুসন্ধান থেকে গাণিতিক আবিষ্কার

লিঙ্ক: এখানে পড়ুন

কাগজের সারাংশ

গবেষণাপত্রটি ফানসার্চের প্রবর্তন করে, বিশেষ করে বৈজ্ঞানিক আবিষ্কারের ক্ষেত্রে জটিল সমস্যা সমাধানের জন্য বড় ভাষার মডেল (এলএলএম) ব্যবহার করার জন্য একটি অভিনব পদ্ধতি। প্রাথমিক চ্যালেঞ্জটি হল এলএলএম-এ বিভ্রান্তির (হ্যালুসিনেশন) ঘটনা, যা যুক্তিসঙ্গত কিন্তু ভুল বক্তব্যের দিকে পরিচালিত করে। FunSearch এই সীমাবদ্ধতা কাটিয়ে উঠতে একটি বিবর্তনীয় পদ্ধতিতে একটি পদ্ধতিগত মূল্যায়নকারীর সাথে একটি পূর্বপ্রশিক্ষিত এলএলএমকে একত্রিত করে।

GenAI ডেভেলপারদের জন্য এআই পেপারের মূল অন্তর্দৃষ্টি

1. এলএলএম-এর সাথে সমস্যা-সমাধান

   গবেষণাপত্রটি জটিল সমস্যার জন্য অভিনব ধারনা এবং সঠিক সমাধান তৈরি করতে LLM-এর বিভ্রান্তিকর বা ব্যর্থতার সমস্যাটিকে সম্বোধন করে। এটি বিশেষ করে গাণিতিক এবং বৈজ্ঞানিক চ্যালেঞ্জগুলির জন্য নতুন, যাচাইযোগ্যভাবে সঠিক ধারণাগুলি সন্ধান করার গুরুত্বের উপর জোর দেয়।

2. বিবর্তনীয় পদ্ধতি – ফান সার্চ
   
   FunSearch একটি বিবর্তনীয় প্রক্রিয়ায় একটি মূল্যায়নকারীর সাথে একটি পূর্বপ্রশিক্ষিত এলএলএমকে একত্রিত করে। এটি পুনরাবৃত্তভাবে কম-স্কোরিং প্রোগ্রামগুলিকে উচ্চ-স্কোরিং প্রোগ্রামে পরিণত করে, নতুন জ্ঞানের আবিষ্কার নিশ্চিত করে। প্রক্রিয়াটির মধ্যে রয়েছে সেরা-শট প্রম্পটিং, প্রোগ্রামের কঙ্কালের বিকাশ, প্রোগ্রামের বৈচিত্র্য বজায় রাখা এবং অ্যাসিঙ্ক্রোনাসভাবে স্কেল করা।

3. এক্সট্রিমাল কম্বিনেটরিক্সের জন্য আবেদন
   
   কাগজটি এক্সট্রিমাল কম্বিনেটরিক্সে ক্যাপ সেট সমস্যার উপর ফানসার্চের কার্যকারিতা প্রদর্শন করে। ফানসার্চ বড়-ক্যাপ সেটের নতুন নির্মাণ আবিষ্কার করে, সবচেয়ে পরিচিত ফলাফলকে ছাড়িয়ে যায় এবং 20 বছরের মধ্যে অ্যাসিম্পোটিক লোয়ার বাউন্ডে সবচেয়ে বড় উন্নতি প্রদান করে।

4. অ্যালগরিদমিক সমস্যা – অনলাইন বিন প্যাকিং
   
   অনলাইন বিন প্যাকিং সমস্যায় ফানসার্চ প্রয়োগ করা হয়, যার ফলে নতুন অ্যালগরিদম আবিষ্কার হয় যা আগ্রহের ভালোভাবে অধ্যয়ন করা বিতরণে ঐতিহ্যগত অ্যালগরিদমকে ছাড়িয়ে যায়। সম্ভাব্য অ্যাপ্লিকেশনগুলির মধ্যে চাকরির সময় নির্ধারণের অ্যালগরিদমগুলি উন্নত করা অন্তর্ভুক্ত।

5. প্রোগ্রাম বনাম সমাধানফানসার্চ এমন প্রোগ্রাম তৈরি করার উপর ফোকাস করে যা সরাসরি আউটপুট সমাধানের পরিবর্তে কীভাবে একটি সমস্যা সমাধান করতে হয় তা বর্ণনা করে। এই প্রোগ্রামগুলি আরও ব্যাখ্যাযোগ্য হতে থাকে, ডোমেন বিশেষজ্ঞদের সাথে মিথস্ক্রিয়া সহজতর করে এবং অন্যান্য ধরণের বর্ণনা যেমন নিউরাল নেটওয়ার্কগুলির তুলনায় স্থাপন করা সহজ।

6. আন্তঃবিভাগীয় প্রভাব
   
   ফানসার্চের পদ্ধতিটি আন্তঃবিভাগীয় অ্যাপ্লিকেশনগুলির সাথে এটিকে একটি বহুমুখী পদ্ধতিতে পরিণত করে বিস্তৃত সমস্যাগুলি অন্বেষণ করার অনুমতি দেয়। কাগজটি এলএলএম ব্যবহার করে যাচাইযোগ্য বৈজ্ঞানিক আবিষ্কারের জন্য এর সম্ভাব্যতা তুলে ধরে।

কাগজ 12: VAEs: অটো-এনকোডিং ভেরিয়েশনাল বেইস

লিঙ্ক: এখানে পড়ুন

কাগজের সারাংশ

"অটো-এনকোডিং ভেরিয়েশনাল বেইস" কাগজটি অবিচ্ছিন্ন সুপ্ত ভেরিয়েবল সহ নির্দেশিত সম্ভাব্যতাবাদী মডেলগুলিতে দক্ষ অনুমান এবং শেখার চ্যালেঞ্জ মোকাবেলা করে, বিশেষ করে যখন পশ্চাদ্দেশীয় বিতরণগুলি জটিল হয় এবং বড় ডেটাসেটের সাথে কাজ করে। লেখকরা একটি স্টোকাস্টিক বৈচিত্রপূর্ণ অনুমান এবং শেখার অ্যালগরিদম প্রস্তাব করেছেন যা বৃহৎ ডেটাসেটের জন্য ভালভাবে স্কেল করে এবং এমনকি অসহনীয় পোস্টেরিয়র ডিস্ট্রিবিউশনেও প্রযোজ্য থাকে।

GenAI ডেভেলপারদের জন্য এআই পেপারের মূল অন্তর্দৃষ্টি

1. ভেরিয়েশনাল লোয়ার বাউন্ডের রিপ্যারামিটারাইজেশন
   
   কাগজটি প্রকরণগত নিম্ন সীমার একটি পুনরায় পরিমাপকরণ প্রদর্শন করে, যার ফলে একটি নিম্ন আবদ্ধ অনুমানকারী হয়। এই অনুমানকারী স্ট্যান্ডার্ড স্টোকাস্টিক গ্রেডিয়েন্ট পদ্ধতি ব্যবহার করে অপ্টিমাইজেশনের জন্য উপযুক্ত, এটি গণনাগতভাবে দক্ষ করে তোলে।

2. ক্রমাগত সুপ্ত ভেরিয়েবলের জন্য দক্ষ পোস্টেরিয়র ইনফারেন্সলেখকরা প্রতি ডেটা পয়েন্টে অবিচ্ছিন্ন সুপ্ত ভেরিয়েবল সহ ডেটাসেটের জন্য অটো-এনকোডিং VB (AEVB) অ্যালগরিদম প্রস্তাব করেছেন। এই অ্যালগরিদমটি স্টকাস্টিক গ্রেডিয়েন্ট ভ্যারিয়েশনাল বেইস (SGVB) অনুমানকারীকে একটি স্বীকৃতি মডেল অপ্টিমাইজ করতে ব্যবহার করে, যা পূর্বপুরুষের নমুনার মাধ্যমে দক্ষ আনুমানিক পোস্টেরিয়র ইনফারেন্স সক্ষম করে। এই পদ্ধতিটি প্রতিটি ডেটা পয়েন্টের জন্য মার্কভ চেইন মন্টে কার্লো (MCMC) এর মতো ব্যয়বহুল পুনরাবৃত্তিমূলক অনুমান স্কিমগুলি এড়িয়ে যায়।

3. তাত্ত্বিক সুবিধা এবং পরীক্ষামূলক ফলাফল
   
   প্রস্তাবিত পদ্ধতির তাত্ত্বিক সুবিধাগুলি পরীক্ষামূলক ফলাফলগুলিতে প্রতিফলিত হয়। গবেষণাপত্রটি পরামর্শ দেয় যে পুনরায় প্যারামিটারাইজেশন এবং স্বীকৃতি মডেলটি গণনাগত দক্ষতা এবং মাপযোগ্যতার দিকে নিয়ে যায়, পদ্ধতিটিকে বড় ডেটাসেটের ক্ষেত্রে প্রযোজ্য করে তোলে এবং এমন পরিস্থিতিতে যেখানে পশ্চাৎভাগটি জটিল হয়।

এছাড়াও পড়ুন: মেশিন লার্নিং-এ স্টোকাস্টিক এর সারমর্ম উন্মোচন

পেপার 13: দীর্ঘ স্বল্পমেয়াদী স্মৃতি

লিঙ্ক: এখানে পড়ুন

কাগজের সারাংশ

কাগজটি পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলিতে বর্ধিত সময়ের ব্যবধানে তথ্য সঞ্চয় করতে শেখার চ্যালেঞ্জকে সম্বোধন করে। এটি "লং শর্ট-টার্ম মেমরি" (LSTM) নামে একটি অভিনব, দক্ষ গ্রেডিয়েন্ট-ভিত্তিক পদ্ধতি প্রবর্তন করে, যা অপর্যাপ্ত এবং ক্ষয়কারী ত্রুটি ব্যাকফ্লো সমস্যাগুলি কাটিয়ে উঠছে। LSTM "ধ্রুবক ত্রুটি ক্যারোসেল" এর মাধ্যমে ধ্রুব ত্রুটি প্রবাহ প্রয়োগ করে এবং অ্যাক্সেস নিয়ন্ত্রণ করতে গুণগত গেট ইউনিট ব্যবহার করে। স্থানীয় স্থান-সময় জটিলতা (O(1) প্রতি টাইম স্টেপ এবং ওজনের সাথে), পরীক্ষামূলক ফলাফলগুলি দেখায় যে LSTM শেখার গতি এবং সাফল্যের হার সম্পর্কিত বিদ্যমান অ্যালগরিদমগুলিকে ছাড়িয়ে যায়, বিশেষ করে দীর্ঘ সময়ের ব্যবধান সহ কাজের জন্য।

GenAI ডেভেলপারদের জন্য এআই পেপারের মূল অন্তর্দৃষ্টি

1. সমস্যা বিশ্লেষণ
   
   কাগজটি পুনরাবৃত্ত নিউরাল নেটওয়ার্কগুলিতে ত্রুটির ব্যাকফ্লো সম্পর্কিত চ্যালেঞ্জগুলির একটি বিশদ বিশ্লেষণ সরবরাহ করে, সময়ের সাথে সাথে বিস্ফোরিত বা অদৃশ্য হয়ে যাওয়া ত্রুটি সংকেতের সমস্যাগুলিকে হাইলাইট করে।

2. LSTM এর পরিচিতি
   
   লেখকরা এলএসটিএমকে একটি অভিনব স্থাপত্য হিসাবে পরিচয় করিয়েছেন যা অদৃশ্য হয়ে যাওয়া এবং বিস্ফোরিত ত্রুটি সংকেতগুলির সমস্যাগুলি সমাধান করার জন্য ডিজাইন করা হয়েছে। এলএসটিএম বিশেষায়িত ইউনিটের মাধ্যমে ধ্রুবক ত্রুটি প্রবাহকে অন্তর্ভুক্ত করে এবং এই ত্রুটি প্রবাহে অ্যাক্সেস নিয়ন্ত্রণ করতে গুণগত গেট ইউনিট নিয়োগ করে।

3. পরীক্ষামূলক ফলাফল
   
   কৃত্রিম ডেটা নিয়ে পরীক্ষা-নিরীক্ষার মাধ্যমে, কাগজটি দেখায় যে LSTM অন্যান্য পুনরাবৃত্ত নেটওয়ার্ক অ্যালগরিদমগুলিকে ছাড়িয়ে যায়, যার মধ্যে BPTT, RTRL, পুনরাবৃত্ত ক্যাসকেড পারস্পরিক সম্পর্ক, এলম্যান নেট এবং নিউরাল সিকোয়েন্স চাঙ্কিং রয়েছে। LSTM দ্রুত শেখার এবং উচ্চতর সাফল্যের হার দেখায়, বিশেষ করে দীর্ঘ সময় পিছিয়ে থাকা জটিল কাজগুলি সমাধান করার ক্ষেত্রে।

4. স্থান এবং সময় স্থানীয়
   
   LSTM-কে স্থান ও সময়ের একটি স্থানীয় স্থাপত্য হিসাবে বর্ণনা করা হয়েছে, যেখানে প্রতি ধাপে গণনাগত জটিলতা এবং ওজন O(1)।

5. প্রযোজ্যতা

   প্রস্তাবিত LSTM আর্কিটেকচার কার্যকরভাবে জটিল, কৃত্রিম দীর্ঘ-সময়ের ল্যাগ কাজগুলি সমাধান করে যা পূর্ববর্তী পুনরাবৃত্ত নেটওয়ার্ক অ্যালগরিদম দ্বারা সফলভাবে সমাধান করা হয়নি।

6. সীমাবদ্ধতা এবং সুবিধা
   
   কাগজটি LSTM এর সীমাবদ্ধতা এবং সুবিধা নিয়ে আলোচনা করে, প্রস্তাবিত আর্কিটেকচারের ব্যবহারিক প্রযোজ্যতার অন্তর্দৃষ্টি প্রদান করে।

এছাড়াও পড়ুন: LSTM কি? দীর্ঘ স্বল্পমেয়াদী মেমরি পরিচিতি

পেপার 14: প্রাকৃতিক ভাষা তত্ত্বাবধান থেকে স্থানান্তরযোগ্য ভিজ্যুয়াল মডেল শেখা

লিঙ্ক: এখানে পড়ুন

কাগজের সারাংশ

কাগজটি পূর্বনির্ধারিত অবজেক্ট বিভাগের নির্দিষ্ট সেটের উপর নির্ভর না করে চিত্র সম্পর্কে কাঁচা পাঠ থেকে সরাসরি শেখার মাধ্যমে অত্যাধুনিক কম্পিউটার ভিশন সিস্টেমের প্রশিক্ষণের অন্বেষণ করে। ইন্টারনেট থেকে সংগৃহীত 400 মিলিয়ন (ছবি, পাঠ্য) জোড়ার ডেটাসেট ব্যবহার করে লেখকরা একটি প্রদত্ত চিত্রের সাথে কোন ক্যাপশনের মিল রয়েছে তা ভবিষ্যদ্বাণী করার জন্য একটি প্রাক-প্রশিক্ষণ কাজ প্রস্তাব করেছেন। ফলস্বরূপ মডেল, CLIP (কন্ট্রাস্টিভ ল্যাঙ্গুয়েজ-ইমেজ প্রাক-প্রশিক্ষণ), চিত্র উপস্থাপনাগুলির দক্ষ এবং মাপযোগ্য শিক্ষা প্রদর্শন করে। প্রাক-প্রশিক্ষণের পরে, প্রাকৃতিক ভাষা ভিজ্যুয়াল ধারণার উল্লেখ করে, বিভিন্ন ডাউনস্ট্রিম কাজে শূন্য-শট স্থানান্তর সক্ষম করে। CLIP 30টিরও বেশি কম্পিউটার ভিশন ডেটাসেটে বেঞ্চমার্ক করা হয়েছে, টাস্ক-নির্দিষ্ট প্রশিক্ষণ ছাড়াই প্রতিযোগিতামূলক কর্মক্ষমতা প্রদর্শন করে।

GenAI ডেভেলপারদের জন্য এআই পেপারের মূল অন্তর্দৃষ্টি

1. কম্পিউটার ভিশনের জন্য প্রাকৃতিক ভাষার উপর প্রশিক্ষণ
   
   কাগজটি ইমেজনেটের মতো ক্রাউড-লেবেলযুক্ত ডেটাসেটে ঐতিহ্যগত প্রশিক্ষণ পদ্ধতির পরিবর্তে কম্পিউটার ভিশন মডেলগুলিকে প্রশিক্ষণের জন্য প্রাকৃতিক ভাষা তত্ত্বাবধান ব্যবহার করে অন্বেষণ করে।

2. প্রি-ট্রেনিং টাস্কলেখকরা একটি সহজ প্রাক-প্রশিক্ষণের কাজ প্রস্তাব করেছেন: কোন ক্যাপশনটি একটি প্রদত্ত চিত্রের সাথে মিল রয়েছে তা ভবিষ্যদ্বাণী করা। এই কাজটি অনলাইনে সংগৃহীত 400 মিলিয়ন (ছবি, পাঠ্য) জোড়ার একটি বিশাল ডেটাসেটে স্ক্র্যাচ থেকে অত্যাধুনিক চিত্র উপস্থাপনা শিখতে ব্যবহৃত হয়।

3. জিরো-শট ট্রান্সফার
   
   প্রাক-প্রশিক্ষণের পরে, মডেলটি শেখা ভিজ্যুয়াল ধারণাগুলিকে উল্লেখ করতে বা নতুনগুলি বর্ণনা করতে প্রাকৃতিক ভাষা ব্যবহার করে। এটি নির্দিষ্ট ডেটাসেট প্রশিক্ষণের প্রয়োজন ছাড়াই মডেলের ডাউনস্ট্রিম কাজগুলিতে শূন্য-শট স্থানান্তর সক্ষম করে।

4. বিভিন্ন কাজের বেঞ্চমার্কিং
   
   কাগজটি 30 টিরও বেশি বিভিন্ন কম্পিউটার ভিশন ডেটাসেটের উপর প্রস্তাবিত পদ্ধতির কার্যকারিতা মূল্যায়ন করে, যেমন ওসিআর, ভিডিওতে অ্যাকশন স্বীকৃতি, ভূ-স্থানীয়করণ এবং সূক্ষ্ম-দানাযুক্ত বস্তুর শ্রেণিবিন্যাসের মতো কাজগুলিকে কভার করে।

5. প্রতিযোগিতামূলক কর্মক্ষমতা
   
   মডেলটি বিভিন্ন কাজের সম্পূর্ণ তত্ত্বাবধানে বেসলাইন সহ প্রতিযোগিতামূলক কর্মক্ষমতা প্রদর্শন করে, প্রায়শই অতিরিক্ত ডেটাসেট-নির্দিষ্ট প্রশিক্ষণ ছাড়াই টাস্ক-নির্দিষ্ট ডেটাসেটে প্রশিক্ষিত মডেলগুলির যথার্থতার সাথে মেলে বা অতিক্রম করে।

6. স্কেলেবিলিটি স্টাডি
   
   লেখকরা বিভিন্ন স্তরের গণনীয় সংস্থান সহ আটটি মডেলের একটি সিরিজ প্রশিক্ষণের মাধ্যমে তাদের পদ্ধতির মাপযোগ্যতা অধ্যয়ন করেন। স্থানান্তর কর্মক্ষমতা কম্পিউটিং একটি মসৃণভাবে অনুমানযোগ্য ফাংশন হিসাবে পাওয়া যায়.

7. মডেল দৃঢ়তা
   
   কাগজটি হাইলাইট করে যে জিরো-শট CLIP মডেলগুলি সমতুল্য নির্ভুলতার তত্ত্বাবধানে থাকা ImageNet মডেলগুলির তুলনায় আরও শক্তিশালী, পরামর্শ দেয় যে টাস্ক-অজ্ঞেয়বাদী মডেলগুলির শূন্য-শট মূল্যায়ন একটি মডেলের ক্ষমতার আরও প্রতিনিধিত্বমূলক পরিমাপ প্রদান করে।

পেপার 15: লোরা: বড় ভাষার মডেলগুলির নিম্ন-র্যাঙ্ক অভিযোজন

লিঙ্ক: এখানে পড়ুন

কাগজের সারাংশ

কাগজটি লোরাকে একটি কার্যকর পদ্ধতি হিসাবে প্রস্তাব করেছে যে বৃহৎ প্রাক-প্রশিক্ষিত ভাষার মডেলগুলিকে নির্দিষ্ট কাজের সাথে খাপ খাইয়ে নেওয়ার জন্য, তাদের ক্রমবর্ধমান আকারের সাথে যুক্ত স্থাপনার চ্যালেঞ্জগুলিকে মোকাবেলা করার জন্য। পদ্ধতিটি বিভিন্ন মানদণ্ড জুড়ে মডেলের গুণমান বজায় রাখার বা উন্নত করার সময় প্রশিক্ষণযোগ্য পরামিতি এবং GPU মেমরির প্রয়োজনীয়তা উল্লেখযোগ্যভাবে হ্রাস করে। ওপেন সোর্স বাস্তবায়ন ব্যবহারিক অ্যাপ্লিকেশনগুলিতে LoRA গ্রহণকে আরও সহজ করে তোলে।

GenAI ডেভেলপারদের জন্য এআই পেপারের মূল অন্তর্দৃষ্টি

1. সমস্যা বিবৃতি

• প্রাকৃতিক ভাষা প্রক্রিয়াকরণে বৃহৎ-স্কেলের পূর্বপ্রশিক্ষণ এবং সূক্ষ্ম টিউনিং একটি সাধারণ পদ্ধতি।
• মডেলগুলি বড় হওয়ার সাথে সাথে ফাইন-টিউনিং কম সম্ভবপর হয়, বিশেষ করে যখন GPT-3 (175 বিলিয়ন প্যারামিটার) এর মতো বিশাল প্যারামিটার সহ মডেল স্থাপন করা হয়।

2. প্রস্তাবিত সমাধান: নিম্ন-র্যাঙ্ক অভিযোজন (LoRA)

• কাগজটি LoRA প্রবর্তন করে, একটি পদ্ধতি যা পূর্বপ্রশিক্ষিত মডেলের ওজনকে হিমায়িত করে এবং ট্রান্সফরমার আর্কিটেকচারের প্রতিটি স্তরে প্রশিক্ষিত র‌্যাঙ্ক পচন ম্যাট্রিক্স প্রবর্তন করে।
• সম্পূর্ণ ফাইন-টিউনিংয়ের তুলনায় ডাউনস্ট্রিম কাজের জন্য LoRA উল্লেখযোগ্যভাবে প্রশিক্ষণযোগ্য প্যারামিটারের সংখ্যা হ্রাস করে।

3. LoRA এর সুবিধা

• পরামিতি হ্রাস: সূক্ষ্ম-টিউনিংয়ের তুলনায়, LoRA প্রশিক্ষণযোগ্য প্যারামিটারের সংখ্যা 10,000 গুণ পর্যন্ত কমাতে পারে, এটি গণনাগতভাবে আরও দক্ষ করে তোলে।
• মেমরি দক্ষতা: LoRA ফাইন-টিউনিংয়ের তুলনায় GPU মেমরির প্রয়োজনীয়তা 3 গুণ পর্যন্ত হ্রাস করে।
• মডেলের গুণমান: কম প্রশিক্ষনযোগ্য পরামিতি থাকা সত্ত্বেও, RoBERTA, DeBERta, GPT-2, এবং GPT-3 সহ বিভিন্ন মডেলের মডেলের গুণমানের ক্ষেত্রে LoRA সূক্ষ্ম-টিউনিংয়ের তুলনায় সমান বা ভাল পারফর্ম করে।

4. স্থাপনার চ্যালেঞ্জ অতিক্রম করা

• কাগজটি LoRA প্রবর্তনের মাধ্যমে অনেকগুলি পরামিতি সহ মডেল স্থাপনের চ্যালেঞ্জ মোকাবেলা করে, সম্পূর্ণ মডেলটিকে পুনরায় প্রশিক্ষণ না দিয়ে দক্ষ টাস্ক স্যুইচিংয়ের অনুমতি দেয়।

5. দক্ষতা এবং নিম্ন অনুমান বিলম্ব

• LoRA বিভিন্ন কাজের জন্য একাধিক LoRA মডিউল তৈরির জন্য একটি প্রাক-প্রশিক্ষিত মডেল শেয়ার করার সুবিধা দেয়, স্টোরেজ প্রয়োজনীয়তা হ্রাস করে এবং ওভারহেড টাস্ক-সুইচিং করে।
• অ্যাডাপটিভ অপ্টিমাইজার ব্যবহার করার সময় প্রশিক্ষণকে আরও দক্ষ করে তোলা হয়, প্রবেশে হার্ডওয়্যার বাধা 3 গুণ পর্যন্ত কমিয়ে দেয়।

6. সামঞ্জস্য এবং একীকরণ

• LoRA বিভিন্ন পূর্ববর্তী পদ্ধতির সাথে সামঞ্জস্যপূর্ণ এবং তাদের সাথে মিলিত হতে পারে, যেমন উপসর্গ-টিউনিং।
• প্রস্তাবিত রৈখিক নকশাটি স্থাপনের সময় হিমায়িত ওজনের সাথে প্রশিক্ষণযোগ্য ম্যাট্রিক্সগুলিকে একত্রিত করার অনুমতি দেয়, সম্পূর্ণ সূক্ষ্ম-টিউন করা মডেলগুলির তুলনায় কোনও অতিরিক্ত অনুমান বিলম্ব না করে।

7. অভিজ্ঞতামূলক তদন্ত

• কাগজটিতে ভাষা মডেল অভিযোজনে র্যাঙ্কের ঘাটতি সম্পর্কে একটি অভিজ্ঞতামূলক তদন্ত অন্তর্ভুক্ত রয়েছে, যা LoRA পদ্ধতির কার্যকারিতার অন্তর্দৃষ্টি প্রদান করে।

8. ওপেন-সোর্স বাস্তবায়ন

• লেখকরা একটি প্যাকেজ প্রদান করে যা PyTorch মডেলের সাথে LoRA এর একীকরণের সুবিধা দেয় এবং RoBERTA, DeBERTa এবং GPT-2 এর জন্য বাস্তবায়ন এবং মডেল চেকপয়েন্ট প্রকাশ করে।

এছাড়াও আপনি পড়তে পারেন: LoRA এবং QLoRA সহ বড় ভাষার মডেলগুলির প্যারামিটার-দক্ষ সূক্ষ্ম-টিউনিং

উপসংহার

উপসংহারে, এই নিবন্ধে হাইলাইট করা GenAI ডেভেলপারদের জন্য 15টি প্রয়োজনীয় AI পেপারের সন্ধান করা নিছক একটি সুপারিশ নয় বরং যেকোনো উচ্চাকাঙ্ক্ষী বিকাশকারীর জন্য একটি কৌশলগত বাধ্যতামূলক। এই AI কাগজপত্রগুলি কৃত্রিম বুদ্ধিমত্তার বৈচিত্র্যময় ল্যান্ডস্কেপের মাধ্যমে একটি বিস্তৃত যাত্রা অফার করে, প্রাকৃতিক ভাষা প্রক্রিয়াকরণ, কম্পিউটার দৃষ্টি এবং এর বাইরেও গুরুত্বপূর্ণ ডোমেনগুলি বিস্তৃত। এই কাগজপত্রের মধ্যে উপস্থাপিত অন্তর্দৃষ্টি এবং উদ্ভাবনে নিজেকে নিমজ্জিত করার মাধ্যমে, বিকাশকারীরা ক্ষেত্রের অত্যাধুনিক কৌশল এবং অ্যালগরিদম সম্পর্কে গভীর উপলব্ধি অর্জন করে।

সংশ্লিষ্ট

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://www.analyticsvidhya.com/blog/2024/01/essential-ai-papers-every-gen-ai-developer-must-read/