এমএল ইনফারেন্স ত্বরণের জন্য সিআইএম ইন্টিগ্রেশন

"WWW: What, when, where to Compute-in-Memory" শিরোনামের একটি প্রযুক্তিগত গবেষণাপত্র পারডু বিশ্ববিদ্যালয়ের গবেষকরা প্রকাশ করেছিলেন।

সারাংশ:

"কম্পিউট-ইন-মেমরি (সিআইএম) ভন নিউম্যান মেশিনে উচ্চ ডেটা চলাচলের খরচ কমানোর জন্য একটি বাধ্যতামূলক সমাধান হিসাবে আবির্ভূত হয়েছে। CIM মেমরিতে ব্যাপকভাবে সমান্তরাল সাধারণ ম্যাট্রিক্স গুণন (GEMM) অপারেশন করতে পারে, যা মেশিন লার্নিং (ML) অনুমানে প্রভাবশালী গণনা। যাইহোক, কম্পিউটের জন্য মেমরির পুনঃউদ্দেশ্য 1) কী ধরনের CiM ব্যবহার করতে হবে: অনেকগুলি অ্যানালগ এবং ডিজিটাল CiM-এর প্রেক্ষিতে, সিস্টেমের দৃষ্টিকোণ থেকে তাদের উপযুক্ততা নির্ধারণ করা প্রয়োজন। 2) কখন সিআইএম ব্যবহার করবেন: এমএল ইনফারেন্সে বিভিন্ন মেমরি এবং কম্পিউটের প্রয়োজনীয়তা সহ কাজের চাপ অন্তর্ভুক্ত থাকে, এটি চিহ্নিত করা কঠিন করে তোলে কখন সিআইএম স্ট্যান্ডার্ড প্রসেসিং কোরের চেয়ে বেশি উপকারী। 3) সিআইএম কোথায় একীভূত করবেন: প্রতিটি মেমরি স্তরের আলাদা ব্যান্ডউইথ এবং ক্ষমতা রয়েছে, যা সিআইএম একীকরণের ডেটা চলাচল এবং স্থানীয় সুবিধাগুলিকে প্রভাবিত করে।
এই কাগজে, আমরা এমএল ইনফারেন্স ত্বরণের জন্য সিআইএম ইন্টিগ্রেশন সম্পর্কিত এই প্রশ্নের উত্তরগুলি অন্বেষণ করি। আমরা এনালগ এবং ডিজিটাল আদিম উভয় সহ CIM প্রোটোটাইপগুলির প্রাথমিক সিস্টেম-স্তরের মূল্যায়নের জন্য Timeloop-Accelergy ব্যবহার করি। আমরা একটি Nvidia A100-এর মতো বেসলাইন আর্কিটেকচারে CIM কে বিভিন্ন ক্যাশে মেমরি লেভেলে একীভূত করি এবং বিভিন্ন ML ওয়ার্কলোডের জন্য ডেটাফ্লো সাজাই। আমাদের পরীক্ষাগুলি দেখায় যে CiM আর্কিটেকচারগুলি শক্তি দক্ষতার উন্নতি করে, INT-0.12 নির্ভুলতার সাথে প্রতিষ্ঠিত বেসলাইনের তুলনায় 8x কম শক্তি অর্জন করে এবং ওজন ইন্টারলিভিং এবং ডুপ্লিকেশন সহ 4x পর্যন্ত কার্যক্ষমতা বৃদ্ধি করে। প্রস্তাবিত কাজটি কী ধরণের সিআইএম ব্যবহার করতে হবে এবং কখন এবং কোথায় এটিকে জিইএমএম ত্বরণের জন্য ক্যাশে শ্রেণিবিন্যাসে সর্বোত্তমভাবে সংহত করতে হবে সে সম্পর্কে অন্তর্দৃষ্টি প্রদান করে।"

খোঁজো এখানে প্রযুক্তিগত কাগজ। ডিসেম্বর 2023 প্রকাশিত (প্রিপ্রিন্ট)।

শর্মা, তানভি, মুস্তফা আলি, ইন্দ্রনীল চক্রবর্তী, এবং কৌশিক রায়। "WWW: কি, কখন, কোথায় কম্পিউট-ইন-মেমরি।" arXiv প্রিপ্রিন্ট arXiv:2312.15896 (2023)।

সম্পর্কিত পঠন
মেমরিতে কম্পিউটের সাথে AI শক্তির দক্ষতা বৃদ্ধি করা
কীভাবে জেটাস্কেল ওয়ার্কলোডগুলি প্রক্রিয়া করা যায় এবং একটি নির্দিষ্ট পাওয়ার বাজেটের মধ্যে থাকে।
জৈবিক দক্ষতার সাথে মেমরিতে মডেলিং কম্পিউট
জেনারেটিভ এআই চিপমেকারদের কম্পিউট রিসোর্সগুলোকে আরও বুদ্ধিমত্তার সাথে ব্যবহার করতে বাধ্য করে।
এসআরএম ইন এআই: দ্য ফিউচার অফ মেমোরি
কেন SRAM-কে নতুন এবং ঐতিহ্যবাহী কম্পিউট আর্কিটেকচারে একটি গুরুত্বপূর্ণ উপাদান হিসেবে দেখা হয়।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://semiengineering.com/cim-integration-for-ml-inference-acceleration/