ক্লাউডফ্লেয়ার AI-কে নেটওয়ার্কের প্রান্ত থেকে সরে যেতে দেয়

জেনারেটিভ AI মডেলগুলিকে GPU গুলির বিশাল ক্লাস্টারে প্রশিক্ষিত করা যেতে পারে, তবে ক্লাউডফ্লেয়ার যুক্তি দেয় যে সেগুলি চালানোর সুস্পষ্ট জায়গাটি কেবল প্রান্তে নয় বরং নেটওয়ার্কেই।

বুধবার ডেলিভারি জায়ান্ট ড ঘোষিত AI পরিষেবাগুলির একটি স্যুট যার লক্ষ্য বড়-ভাষা মডেলগুলি (LLMs) এবং অন্যান্য মেশিন লার্নিং (ML) অ্যালগরিদম স্থাপন এবং চালানোর জটিলতা দূর করা এবং সর্বনিম্ন সম্ভাব্য লেটেন্সি অর্জন করা।

ঠিক আছে, আসলে, ব্যবহারকারীর ডিভাইসে অনুমান কাজের চাপ চালানোর মাধ্যমে সর্বনিম্ন সম্ভাব্য বিলম্বিতা অর্জন করা হবে। ইন্টেল এই সম্পর্কে একটি বড় চুক্তি করেছে, জালিয়াতির এআই পিসি প্রজন্মের উত্থান, গত সপ্তাহে ইন্টেল ইনোভেশনে। তবে কিছু ক্ষেত্রে এটির অর্থ হতে পারে, ক্লাউডফ্লেয়ার যুক্তি দেয় যে স্থানীয় ডিভাইসগুলি এখনও যথেষ্ট শক্তিশালী নয়।

"এটি নেটওয়ার্কটিকে অনুমানের সোনালী লক করে তোলে। খুব বেশি দূরে নয়, পর্যাপ্ত কম্পিউট পাওয়ার সহ - ঠিক ঠিক," বিজ লিখেছেন।

GPU-এর জন্য সার্ভারহীন

এআই স্যুটে তিনটি মূল পরিষেবা রয়েছে। এর মধ্যে প্রথমটি হল এর সার্ভারবিহীন ওয়ার্কার্স প্ল্যাটফর্মের একটি এক্সটেনশন যা GPU ত্বরিত ওয়ার্কলোডকে সমর্থন করে। ডাবড ওয়ার্কার্স এআই, পরিষেবাটি প্রাক-প্রশিক্ষিত মডেল স্থাপনের প্রক্রিয়াকে প্রবাহিত করার জন্য ডিজাইন করা হয়েছে।

“কোন মেশিন লার্নিং দক্ষতা নেই, জিপিইউগুলির জন্য কোনও রমজিং নেই৷ শুধুমাত্র প্রদত্ত মডেলগুলির মধ্যে একটি বেছে নিন এবং যান," ক্লাউডফ্লেয়ার দাবি করে।

আমাদের বলা হয়েছে যে প্ল্যাটফর্মটি এনভিডিয়া জিপিইউ-এর উপরে চলে, যদিও ক্লাউডফ্লেয়ার কোনটি আমাদের বলবে না। "ক্লাউডফ্লেয়ার যে প্রযুক্তি তৈরি করেছে তা একাধিক ভিন্ন জিপিইউ জুড়ে একটি অনুমান কাজকে বিভক্ত করতে পারে, কারণ আমরা সময়সূচী এবং সিস্টেমের যত্ন নিচ্ছি এবং আমরা সিদ্ধান্ত নেব কোন চিপ বা চিপগুলি এটি সরবরাহ করার জন্য সবচেয়ে বেশি অর্থবহ হবে," এটি বলেছে নিবন্ধনকর্মী এক বিবৃতিতে.

সরলতার স্বার্থে, প্ল্যাটফর্মটি - অন্তত প্রাথমিকভাবে নয় - গ্রাহক সরবরাহকৃত মডেলগুলিকে সমর্থন করে না৷ আমাদের বলা হয়েছে যে এটি ভবিষ্যতে এটি কার্যকরীভাবে রোল আউট করার পরিকল্পনা করছে, কিন্তু, আপাতত, এটি ছয়টি প্রাক-প্রশিক্ষিত মডেলের মধ্যে সীমাবদ্ধ, যার মধ্যে রয়েছে:

• টেক্সট-জেনারেশনের জন্য Meta's Llama 2 7B Int8
• অনুবাদের জন্য Meta's M2m100-1.2
• বক্তৃতা স্বীকৃতির জন্য OpenAI এর হুইস্পার
• টেক্সট শ্রেণীবিভাগের জন্য হাগিং ফেসের Distilbert-sst-2-int8
• ইমেজ শ্রেণীবিভাগের জন্য মাইক্রোসফটের Resnet-50
• এম্বেডিংয়ের জন্য Baai এর bge-base-en-v1.5

যাইহোক, ক্লাউডফ্লেয়ার বলেছে যে এটি অদূর ভবিষ্যতে এই তালিকাটি প্রসারিত করার জন্য কাজ করছে। অনেক এআই আশাবাদীদের মতো, এটি রয়েছে অনুরোধ করা পরিষেবার জন্য অতিরিক্ত মডেলগুলি অপ্টিমাইজ করতে আলিঙ্গন মুখের সাহায্য।

প্ল্যাটফর্মটি সমর্থন করতে পারে এমন মডেলগুলির আকারের একটি সীমা আছে কিনা তা স্পষ্ট নয়, তবে প্রাথমিক তালিকাটি কিছু সূত্র দেয়। ক্লাউডফ্লেয়ার Meta-এর সাত-বিলিয়ন প্যারামিটার Llama 2 LLM-কে Int8-এ চালু করছে, যার জন্য প্রায় 7GB GPU মেমরির প্রয়োজন হবে। কোম্পানিটি আরও উল্লেখ করেছে যে "আপনি যদি মডেলগুলির শত-বিলিয়ন প্যারামিটার সংস্করণগুলি চালাতে চান তবে কেন্দ্রীভূত ক্লাউড আপনার কাজের চাপের জন্য আরও উপযুক্ত হতে চলেছে।"

একবার চালু হয়ে গেলে, ক্লাউডফ্লেয়ার বলে যে গ্রাহকরা REST API ব্যবহার করে বা তাদের পেজ ওয়েবসাইট ফ্রন্টএন্ডে এটি বেঁধে পরিষেবাটিকে তাদের অ্যাপ্লিকেশনগুলিতে সংহত করতে পারেন৷

সবগুলোকে একত্রে রাখ

যেহেতু ওয়ার্কার্স এআই শুধুমাত্র প্রাক-প্রশিক্ষিত মডেলগুলিতে অনুমান করা সমর্থন করে, ক্লাউডফ্লেয়ার বলে যে এটি এমএল মডেলগুলির ব্যবহারকারীদের কাছে গ্রাহক ডেটা প্রেরণ করা সহজ করার জন্য ভেক্টরাইজ নামে একটি ভেক্টর ডেটাবেস পরিষেবা তৈরি করেছে।

উদাহরণস্বরূপ, একটি চ্যাটবটের জন্য, একজন গ্রাহক ভেক্টর ডাটাবেসে তাদের পণ্যের ক্যাটালগ আপলোড করতে পারে, যেখান থেকে মডেলটি এটিকে এমবেডেড সম্পদে রূপান্তর করবে।

ধারণাটি মনে হচ্ছে যে, ক্লাউডফ্লেয়ার দ্বারা প্রদত্ত Llama 2 মডেলটিতে গ্রাহকের ডেটা সম্পর্কে নির্দিষ্ট জ্ঞান নাও থাকতে পারে, চ্যাটবট এখনও ডাটাবেস পরিষেবার সাথে সংযুক্ত করে প্রাসঙ্গিক তথ্য প্রকাশ করতে পারে। Cloudflare অনুযায়ী, এই পদ্ধতির তোলে অনুমান করা আরও অ্যাক্সেসযোগ্য, দ্রুত এবং কম সংস্থান নিবিড় কারণ এটি মডেল থেকে গ্রাহকের ডেটা ডিকপল করে।

ওয়ার্কার্স এআই এবং ভেক্টরাইজের পাশাপাশি, ক্লাউডফ্লেয়ারের এআই স্যুটে স্কেল এ ইনফারেন্স ওয়ার্কলোডগুলি পর্যবেক্ষণ, অপ্টিমাইজ করা এবং পরিচালনা করার জন্য একটি প্ল্যাটফর্মও রয়েছে।

এআই গেটওয়ে ডাব করা, পরিষেবাটি গ্রাহকদের খরচ নিয়ন্ত্রণে সহায়তা করার জন্য এআই ইনফেরেন্সিং-এর মতো কন্টেন্ট ডেলিভারি নেটওয়ার্ক এবং ওয়েব প্রক্সিগুলির সাথে যুক্ত বেশ কয়েকটি বৈশিষ্ট্য প্রয়োগ করে, যেমন ক্যাশিং এবং রেট লিমিটিং।

"প্রায়শ ব্যবহৃত AI প্রতিক্রিয়াগুলি ক্যাশ করার মাধ্যমে, এটি লেটেন্সি হ্রাস করে এবং সিস্টেমের নির্ভরযোগ্যতাকে শক্তিশালী করে, অন্যদিকে রেট সীমিত করা দক্ষ সম্পদ বরাদ্দ নিশ্চিত করে, AI খরচের সর্পিল হওয়ার চ্যালেঞ্জগুলি হ্রাস করে," কোম্পানি ব্লগ পোস্টে ব্যাখ্যা করে৷

মূল্য এবং প্রাপ্যতা

ক্লাউডফ্লেয়ার নোট করে যে পরিষেবাটি এখনও স্থাপনের প্রাথমিক পর্যায়ে রয়েছে, সাতটি সাইট আজ অনলাইনে রয়েছে। যাইহোক, সংস্থাটি বছরের শেষ নাগাদ পরিষেবাটিকে উপস্থিতির 100 পয়েন্টে এবং 2024 সালের শেষ নাগাদ "প্রায় সর্বত্র" আনতে GPU গুলি মোতায়েন করছে।

এর ফলস্বরূপ, এটি এখনও ওয়ার্কার্স এআই-তে প্রোডাকশন অ্যাপ স্থাপনের সুপারিশ করে না, এটিকে "প্রাথমিক বিটা" হিসাবে বর্ণনা করে।

"আজ আমরা যা প্রকাশ করেছি তা আপনাকে যা আসছে তার স্বাদ দেওয়ার জন্য একটি ছোট পূর্বরূপ," ব্লগ পোস্টটি পড়ে।

যথারীতি, ক্লাউডফ্লেয়ার বলে যে এটি প্রথম দিনে পরিষেবার জন্য বিলিং হবে না। এটি বলার সাথে সাথে, এটি প্রতি হাজার "নিয়মিত টুইচ নিউরন" এর জন্য প্রায় এক সেন্ট এবং প্রতি হাজার "দ্রুত টুইচ নিউরন" এর জন্য $0.125 চার্জ করার প্রত্যাশা করে। উভয়ের মধ্যে পার্থক্য হল যে দ্বিতীয়টি শেষ ব্যবহারকারীর নৈকট্যকে অগ্রাধিকার দেয়, যখন দুটির কম ব্যয়বহুল যেকোন জায়গায় ক্লাউডফ্লেয়ারের অতিরিক্ত ক্ষমতা রয়েছে।

নিউরন হল এআই আউটপুট পরিমাপ করার একটি উপায়, কোম্পানি ব্যাখ্যা করেছে, প্রায় 130টি এলএলএম প্রতিক্রিয়া, 830টি ইমেজ শ্রেণীবিভাগ বা 1,250টি এম্বেডিংয়ের জন্য এক হাজার নিউরন ভাল।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://go.theregister.com/feed/www.theregister.com/2023/09/28/cloudflare_ai_edge/