چرا LLM های مورد استفاده به تنهایی نمی توانند نیازهای پیش بینی شرکت شما را برطرف کنند - KDnuggets

بازنشر افلاطون

دنبال: 0

محتوای حمایت شده

ChatGPT و ابزارهای مشابه مبتنی بر مدل های زبان بزرگ (LLM) شگفت انگیز هستند. اما آنها ابزار همه منظوره نیستند.

درست مانند انتخاب ابزارهای دیگر برای ساختن و ایجاد. شما باید مورد مناسب را برای کار انتخاب کنید. سعی نمی کنید پیچ را با چکش سفت کنید یا با لیسک همبرگر را برگردانید. این روند ممکن است ناخوشایند باشد و منجر به یک شکست کثیف شود.

مدل‌های زبانی مانند LLM تنها بخشی از مجموعه ابزار یادگیری ماشینی گسترده‌تر را تشکیل می‌دهند که هم هوش مصنوعی مولد و هم هوش مصنوعی پیش‌بینی‌کننده را در بر می‌گیرد. انتخاب نوع صحیح مدل یادگیری ماشین برای همسویی با الزامات وظیفه شما بسیار مهم است.

بیایید عمیق تر به این موضوع بپردازیم که چرا LLM ها برای کمک به شما در پیش نویس متن یا ایده های هدیه ایده پردازی مناسب تر هستند تا برای مقابله با مهم ترین وظایف مدل سازی پیش بینی کننده کسب و کار شما. هنوز یک نقش حیاتی برای مدل‌های یادگیری ماشینی "سنتی" که قبل از LLM بودند و بارها ارزش خود را در مشاغل ثابت کرده‌اند، وجود دارد. ما همچنین یک رویکرد پیشگام برای استفاده از این ابزارها با هم بررسی خواهیم کرد - یک پیشرفت هیجان انگیز که ما در Pecan آن را می نامیم. GenAI پیش بینی کننده.

LLM ها برای کلمات طراحی شده اند نه اعداد

در یادگیری ماشینی، روش‌های مختلف ریاضی برای تجزیه و تحلیل آنچه به عنوان «داده‌های آموزشی» شناخته می‌شود، استفاده می‌شود - مجموعه داده‌های اولیه نشان‌دهنده مشکلی که یک تحلیلگر داده یا دانشمند داده امیدوار است حل کند.

اهمیت داده های آموزشی را نمی توان اغراق کرد. این الگوها و روابطی را که یک مدل یادگیری ماشینی می‌آموزد تا زمانی که بعداً داده‌های جدید و نادیده‌ای به آن داده می‌شود، پیش‌بینی کند، در خود جای می‌دهد.

بنابراین، به طور خاص LLM چیست؟ مدل‌های زبان بزرگ یا LLM زیر چتر یادگیری ماشینی قرار می‌گیرند. آنها از یادگیری عمیق سرچشمه می گیرند و ساختار آنها به طور خاص برای پردازش زبان طبیعی توسعه یافته است.

ممکن است بگویید آنها بر پایه کلمات ساخته شده اند. هدف آنها صرفاً پیش بینی کلمه بعدی در یک دنباله از کلمات است. برای مثال، ویژگی تصحیح خودکار آیفون‌ها در iOS 17 اکنون از یک LLM برای پیش‌بینی بهتر کلمه بعدی که به احتمال زیاد قصد تایپ کردن آن را دارید، استفاده می‌کند.

نقاط قوت LLM و یادگیری ماشینی سنتی

حالا تصور کنید که یک مدل یادگیری ماشینی هستید. (با ما همراه باشید، ما می دانیم که این یک کشش است.) شما برای پیش بینی کلمات آموزش دیده اید. شما میلیون ها کلمه را از طیف گسترده ای از منابع در مورد انواع موضوعات خوانده و مطالعه کرده اید. مربیان شما (معروف به توسعه دهندگان) به شما کمک کرده اند تا بهترین راه ها را برای پیش بینی کلمات و ایجاد متن جدید متناسب با درخواست کاربر بیاموزید.

اما اینجا یک پیچ و تاب است. یک کاربر اکنون یک صفحه گسترده گسترده از داده های مشتری و تراکنش، با میلیون ها ردیف اعداد، به شما می دهد و از شما می خواهد اعداد مربوط به این داده های موجود را پیش بینی کنید.

فکر می‌کنید پیش‌بینی‌های شما چگونه خواهد بود؟ اول، احتمالاً از این که این کار با چیزی که برای یادگیری آن سخت کار کرده اید مطابقت ندارد، آزرده خاطر خواهید شد. (خوشبختانه، تا آنجایی که ما می دانیم، LLM ها هنوز احساساتی ندارند.) مهمتر از آن، از شما خواسته می شود تا کاری را انجام دهید که با آنچه آموخته اید مطابقت ندارد. و احتمالاً عملکرد خوبی نخواهید داشت.

شکاف بین آموزش و تکلیف به توضیح اینکه چرا LLM ها برای کارهای پیش بینی شامل داده های عددی و جدولی مناسب نیستند کمک می کند - قالب داده اولیه که اکثر مشاغل جمع آوری می کنند. در عوض، یک مدل یادگیری ماشینی که به‌طور خاص برای مدیریت این نوع داده‌ها ساخته و تنظیم شده است، مؤثرتر است. این به معنای واقعی کلمه برای این آموزش دیده است.

چالش های کارایی و بهینه سازی LLMs

روش‌های یادگیری ماشین سنتی علاوه بر تطبیق بهتری برای داده‌های عددی، بسیار کارآمدتر و آسان‌تر برای بهینه‌سازی عملکرد بهتر از LLM هستند.

بیایید به تجربه شما در جعل هویت یک LLM برگردیم. خواندن همه آن کلمات و مطالعه سبک و توالی آنها به نظر می رسد یک تن کار است، درست است؟ برای درونی کردن همه این اطلاعات تلاش زیادی می‌شود.

به طور مشابه، آموزش پیچیده LLM ها می تواند منجر به مدل هایی با میلیاردها پارامتر شود. این پیچیدگی به این مدل ها اجازه می دهد تا تفاوت های ظریف زبان انسانی را درک کنند و به آن پاسخ دهند. با این حال، زمانی که LLM ها پاسخ هایی را ایجاد می کنند، آموزش های سنگین با نیازهای محاسباتی سنگین همراه است. الگوریتم‌های یادگیری ماشین «سنتی» با جهت‌گیری عددی، مانند درخت‌های تصمیم‌گیری یا شبکه‌های عصبی، احتمالاً به منابع محاسباتی بسیار کمتری نیاز دارند. و این مورد «بزرگتر بهتر است» نیست. حتی اگر LLMها بتوانند داده‌های عددی را مدیریت کنند، این تفاوت به این معنی است که روش‌های یادگیری ماشین سنتی هنوز سریع‌تر، کارآمدتر، از نظر زیست‌محیطی پایدارتر و مقرون‌به‌صرفه‌تر خواهند بود.

علاوه بر این، آیا تا به حال از ChatGPT پرسیده اید که چگونه می تواند پاسخ خاصی را ارائه دهد؟ پاسخ آن احتمالاً کمی مبهم خواهد بود:

من پاسخ‌هایی را بر اساس ترکیبی از داده‌های دارای مجوز، داده‌های ایجاد شده توسط مربیان انسانی و داده‌های در دسترس عموم تولید می‌کنم. آموزش من همچنین شامل مجموعه داده‌های مقیاس بزرگی بود که از منابع مختلف، از جمله کتاب‌ها، وب‌سایت‌ها و سایر متون به دست آمده بودند تا درک گسترده‌ای از زبان انسان ایجاد کنند. فرآیند آموزش شامل انجام محاسبات بر روی هزاران GPU در طول هفته ها یا ماه ها است، اما جزئیات دقیق و مقیاس های زمانی اختصاصی OpenAI است.

How much of the “knowledge” reflected in that response came from the human trainers vs. the public data vs. books? Even ChatGPT itself isn’t sure: “The relative proportions of these sources are unknown, and I don’t have detailed visibility into which specific documents were part of my training set.”

It’s a bit unnerving to have ChatGPT provide such confident answers to your questions but not be able to trace its responses to specific sources. LLMs’ limited interpretability and explainability also pose challenges in optimizing them for particular business needs. It can be hard to understand the rationale behind their information or predictions. To further complicate things, certain businesses contend with regulatory demands that mean they must be able to explain the factors influencing a model’s predictions. All in all, these challenges show that traditional machine learning models — generally more interpretable and explainable — are likely better suited for business use cases.

مکان مناسب برای LLM در جعبه ابزار پیش بینی کسب و کار

بنابراین، آیا ما باید LLM ها را به وظایف مرتبط با کلمه خود رها کنیم و آنها را برای موارد استفاده پیش بینی کننده فراموش کنیم؟ در حال حاضر ممکن است به نظر برسد که آنها نمی توانند در پیش بینی ریزش مشتری یا ارزش طول عمر مشتری کمک کنند.

نکته اینجاست: در حالی که گفتن «مدل‌های یادگیری ماشینی سنتی» باعث می‌شود این تکنیک‌ها به طور گسترده قابل درک و استفاده آسان به نظر برسند، ما از تجربه خود در Pecan می‌دانیم که کسب‌وکارها هنوز تا حد زیادی در تلاش هستند تا حتی این اشکال آشناتر از هوش مصنوعی را بپذیرند.

42 درصد از شرکت ها در آمریکای شمالی اصلاً استفاده از هوش مصنوعی را شروع نکرده اند یا تازه شروع به تحقیق در مورد گزینه های خود کرده اند.

Recent research by Workday reveals that 42% of companies in North America either haven’t initiated the use of AI or are just in the early stages of exploring their options. And it’s been over a decade since machine learning tools became more accessible to companies. They’ve had the time, and various tools are available.

بنا به دلایلی، علیرغم سر و صدای زیاد در مورد علم داده و هوش مصنوعی – و پتانسیل تایید شده آنها برای تأثیر تجاری قابل توجه، اجرای موفقیت آمیز هوش مصنوعی به طور شگفت انگیزی نادر بوده است. برخی مکانیسم های مهم برای کمک به پل زدن بین وعده های داده شده توسط هوش مصنوعی و توانایی اجرای مولد آن وجود ندارد.

و این دقیقاً همان جایی است که ما معتقدیم LLM اکنون می تواند نقش مهمی را ایفا کند. LLM می تواند به کاربران تجاری کمک کند تا از شکاف بین شناسایی یک مشکل تجاری برای حل و توسعه یک مدل پیش بینی عبور کنند.

با LLMهایی که اکنون در تصویر هستند، تیم‌های تجاری و داده‌ای که توانایی یا ظرفیت کدگذاری دستی مدل‌های یادگیری ماشین را ندارند، اکنون می‌توانند بهتر نیازهای خود را به مدل‌ها ترجمه کنند. آن‌طور که والدین دوست دارند بگویند، می‌توانند از کلمات خود برای شروع فرآیند مدل‌سازی استفاده کنند.

ادغام LLM ها با تکنیک های یادگیری ماشین که برای برتری در داده های تجاری ساخته شده اند

این قابلیت اکنون در Predictive GenAI Pecan آمده است، که در حال ادغام نقاط قوت LLM با پلتفرم یادگیری ماشینی بسیار پیشرفته و خودکار ما است. چت پیش‌گویانه مبتنی بر LLM، ورودی‌های یک کاربر تجاری را جمع‌آوری می‌کند تا تعریف و توسعه یک سؤال پیش‌بینی‌کننده را راهنمایی کند - مشکل خاصی که کاربر می‌خواهد با یک مدل حل کند.

سپس، با استفاده از GenAI، پلتفرم ما یک دفترچه یادداشت پیش‌بینی تولید می‌کند تا گام بعدی به سمت مدل‌سازی را آسان‌تر کند. باز هم، با تکیه بر قابلیت های LLM، نوت بوک حاوی پرس و جوهای SQL از پیش پر شده برای انتخاب داده های آموزشی برای مدل پیش بینی است. قابلیت‌های آماده‌سازی خودکار داده‌ها، مهندسی ویژگی‌ها، ساخت مدل و قابلیت‌های استقرار اسپند می‌تواند بقیه فرآیند را در زمان رکورد، سریع‌تر از هر راه‌حل مدل‌سازی پیش‌بینی‌کننده دیگری انجام دهد.

به طور خلاصه، Pecan's Predictive GenAI از مهارت‌های زبانی بی‌نظیر LLM استفاده می‌کند تا بهترین پلتفرم مدل‌سازی پیش‌بینی‌کننده در کلاس ما را برای کاربران تجاری در دسترس‌تر و دوستانه‌تر کند. ما خوشحالیم که ببینیم این رویکرد چگونه به بسیاری از شرکت‌ها کمک می‌کند تا با هوش مصنوعی موفق شوند.

بنابراین، در حالی که LLMs تنها برای رسیدگی به تمام نیازهای پیش بینی شما مناسب نیستند، آنها می توانند نقش قدرتمندی در پیشبرد پروژه های هوش مصنوعی شما داشته باشند. با تفسیر مورد استفاده شما و ارائه یک شروع اولیه با کد SQL تولید شده به طور خودکار، Predictive GenAI Pecan راه را در اتحاد این فناوری ها پیشروی می کند. تو می توانی اکنون با یک آزمایش رایگان آن را بررسی کنید.