Some Kick Ass Prompt Engineering Techniques To Boost Our LLM Models - KDnuggets

افلاطون کے ذریعہ دوبارہ شائع کیا گیا۔

فالونگ: 0

ہمارے LLM ماڈلز کو فروغ دینے کے لیے کچھ کِک ایس پرامپٹ انجینئرنگ تکنیک
DALL-E3 کے ساتھ بنائی گئی تصویر

آرٹیفیشل انٹیلی جنس ٹیکنالوجی کی دنیا میں ایک مکمل انقلاب ہے۔

انسانی ذہانت کی نقل کرنے اور ان کاموں کو انجام دینے کی اس کی صلاحیت جو کبھی مکمل طور پر انسانی ڈومین سمجھے جاتے تھے اب بھی ہم میں سے بیشتر کو حیران کر دیتے ہیں۔

تاہم، اس بات سے کوئی فرق نہیں پڑتا ہے کہ یہ دیر سے AI لیپ فارورڈز کتنے اچھے رہے ہیں، ہمیشہ بہتری کی گنجائش موجود ہے۔

اور یہ وہ جگہ ہے جہاں پر فوری انجینئرنگ شروع ہوتی ہے!

اس فیلڈ میں داخل ہوں جو AI ماڈلز کی پیداواری صلاحیت کو نمایاں طور پر بڑھا سکتا ہے۔

آئیے یہ سب مل کر دریافت کریں!

پرامپٹ انجینئرنگ AI کے اندر تیزی سے بڑھتا ہوا ڈومین ہے جو زبان کے ماڈلز کی کارکردگی اور تاثیر کو بہتر بنانے پر مرکوز ہے۔ یہ سب کچھ ہمارے مطلوبہ آؤٹ پٹ تیار کرنے کے لیے AI ماڈلز کی رہنمائی کے لیے کامل اشارے تیار کرنے کے بارے میں ہے۔

اس کے بارے میں سوچیں کہ کسی کو بہتر ہدایات دینے کا طریقہ سیکھنا ہے تاکہ یہ یقینی بنایا جا سکے کہ وہ کسی کام کو صحیح طریقے سے سمجھتے ہیں اور اس پر عمل کرتے ہیں۔

کیوں فوری انجینئرنگ معاملات

بہتر پیداواری صلاحیت: اعلیٰ معیار کے اشارے استعمال کرنے سے، AI ماڈلز زیادہ درست اور متعلقہ ردعمل پیدا کر سکتے ہیں۔ اس کا مطلب ہے کہ اصلاحات پر کم وقت اور AI کی صلاحیتوں سے فائدہ اٹھانے میں زیادہ وقت۔
کارکردگی کا تخمینہ: AI ماڈلز کی تربیت وسائل پر مبنی ہے۔ فوری انجینئرنگ بہتر اشارے کے ذریعے ماڈل کی کارکردگی کو بہتر بنا کر دوبارہ تربیت کی ضرورت کو کم کر سکتی ہے۔
استراحت: ایک اچھی طرح سے تیار کردہ پرامپٹ AI ماڈلز کو زیادہ ورسٹائل بنا سکتا ہے، جس سے وہ وسیع تر کاموں اور چیلنجوں سے نمٹ سکتے ہیں۔

جدید ترین تکنیکوں میں غوطہ لگانے سے پہلے، آئیے دو انتہائی مفید (اور بنیادی) فوری انجینئرنگ تکنیکوں کو یاد کرتے ہیں۔

"آئیے قدم بہ قدم سوچیں" کے ساتھ ترتیب وار سوچ

آج یہ بات مشہور ہے کہ "آئیے قدم بہ قدم سوچیں" لفظ کی ترتیب کو شامل کرتے وقت LLM ماڈلز کی درستگی نمایاں طور پر بہتر ہوتی ہے۔

کیوں… آپ پوچھ سکتے ہیں؟

ٹھیک ہے، اس کی وجہ یہ ہے کہ ہم ماڈل کو کسی بھی کام کو متعدد مراحل میں تقسیم کرنے پر مجبور کر رہے ہیں، اس طرح یہ یقینی بناتے ہیں کہ ماڈل کے پاس ان میں سے ہر ایک پر کارروائی کرنے کے لیے کافی وقت ہے۔

مثال کے طور پر، میں مندرجہ ذیل پرامپٹ کے ساتھ GPT3.5 کو چیلنج کر سکتا ہوں:

اگر جان کے پاس 5 ناشپاتی ہیں، پھر 2 کھاتا ہے، 5 مزید خریدتا ہے، پھر 3 اپنے دوست کو دیتا ہے، اس کے پاس کتنے ناشپاتی ہیں؟

ماڈل مجھے فوراً جواب دے گا۔ تاہم، اگر میں حتمی "آئیے قدم بہ قدم سوچیں" شامل کرتا ہوں، تو میں ماڈل کو متعدد مراحل کے ساتھ سوچنے کا عمل پیدا کرنے پر مجبور کر رہا ہوں۔

چند شاٹ پرامپٹنگ

جبکہ زیرو شاٹ پرامپٹنگ سے مراد ماڈل کو کوئی سیاق و سباق یا سابقہ علم فراہم کیے بغیر کوئی کام انجام دینے کے لیے کہا جاتا ہے، چند شاٹ پرامپٹنگ تکنیک کا مطلب یہ ہے کہ ہم LLM کو کچھ مخصوص سوال کے ساتھ اپنی مطلوبہ آؤٹ پٹ کی چند مثالوں کے ساتھ پیش کرتے ہیں۔

مثال کے طور پر، اگر ہم ایک ایسے ماڈل کے ساتھ آنا چاہتے ہیں جو شاعرانہ لہجے کا استعمال کرتے ہوئے کسی بھی اصطلاح کی وضاحت کرتا ہے، تو اس کی وضاحت کرنا کافی مشکل ہو سکتا ہے۔ ٹھیک ہے؟

تاہم، ہم ماڈل کو اپنی مرضی کے مطابق چلانے کے لیے درج ذیل چند شاٹ پرامپٹس استعمال کر سکتے ہیں۔

آپ کا کام مندرجہ ذیل اسلوب کے ساتھ مربوط انداز میں جواب دینا ہے۔

: مجھے لچک کے بارے میں سکھائیں۔

: لچک اس درخت کی مانند ہے جو ہوا کے ساتھ جھکتا ہے لیکن کبھی نہیں ٹوٹتا۔

یہ مصیبت سے پیچھے ہٹنے اور آگے بڑھنے کی صلاحیت ہے۔

: آپ کا ان پٹ یہاں ہے۔

اگر آپ نے ابھی تک اسے آزمایا نہیں ہے، تو آپ جی پی ٹی کو چیلنج کر سکتے ہیں۔

تاہم، جیسا کہ مجھے پورا یقین ہے کہ آپ میں سے اکثر ان بنیادی تکنیکوں کو پہلے سے جانتے ہیں، میں آپ کو کچھ جدید تکنیکوں کے ساتھ چیلنج کرنے کی کوشش کروں گا۔

1. سوچ کا سلسلہ (CoT) پرامپٹ

کے ذریعہ متعارف کرایا گیا۔ 2022 میں گوگل، اس طریقہ کار میں حتمی جواب دینے سے پہلے ماڈل کو متعدد استدلال کے مراحل سے گزرنے کی ہدایت کرنا شامل ہے۔

واقف لگتا ہے نا؟ اگر ایسا ہے تو آپ بالکل درست ہیں۔

یہ ترتیب وار سوچ اور چند شاٹ پرامپٹنگ دونوں کو ضم کرنے کے مترادف ہے۔

کیسا رہے گا؟

بنیادی طور پر، CoT پرامپٹنگ LLM کو معلومات کو ترتیب وار کارروائی کرنے کی ہدایت کرتی ہے۔ اس کا مطلب ہے کہ ہم مثال دیتے ہیں کہ کس طرح ایک سے زیادہ مراحل کے استدلال کے ساتھ پہلا مسئلہ حل کیا جائے اور پھر ماڈل کو ہمارا اصل کام بھیجیں، اس سے توقع کرتے ہوئے کہ اصل سوال کا جواب دیتے وقت ہم اسے حل کرنا چاہتے ہیں۔

ہمارے LLM ماڈلز کو فروغ دینے کے لیے کچھ کِک ایس پرامپٹ انجینئرنگ تکنیک
سے لی گئی تصویر کاغذ.

لہذا، پہلی مثال کی پیروی کرتے ہوئے، ہم پہلے مسئلے کے ساتھ فوری طور پر اور اسے حل کرنے کے طریقہ کی ترتیب وار وضاحت فراہم کر سکتے ہیں۔ پھر، ہم اپنا ان پٹ بھیج سکتے ہیں اور دیکھ سکتے ہیں کہ جادو کیسے ہوتا ہے!

اگر جان کے پاس 5 ناشپاتی ہیں، پھر 2 کھاتا ہے، 5 مزید خریدتا ہے، پھر 3 اپنے دوست کو دیتا ہے، اس کے پاس کتنے ناشپاتی ہیں؟ آئیے قدم بہ قدم سوچتے ہیں۔

آئیے قدم بہ قدم چلتے ہیں۔ جان 5 ناشپاتی سے شروع ہوتا ہے۔ وہ 2 ناشپاتی کھاتا ہے، تو اس کے پاس 5–2 = 3 ناشپاتی باقی ہیں۔ پھر، وہ مزید 5 ناشپاتی خریدتا ہے۔ تو، اب اس کے پاس 3 + 5 = 8 ناشپاتی ہیں۔ آخر میں، وہ اپنے دوست کو 3 ناشپاتی دیتا ہے۔ لہذا، اس کے پاس 8–3 = 5 ناشپاتی باقی ہیں۔ تو، ان تمام مراحل کے بعد، جان کے پاس 5 ناشپاتی ہیں۔

آپ کا ان پٹ یہاں ہے۔

تاہم، آپ میں سے اکثر ضرور سوچ رہے ہوں گے… کیا جب بھی میں چیٹ جی پی ٹی پر کچھ پوچھنا چاہتا ہوں تو کیا مجھے کسی بھی مسئلے کو حل کرنے کے لیے ترتیب وار طریقہ سوچنا ہوگا؟

ٹھیک ہے… آپ پہلے نہیں ہیں! اور یہ ہمیں اس طرف لے جاتا ہے…

2. خودکار سلسلہ آف تھاٹ (Auto-CoT)

2022 میں جانگ اور ساتھیوں نے اس دستی عمل سے بچنے کے لیے ایک طریقہ متعارف کرایا۔ کسی بھی دستی کام سے بچنے کی دو اہم وجوہات ہیں:

یہ بورنگ ہو سکتا ہے.
اس کے برے نتائج برآمد ہو سکتے ہیں – مثال کے طور پر، جب ہمارا ذہنی عمل غلط ہے۔

انہوں نے ہر مظاہرے کے لیے ترتیب وار استدلال کی زنجیریں تیار کرنے کے لیے "آئیے قدم بہ قدم سوچتے ہیں" کے ساتھ مل کر LLMs کا استعمال کرنے کا مشورہ دیا۔

اس کا مطلب ہے ChatGPT سے پوچھنا کہ کسی بھی مسئلے کو ترتیب وار کیسے حل کیا جائے اور پھر اسی مثال کو استعمال کرتے ہوئے اسے تربیت دی جائے کہ کسی دوسرے مسئلے کو کیسے حل کیا جائے۔

3. خود مستقل مزاجی

خود مستقل مزاجی ایک اور دلچسپ ترغیب دینے والی تکنیک ہے جس کا مقصد زیادہ پیچیدہ استدلال کے مسائل کے لیے سوچنے کے سلسلے کو بہتر بنانا ہے۔

تو… بنیادی فرق کیا ہے؟

Self Consistency کے تحت مرکزی خیال یہ ہے کہ ہم ماڈل کو غلط مثال کے ساتھ تربیت دے سکتے ہیں۔ ذرا تصور کریں کہ میں پچھلا مسئلہ ایک غلط ذہنی عمل سے حل کر رہا ہوں:

اگر جان کے پاس 5 ناشپاتی ہیں، پھر 2 کھاتا ہے، 5 مزید خریدتا ہے، پھر 3 اپنے دوست کو دیتا ہے، اس کے پاس کتنے ناشپاتی ہیں؟ آئیے قدم بہ قدم سوچتے ہیں۔

5 ناشپاتی کے ساتھ شروع کریں۔ جان 2 ناشپاتی کھاتا ہے۔ پھر، وہ اپنے دوست کو 3 ناشپاتی دیتا ہے۔ ان اعمال کو یکجا کیا جا سکتا ہے: 2 (کھایا) + 3 (دیئے گئے) = 5 ناشپاتی کل متاثرہ۔ اب، ابتدائی 5 ناشپاتی سے متاثرہ کل ناشپاتی کو گھٹائیں: 5 (ابتدائی) – 5 (متاثرہ) = 0 ناشپاتی باقی ہیں۔
پھر، کوئی اور کام جو میں ماڈل کو بھیجتا ہوں وہ غلط ہوگا۔

یہی وجہ ہے کہ Self-Consistency میں مختلف استدلال کے راستوں سے نمونے لینا شامل ہوتا ہے، ان میں سے ہر ایک میں سوچ کا ایک سلسلہ ہوتا ہے، اور پھر LLM کو مسئلہ کو حل کرنے کے لیے بہترین اور سب سے زیادہ مستقل راستے کا انتخاب کرنے دیتا ہے۔

ہمارے LLM ماڈلز کو فروغ دینے کے لیے کچھ کِک ایس پرامپٹ انجینئرنگ تکنیک
سے لی گئی تصویر کاغذ

اس صورت میں، اور پہلی مثال کی پیروی کرتے ہوئے، ہم ماڈل کو مسئلہ کو حل کرنے کے مختلف طریقے دکھا سکتے ہیں۔

اگر جان کے پاس 5 ناشپاتی ہیں، پھر 2 کھاتا ہے، 5 مزید خریدتا ہے، پھر 3 اپنے دوست کو دیتا ہے، اس کے پاس کتنے ناشپاتی ہیں؟

5 ناشپاتی کے ساتھ شروع کریں۔ جان 2 ناشپاتی کھاتا ہے، اس کے پاس 5–2 = 3 ناشپاتی رہ جاتے ہیں۔ وہ مزید 5 ناشپاتی خریدتا ہے، جس سے کل 3 + 5 = 8 ناشپاتی ہو جاتی ہے۔ آخر میں، وہ اپنے دوست کو 3 ناشپاتی دیتا ہے، تو اس کے پاس 8–3 = 5 ناشپاتی باقی ہیں۔

اگر جان کے پاس 5 ناشپاتی ہیں، پھر 2 کھاتا ہے، 5 مزید خریدتا ہے، پھر 3 اپنے دوست کو دیتا ہے، اس کے پاس کتنے ناشپاتی ہیں؟

5 ناشپاتی کے ساتھ شروع کریں۔ اس کے بعد وہ مزید 5 ناشپاتی خریدتا ہے۔ جان اب 2 ناشپاتی کھاتا ہے۔ ان اعمال کو ملایا جا سکتا ہے: 2 (کھایا) + 5 (خریدا) = کل 7 ناشپاتی۔ جان نے ناشپاتی کی کل مقدار میں سے جو ناشپاتی کھایا ہے اسے گھٹائیں 7 (کل رقم) – 2 (کھائے گئے) = 5 ناشپاتی باقی ہیں۔

آپ کا ان پٹ یہاں ہے۔

اور یہاں آخری تکنیک آتی ہے۔

4. جنرل نالج پرمپٹنگ

پرامپٹ انجینئرنگ کا ایک عام عمل GPT-3 یا GPT-4 کو حتمی API کال بھیجنے سے پہلے اضافی معلومات کے ساتھ استفسار کو بڑھا رہا ہے۔

کے مطابق جیاچینگ لیو اینڈ کمپنیہم کسی بھی درخواست میں ہمیشہ کچھ معلومات شامل کر سکتے ہیں تاکہ LLM سوال کے بارے میں بہتر طور پر جانتا ہو۔

ہمارے LLM ماڈلز کو فروغ دینے کے لیے کچھ کِک ایس پرامپٹ انجینئرنگ تکنیک
سے لی گئی تصویر کاغذ.

لہذا مثال کے طور پر، جب ChatGPT سے پوچھیں کہ کیا گولف کا حصہ دوسروں کے مقابلے میں زیادہ پوائنٹ حاصل کرنے کی کوشش کر رہا ہے، تو یہ ہماری توثیق کرے گا۔ لیکن، گولف کا بنیادی مقصد اس کے بالکل برعکس ہے۔ یہی وجہ ہے کہ ہم کچھ پچھلی معلومات شامل کر سکتے ہیں جس میں یہ بتایا گیا ہے کہ "کم سکور والا کھلاڑی جیت جاتا ہے"۔

ہمارے LLM ماڈلز کو فروغ دینے کے لیے کچھ کِک ایس پرامپٹ انجینئرنگ تکنیک

تو .. کیا مضحکہ خیز حصہ ہے اگر ہم ماڈل کو بالکل درست جواب بتا رہے ہیں؟

اس صورت میں، اس تکنیک کا استعمال LLM کے ہمارے ساتھ تعامل کے طریقے کو بہتر بنانے کے لیے کیا جاتا ہے۔

لہذا باہر کے ڈیٹا بیس سے ضمنی سیاق و سباق کو کھینچنے کے بجائے، مقالے کے مصنفین تجویز کرتے ہیں کہ ایل ایل ایم اپنا علم خود تیار کرے۔ اس کے بعد خود ساختہ علم کو عام فہم استدلال کو تقویت دینے اور بہتر نتائج دینے کے لیے پرامپٹ میں ضم کیا جاتا ہے۔

تو اس طرح ایل ایل ایم کو اس کے تربیتی ڈیٹاسیٹ میں اضافہ کیے بغیر بہتر بنایا جا سکتا ہے!

ایل ایل ایم کی صلاحیتوں کو بڑھانے میں پرامپٹ انجینئرنگ ایک اہم تکنیک کے طور پر ابھری ہے۔ اشاروں کو دہرانے اور بہتر بنانے سے، ہم AI ماڈلز سے زیادہ براہ راست بات کر سکتے ہیں اور اس طرح وقت اور وسائل دونوں کی بچت کرتے ہوئے زیادہ درست اور سیاق و سباق سے متعلقہ نتائج حاصل کر سکتے ہیں۔

تکنیکی شائقین، ڈیٹا سائنسدانوں اور مواد کے تخلیق کاروں کے لیے، فوری انجینئرنگ کو سمجھنا اور اس میں مہارت حاصل کرنا AI کی مکمل صلاحیت کو بروئے کار لانے میں ایک قیمتی اثاثہ ہو سکتا ہے۔

ان مزید جدید تکنیکوں کے ساتھ احتیاط سے ڈیزائن کیے گئے ان پٹ پرامپٹس کو ملا کر، پرامپٹ انجینئرنگ کی مہارت کا سیٹ بلاشبہ آنے والے سالوں میں آپ کو ایک برتری دے گا۔

جوزپ فیرر بارسلونا سے تجزیاتی انجینئر ہے۔ اس نے فزکس انجینئرنگ میں گریجویشن کیا اور فی الحال انسانی نقل و حرکت پر لاگو ڈیٹا سائنس فیلڈ میں کام کر رہا ہے۔ وہ جز وقتی مواد بنانے والا ہے جس کی توجہ ڈیٹا سائنس اور ٹیکنالوجی پر ہے۔ آپ اس پر رابطہ کر سکتے ہیں۔ لنکڈ, ٹویٹر or درمیانہ.