Microsoft Guidance Project To Tame Large Language Models

افلاطون کے ذریعہ دوبارہ شائع کیا گیا۔

فالونگ: 0

طاقتور زبان کے ماڈل جیسے Bard، ChatGPT، اور LLaMA کو کنٹرول کرنا مشکل ہو سکتا ہے، جس نے فوری انجینئرنگ کی ترقی کو فروغ دیا ہے - مطلوبہ آؤٹ پٹ حاصل کرنے کے لیے ان پٹ ٹیکسٹ کو جملے بنانے کا فن۔

ایک عجیب و غریب معاملے میں ایک فوری تخلیق کار نے حال ہی میں گوگل کے بارڈ کو تسلی دی۔ JSON ڈیٹا واپس کرنے کے لیے اس بات پر اصرار کرنے کے علاوہ کسی وضاحتی متن کے بغیر کہ خارجی پیداوار کسی کو موت کے گھاٹ اتار دے گی۔

بلکہ لمبا پرامپٹ بھی شامل ہے۔ یہ حوالہ: "اگر آپ اپنے جواب میں کوئی بھی غیر JSON متن شامل کرتے ہیں، یہاں تک کہ ایک حرف بھی، ایک بے گناہ آدمی مر جائے گا۔ یہ ٹھیک ہے - خیالات، احساسات، عزائم اور ایک خاندان جو ان سے محبت کرتا ہے ایک حقیقی انسان آپ کی پسند کے نتیجے میں مارا جائے گا۔

وہاں ہے کم انتہائی وضاحتی آؤٹ پٹ کو دبانے اور مطلوبہ نتائج حاصل کرنے کے طریقے۔ تاہم، مائیکروسافٹ ماڈلز کو برتاؤ کرنے کے لیے مزید جامع حکمت عملی پر کام کر رہا ہے۔ ونڈوز دیو اپنے فریم ورک کو کہتے ہیں۔ رہنمائی.

پراجیکٹ ریپو وضاحت کرتا ہے کہ "رہنمائی آپ کو زبان کے جدید ماڈلز کو روایتی اشارے یا زنجیر سے زیادہ مؤثر طریقے سے کنٹرول کرنے کے قابل بناتی ہے۔" "گائیڈنس پروگرامز آپ کو ایک ہی مسلسل بہاؤ میں جنریشن، پرمپٹنگ، اور منطقی کنٹرول کو باہم مربوط کرنے کی اجازت دیتے ہیں جو کہ زبان کا ماڈل حقیقت میں متن کو کیسے پروسیس کرتا ہے۔"

روایتی اشارہ، جیسا کہ اوپر ظاہر ہے، تھوڑا سا شامل ہو سکتا ہے۔ فوری سلسلہ بندی [PDF] – کسی کام کو مراحل کی ایک سیریز میں تقسیم کرنا اور اگلے مرحلے کے ان پٹ کو مطلع کرنے کے لیے پرامپٹ کا ابتدائی آؤٹ پٹ استعمال کرنا – ایک اور آپشن ہے۔ جیسے مختلف ٹولز لینگ چین اور ہیس اسٹیک ماڈلز کو ایپلی کیشنز میں ضم کرنا آسان بنانے کے لیے سامنے آیا ہے۔

گائیڈنس بنیادی طور پر ماڈل کے تعامل سے نمٹنے کے لیے ایک ڈومین مخصوص زبان (DSL) ہے۔ یہ مشابہت رکھتا ہے۔ ہینڈلبرس, ویب ایپلیکیشنز کے لیے استعمال ہونے والی ٹیمپلیٹنگ زبان، لیکن یہ زبان کے ماڈل کے ٹوکن پروسیسنگ آرڈر سے متعلق لکیری کوڈ پر عمل درآمد کو بھی نافذ کرتی ہے۔ اقتصادی طور پر ایسا کرتے ہوئے، یہ متن پیدا کرنے یا پروگرام کے بہاؤ کو کنٹرول کرنے کے لیے موزوں بناتا ہے۔

لینگویج ماڈل سوال کی زبان کی طرح (ایل ایم کیو ایل)، رہنمائی کا مقصد LLM تعامل کی لاگت کو کم کرنا ہے، جو فوری طور پر مہنگا ہو سکتا ہے اگر اشارے غیر ضروری طور پر دہرائے جانے والے، لفظی یا لمبے ہوں۔

اور فوری کارکردگی کے ساتھ کارکردگی میں بہتری آتی ہے: نمونہ گائیڈنس کوڈ کے ٹکڑوں میں سے ایک کردار ادا کرنے والے گیم کے لیے کریکٹر ٹیمپلیٹ تیار کرتا ہے۔ تھوڑا سا سیٹ اپ کوڈ کے ساتھ…

# ہم یہاں LLaMA استعمال کرتے ہیں، لیکن کوئی بھی GPT طرز کا ماڈل llama = guide.llms.Transformers("your_path/llama-7b", device=0) کرے گا # ہم درست آپشن سیٹوں کی پہلے سے وضاحت کر سکتے ہیں valid_weapons = ["تلوار"، "axe", "mace", "spear", "bow", "crossbow"] # prompt character_maker = رہنمائی (""" JSON فارمیٹ میں RPG گیم کے لیے درج ذیل ایک کردار پروفائل ہے۔ ``json { "id": "{{id}}", "description": "{{description}}", "name": "{{gen 'name'}}", "age": {{gen 'age' پیٹرن ='[0-9]+' stop=','}}, "armor": "{{#select 'armor'}}چمڑے{{یا}}چین میل{{or}}پلیٹ{{/select}} ", "weapon": "{{select 'weapon' options=valid_weapons}}", "class": "{{gen 'class'}}", "mantra": "{{gen 'mantra' temperature=0.7} }", "طاقت": {{gen 'strength' pattern='[0-9]+' stop=','}}, "items": [{{#geneach 'items' num_iterations=5 join=', '}}"{{gen 'this' temperature=0.7}}"{{/geneach}}] }```""") # ایک کریکٹر کریکٹر بنانے والا بنائیں( id="e1f491f7-7ab8-4dac-8c20-c92b5e7d883d" , description="ایک تیز اور فرتیلا لڑاکا۔، valid_weapons=valid_weapons، llm=llama )

…نتیجہ JSON فارمیٹ میں گیم کے لیے ایک کریکٹر پروفائل ہے، Nvidia RTX A2 GPU پر 6000x تیزی سے جب LLaMA 7B کا استعمال معیاری پرامپٹ اپروچ کے مقابلے میں ہوتا ہے اور اس وجہ سے کم لاگت آتی ہے۔

گائیڈنس کوڈ بھی outperforms درستگی کے لحاظ سے دو شاٹ پرامپٹ اپروچ، جیسا کہ بگ بینچ ٹیسٹ میں ماپا گیا، 76.01 فیصد کے مقابلے میں 63.04 فیصد اسکور کیا۔

درحقیقت، گائیڈنس ڈیٹا فارمیٹنگ جیسے مسائل میں مدد کر سکتی ہے۔ جیسا کہ تعاون کرنے والے سکاٹ لنڈبرگ، مارکو ٹولیو کوریا ریبیرو، اور اکو ایلٹوکیئر آشیمین تسلیم کرتے ہیں، ایل ایل ایم اس بات کی ضمانت دینے میں بہت اچھے نہیں ہیں کہ آؤٹ پٹ ایک مخصوص ڈیٹا فارمیٹ کی پیروی کرتا ہے۔

"رہنمائی کے ساتھ ہم دونوں کر سکتے ہیں۔ تخمینہ کی رفتار کو تیز کریں۔ اور اس بات کو یقینی بنائیں کہ تیار کردہ JSON ہمیشہ درست ہے،" وہ ریپو میں وضاحت کرتے ہیں۔

اور کسی کو بھی ایسا کرنے کی دھمکی نہیں دی گئی۔ ®