بعض التقنيات الهندسية السريعة لتعزيز نماذج LLM لدينا - KDnuggets

أعاد نشره أفلاطون

المتابعون: 0

بعض التقنيات الهندسية السريعة لتعزيز نماذج LLM لدينا
تم إنشاء الصورة باستخدام DALL-E3

لقد كان الذكاء الاصطناعي ثورة كاملة في عالم التكنولوجيا.

إن قدرتها على محاكاة الذكاء البشري وأداء المهام التي كانت تعتبر ذات يوم مجالًا بشريًا فقط لا تزال تدهش معظمنا.

ومع ذلك، بغض النظر عن مدى جودة قفزات الذكاء الاصطناعي المتأخرة إلى الأمام، هناك دائمًا مجال للتحسين.

وهذا هو بالضبط المكان الذي تبدأ فيه الهندسة السريعة!

أدخل هذا المجال الذي يمكنه تحسين إنتاجية نماذج الذكاء الاصطناعي بشكل كبير.

دعونا نكتشف كل ذلك معا!

الهندسة السريعة هي مجال سريع النمو ضمن الذكاء الاصطناعي ويركز على تحسين كفاءة وفعالية النماذج اللغوية. الأمر كله يتعلق بصياغة مطالبات مثالية لتوجيه نماذج الذكاء الاصطناعي لإنتاج المخرجات المطلوبة.

فكر في الأمر على أنه تعلم كيفية إعطاء تعليمات أفضل لشخص ما للتأكد من فهمه للمهمة وتنفيذها بشكل صحيح.

لماذا تعتبر الهندسة السريعة مهمة؟

إنتاجية محسنة: وباستخدام مطالبات عالية الجودة، يمكن لنماذج الذكاء الاصطناعي إنشاء استجابات أكثر دقة وملاءمة. وهذا يعني قضاء وقت أقل في التصحيحات ومزيد من الوقت في الاستفادة من قدرات الذكاء الاصطناعي.
فعالية التكلفة: يتطلب تدريب نماذج الذكاء الاصطناعي استخدامًا كثيفًا للموارد. يمكن للهندسة السريعة أن تقلل الحاجة إلى إعادة التدريب عن طريق تحسين أداء النموذج من خلال مطالبات أفضل.
التنوع: يمكن للموجه المصمم جيدًا أن يجعل نماذج الذكاء الاصطناعي أكثر تنوعًا، مما يسمح لها بمعالجة مجموعة واسعة من المهام والتحديات.

قبل الغوص في التقنيات الأكثر تقدمًا، دعونا نتذكر اثنين من التقنيات الهندسية السريعة الأكثر فائدة (والأساسية).

التفكير المتسلسل مع "دعونا نفكر خطوة بخطوة"

من المعروف اليوم أن دقة نماذج LLM تتحسن بشكل كبير عند إضافة تسلسل الكلمات "دعونا نفكر خطوة بخطوة".

لماذا... قد تسأل؟

حسنًا، هذا لأننا نجبر النموذج على تقسيم أي مهمة إلى خطوات متعددة، وبالتالي التأكد من أن النموذج لديه الوقت الكافي لمعالجة كل واحدة منها.

على سبيل المثال، يمكنني تحدي GPT3.5 بالموجه التالي:

إذا كان لدى جون 5 إجاصات، ثم أكل 2، واشترى 5 أخرى، ثم أعطى 3 لصديقه، فكم عدد الكمثرى الذي لديه؟

سوف يعطيني النموذج إجابة على الفور. ومع ذلك، إذا أضفت الجملة النهائية "دعونا نفكر خطوة بخطوة"، فأنا أجبر النموذج على توليد عملية تفكير بخطوات متعددة.

موجه قليل الطلقات

في حين أن مطالبة اللقطة الصفرية تشير إلى مطالبة النموذج بأداء مهمة دون توفير أي سياق أو معرفة سابقة، فإن تقنية المطالبة باللقطة القليلة تعني أننا نقدم LLM مع بعض الأمثلة على المخرجات المرغوبة بالإضافة إلى بعض الأسئلة المحددة.

على سبيل المثال، إذا أردنا التوصل إلى نموذج يحدد أي مصطلح باستخدام نغمة شعرية، فقد يكون من الصعب جدًا شرحه. يمين؟

ومع ذلك، يمكننا استخدام المطالبات القليلة التالية لتوجيه النموذج في الاتجاه الذي نريده.

مهمتك هي الإجابة بأسلوب متسق يتماشى مع النمط التالي.

: علمني عن المرونة.

: المرونة مثل الشجرة التي تميل مع الريح ولكنها لا تنكسر.

إنها القدرة على الارتداد من الشدائد والاستمرار في المضي قدمًا.

: مدخلاتك هنا.

إذا لم تكن قد قمت بتجربتها بعد، فيمكنك تحدي GPT.

ومع ذلك، بما أنني متأكد من أن معظمكم يعرف بالفعل هذه التقنيات الأساسية، سأحاول تحديكم ببعض التقنيات المتقدمة.

1. سلسلة الأفكار (CoT) المطالبة

تم تقديمه بواسطة جوجل في عام 2022تتضمن هذه الطريقة توجيه النموذج للخضوع لمراحل تفكير عديدة قبل تقديم الاستجابة النهائية.

يبدو مألوفا أليس كذلك؟ إذا كان الأمر كذلك، فأنت على حق تماما.

إنه مثل دمج كل من التفكير المتسلسل والتحفيز قليل اللقطة.

كيف؟

بشكل أساسي، تعمل مطالبة CoT على توجيه LLM لمعالجة المعلومات بشكل تسلسلي. هذا يعني أننا نمثل كيفية حل مشكلة أولى باستخدام خطوات متعددة للاستدلال ثم نرسل إلى النموذج مهمتنا الحقيقية، ونتوقع منه محاكاة سلسلة فكرية قابلة للمقارنة عند الرد على الاستعلام الفعلي الذي نريده أن يحله.

بعض التقنيات الهندسية السريعة لتعزيز نماذج LLM لدينا
الصورة مأخوذة من ورقة.

لذلك، باتباع المثال الأول، يمكننا تقديم مطالبة بالمشكلة الأولى وشرح متسلسل لكيفية حلها. بعد ذلك، يمكننا إرسال مدخلاتنا ونرى كيف يحدث السحر!

إذا كان لدى جون 5 إجاصات، ثم أكل 2، واشترى 5 أخرى، ثم أعطى 3 لصديقه، فكم عدد الكمثرى لديه؟ دعونا نفكر خطوة بخطوة.

دعونا نذهب خطوة بخطوة. يبدأ جون بخمسة كمثرى. يأكل 5 كمثرى، لذا يتبقى لديه 2-5 = 2 كمثرى. ثم اشترى 3 كمثرى أخرى. إذن، أصبح لديه الآن 5 + 3 = 5 كمثرى. وأخيرًا، أعطى 8 كمثرى لصديقه. لذلك، يتبقى لديه 3-8 = 3 كمثرى. إذن، بعد كل هذه الخطوات، أصبح لدى جون 5 كمثرى.

مدخلاتك هنا.

ومع ذلك، لا بد أن معظمكم يفكر... هل يجب أن أفكر في طريقة تسلسلية لحل أي مشكلة في أي وقت أرغب في طرح شيء ما على ChatGPT؟

حسنًا... أنت لست الأول! و هذا يقودنا إلى…

2. سلسلة التفكير التلقائية (Auto-CoT)

في 2022، تشانغ وقدم وزملاؤه طريقة لتجنب هذه العملية اليدوية. هناك سببان رئيسيان لتجنب أي مهمة يدوية:

يمكن أن يكون مملاً.
ويمكن أن يؤدي إلى نتائج سيئة - على سبيل المثال، عندما تكون عمليتنا العقلية خاطئة.

واقترحوا استخدام LLMs مقترنة بفكرة "دعونا نفكر خطوة بخطوة" لإنتاج سلاسل تفكير متتابعة لكل عرض توضيحي.

وهذا يعني سؤال ChatGPT عن كيفية حل أي مشكلة بشكل تسلسلي ثم استخدام هذا المثال نفسه لتدريبه على كيفية حل أي مشكلة أخرى.

3. الاتساق الذاتي

يعد الاتساق الذاتي أسلوب تحفيز آخر مثير للاهتمام يهدف إلى تحسين سلسلة التفكير مما يؤدي إلى مشاكل تفكير أكثر تعقيدًا.

إذًا... ما هو الفرق الرئيسي؟

الفكرة الرئيسية في إطار الاتساق الذاتي هي إدراك أنه يمكننا تدريب النموذج بمثال خاطئ. تخيل فقط أنني قمت بحل المشكلة السابقة بعملية عقلية خاطئة:

إذا كان لدى جون 5 إجاصات، ثم أكل 2، واشترى 5 أخرى، ثم أعطى 3 لصديقه، فكم عدد الكمثرى لديه؟ دعونا نفكر خطوة بخطوة.

ابدأ بـ 5 كمثرى. جون يأكل 2 كمثرى. ثم أعطى 3 كمثرى لصديقه. يمكن الجمع بين هذه الإجراءات: 2 (تُؤكل) + 3 (تُعطى) = 5 كمثرى في إجمالي المتأثرين. الآن، اطرح إجمالي الكمثرى المتأثرة من الكمثرى الخمس الأولية: 5 (الأولي) - 5 (المتأثرة) = 5 كمثرى متبقية.
ومن ثم، فإن أي مهمة أخرى أرسلها إلى النموذج ستكون خاطئة.

ولهذا السبب يتضمن الاتساق الذاتي أخذ عينات من مسارات التفكير المختلفة، كل منها يحتوي على سلسلة من الأفكار، ثم السماح لماجستير القانون باختيار المسار الأفضل والأكثر اتساقًا لحل المشكلة.

بعض التقنيات الهندسية السريعة لتعزيز نماذج LLM لدينا
الصورة مأخوذة من ورقة

في هذه الحالة، وباتباع المثال الأول مرة أخرى، يمكننا أن نوضح للنموذج طرقًا مختلفة لحل المشكلة.

إذا كان لدى جون 5 إجاصات، ثم أكل 2، واشترى 5 أخرى، ثم أعطى 3 لصديقه، فكم عدد الكمثرى الذي لديه؟

ابدأ بـ 5 كمثرى. يأكل جون 2 كمثرى، ويتبقى له 5-2 = 3 كمثرى. اشترى 5 كمثرى أخرى، وبذلك يصبح المجموع 3 + 5 = 8 كمثرى. وأخيرًا، أعطى 3 كمثرى لصديقه، وبذلك يتبقى لديه 8-3 = 5 كمثرى.

إذا كان لدى جون 5 إجاصات، ثم أكل 2، واشترى 5 أخرى، ثم أعطى 3 لصديقه، فكم عدد الكمثرى الذي لديه؟

ابدأ بـ 5 كمثرى. ثم اشترى 5 كمثرى أخرى. جون يأكل 2 كمثرى الآن. يمكن الجمع بين هذه الإجراءات: 2 (تُؤكل) + 5 (تُشترى) = 7 كمثرى إجمالاً. اطرح الكمثرى التي أكلها جون من إجمالي كمية الكمثرى 7 (الكمية الإجمالية) – 2 (المأكولة) = 5 كمثرى متبقية.

مدخلاتك هنا.

وهنا تأتي التقنية الأخيرة.

4. المطالبة بالمعرفة العامة

من الممارسات الشائعة للهندسة السريعة زيادة الاستعلام بمعرفة إضافية قبل إرسال استدعاء API النهائي إلى GPT-3 أو GPT-4.

وفقًا جياتشنغ ليو وشركاه، يمكننا دائمًا إضافة بعض المعرفة إلى أي طلب حتى يعرف LLM السؤال بشكل أفضل.

بعض التقنيات الهندسية السريعة لتعزيز نماذج LLM لدينا
الصورة مأخوذة من ورقة.

لذلك، على سبيل المثال، عند سؤال ChatGPT عما إذا كان جزء من لعبة الجولف يحاول الحصول على إجمالي نقاط أعلى من الآخرين، فإنه سيتحقق من صحة ما لدينا. لكن الهدف الرئيسي للجولف هو عكس ذلك تمامًا. ولهذا السبب يمكننا إضافة بعض المعرفة السابقة التي تقول "اللاعب ذو النتيجة الأقل يفوز".

بعض التقنيات الهندسية السريعة لتعزيز نماذج LLM لدينا

إذًا.. ما هو الجزء المضحك إذا كنا نخبر العارضة بالإجابة بالضبط؟

في هذه الحالة، يتم استخدام هذه التقنية لتحسين طريقة تفاعل LLM معنا.

لذا، بدلاً من سحب السياق التكميلي من قاعدة بيانات خارجية، يوصي مؤلفو الورقة بأن تقوم ماجستير إدارة الأعمال بإنتاج معرفتها الخاصة. يتم بعد ذلك دمج هذه المعرفة المولدة ذاتيًا في الموجه لتعزيز المنطق السليم وتقديم مخرجات أفضل.

هذه هي الطريقة التي يمكن بها تحسين LLMs دون زيادة مجموعة بيانات التدريب الخاصة بها!

لقد برزت الهندسة السريعة كتقنية محورية في تعزيز قدرات LLM. من خلال تكرار المطالبات وتحسينها، يمكننا التواصل بطريقة أكثر مباشرة مع نماذج الذكاء الاصطناعي وبالتالي الحصول على مخرجات أكثر دقة وذات صلة بالسياق، مما يوفر الوقت والموارد.

بالنسبة لعشاق التكنولوجيا وعلماء البيانات ومنشئي المحتوى على حد سواء، يمكن أن يكون فهم وإتقان الهندسة السريعة أحد الأصول القيمة في تسخير الإمكانات الكاملة للذكاء الاصطناعي.

من خلال الجمع بين مطالبات الإدخال المصممة بعناية مع هذه التقنيات الأكثر تقدمًا، فإن امتلاك مجموعة المهارات الخاصة بالهندسة السريعة سيمنحك بلا شك ميزة في السنوات القادمة.

جوزيب فيرير هو مهندس تحليلات من برشلونة. تخرج في هندسة الفيزياء ويعمل حاليًا في مجال علوم البيانات المطبق على التنقل البشري. وهو منشئ محتوى بدوام جزئي يركز على علوم البيانات والتكنولوجيا. يمكنك الاتصال به على لينكدين:, تويتر or متوسط.