يكشف باحثو الذكاء الاصطناعي عن نقاط الضعف الحرجة داخل ماجستير إدارة الأعمال الكبرى

15 أكتوبر 2023 (أخبار Nanowerk) نماذج اللغات الكبيرة (LLMs) مثل ChatGPT و Bard اجتاحت العالم هذا العام، حيث استثمرت الشركات الملايين لتطوير أدوات الذكاء الاصطناعي هذه، وتقدر قيمة بعض روبوتات الدردشة الرائدة العاملة بالذكاء الاصطناعي بالمليارات. تقوم برامج LLM هذه، والتي يتم استخدامها بشكل متزايد داخل روبوتات الدردشة المدعومة بالذكاء الاصطناعي، بجمع معلومات الإنترنت بالكامل للتعلم ولإبلاغ الإجابات التي تقدمها للطلبات المحددة من قبل المستخدم، والمعروفة باسم "المطالبات". ومع ذلك، فقد أثبت علماء الكمبيوتر من شركة Mindgard الناشئة لأمن الذكاء الاصطناعي وجامعة لانكستر في المملكة المتحدة أنه يمكن نسخ أجزاء من هذه الدورات التدريبية في أقل من أسبوع مقابل 50 دولارًا فقط، ويمكن استخدام المعلومات المكتسبة لشن هجمات مستهدفة. . ويحذر الباحثون من أن المهاجمين الذين يستغلون نقاط الضعف هذه يمكنهم الكشف عن معلومات سرية خاصة، أو تجاوز حواجز الحماية، أو تقديم إجابات غير صحيحة، أو شن المزيد من الهجمات المستهدفة. التفاصيل في ورقة جديدة ("العلق النموذجي: هجوم الاستخراج الذي يستهدف حاملي شهادة الماجستير في القانون") ليتم تقديمها في CAMLIS 2023 (مؤتمر التعلم الآلي التطبيقي لأمن المعلومات) يُظهر الباحثون أنه من الممكن نسخ جوانب مهمة من LLMs الحالية بتكلفة زهيدة، كما أظهروا أدلة على نقل نقاط الضعف بين النماذج المختلفة. يعمل هذا الهجوم، الذي يُطلق عليه اسم "استراق النماذج"، من خلال التحدث إلى طلاب ماجستير القانون بهذه الطريقة - حيث يطلب منهم مجموعة من المطالبات المستهدفة - بحيث يستخرج طلاب ماجستير القانون معلومات ثاقبة ويكشفون عن كيفية عمل النموذج. استخدم فريق البحث، الذي ركز دراسته على ChatGPT-3.5-Turbo، هذه المعرفة لإنشاء نموذج النسخ الخاص بهم، والذي كان أصغر بمقدار 100 مرة ولكنه يكرر الجوانب الرئيسية لـ LLM. تمكن الباحثون بعد ذلك من استخدام هذه النسخة النموذجية كأرضية اختبار لمعرفة كيفية استغلال الثغرات الأمنية في ChatGPT دون اكتشافها. وتمكنوا بعد ذلك من استخدام المعرفة المستمدة من نموذجهم لمهاجمة الثغرات الأمنية في ChatGPT بمعدل نجاح متزايد بنسبة 11%. وقال الدكتور بيتر جاراجان من جامعة لانكستر، والرئيس التنفيذي لشركة مايندجارد، والباحث الرئيسي في البحث: "ما اكتشفناه رائع من الناحية العلمية، ولكنه مقلق للغاية". يعد هذا من بين الأعمال الأولى التي تثبت تجريبيًا أن الثغرات الأمنية يمكن نقلها بنجاح بين نماذج التعلم الآلي مفتوحة المصدر ومغلقة المصدر، وهو أمر مثير للقلق للغاية نظرًا لمدى اعتماد الصناعة على نماذج التعلم الآلي المتاحة للجمهور والمستضافة في أماكن مثل HuggingFace. يقول الباحثون إن عملهم يسلط الضوء على أنه على الرغم من أن تقنيات الذكاء الاصطناعي الرقمية القوية هذه لها استخدامات واضحة، إلا أن هناك نقاط ضعف مخفية، وربما تكون هناك نقاط ضعف مشتركة عبر النماذج. تقوم الشركات عبر الصناعة حاليًا أو تستعد لاستثمار المليارات في إنشاء ماجستير إدارة الأعمال الخاص بها للقيام بمجموعة واسعة من المهام مثل المساعدين الأذكياء. تتبنى الخدمات المالية والمؤسسات الكبيرة هذه التقنيات، لكن الباحثين يقولون إن نقاط الضعف هذه يجب أن تكون مصدر قلق كبير لجميع الشركات التي تخطط لبناء أو استخدام شهادات LLM تابعة لجهات خارجية. وقال الدكتور جاراغان: "على الرغم من أن تكنولوجيا LLM قد تكون تحويلية، إلا أنه يتعين على الشركات والعلماء على حد سواء التفكير بعناية شديدة في فهم وقياس المخاطر السيبرانية المرتبطة باعتماد ونشر LLMs."

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://www.nanowerk.com/news2/robotics/newsid=63842.php