أدى العدد المتزايد من التطبيقات التي تتضمن قدرات وأدوات الذكاء الاصطناعي (AI) التي تسهل العمل مع نماذج التعلم الآلي (ML) إلى خلق مشكلات جديدة في سلسلة توريد البرامج للمؤسسات، حيث يتعين على فرق الأمان الخاصة بها الآن تقييم وإدارة المخاطر التي تشكلها مكونات الذكاء الاصطناعي هذه. تبحث فرق الأمان في سلسلة توريد البرامج وتفكر في المكونات مفتوحة المصدر، ولكن يتعين عليهم أن يدركوا أن تعلم الآلة هو جزء من ذلك وتعديل ضوابط الأمان في المؤسسة وسياسات إدارة البيانات لتعكس حقيقة وجود الذكاء الاصطناعي بالفعل.
يقول غاري ماكجرو، المؤسس المشارك لمعهد بيريفيل للتعلم الآلي، إن أحد التحديات الكبيرة المحيطة بالاستخدام المتزايد للذكاء الاصطناعي في المؤسسات هو في الواقع نفس مشكلة تكنولوجيا المعلومات الظلية التي كان المدافعون عن المؤسسات يتصارعون معها لسنوات. يوجد Shadow ML وshadow AI لأنه في العديد من المؤسسات، تقوم مجموعات الأعمال والموظفين الأفراد باختيار واعتماد تطبيقات ML وأدوات الذكاء الاصطناعي كجزء من عمليات عملهم. في كثير من الأحيان لا يتم إبلاغ فرق الأمان عند إدخال هذه الأدوات إلى المؤسسة، ويعني نقص الرؤية أنهم غير قادرين على إدارتها أو حماية البيانات المستخدمة.
طُرح السؤال حول استخدام الذكاء الاصطناعي خلال اجتماع عُقد مؤخرًا مع مديرين تنفيذيين من شركة Fortune 100 الكبيرة وشركة Legit Security الناشئة في مجال أمن التطبيقات، حسبما يقول ماكجرو (وهو عضو في المجلس الاستشاري لشركة Legit Security). تتمتع منصة Legit Security، التي تحدد دورة حياة تطوير البرامج بالكامل بدءًا من التطوير وحتى التسليم، برؤية واضحة في كل أداة وتطبيق يتم استخدامها.
"قال CISO: "نحن لا نسمح بالتعلم الآلي من خلال السياسة. يقول ماكجرو: "لا أحد يستخدمها"، وتمكن الفريق من استخدام المنصة لعرض أمثلة متعددة من تعلم الآلة والذكاء الاصطناعي قيد الاستخدام.
إن عدم معرفة ما هو التعلم الآلي والذكاء الاصطناعي المستخدم هو مصدر قلق متزايد ولا يقتصر على هذه الشركة فقط. في المسح البحثي الأخير للقراءة المظلمة، قال 74% من المشاركين إنهم يعتقدون أن الموظفين يستخدمون أدوات الذكاء الاصطناعي العامة (GenAI)، مثل ChatGPT، لأغراض العمل، على الرغم من أن الأدوات غير مصرح بها رسميًا. قال حوالي خمس المشاركين (18٪) إن أحد أهم خمسة مخاوف لديهم بشأن الذكاء الاصطناعي هو أنهم لا يستطيعون منع الموظفين من استخدام أدوات GenAI العامة.
كيفية البحث عن الذكاء الاصطناعي
تبحث شركة Legit Security في كيفية تغيير تقنيات GenAI لتطوير البرمجيات، مثل استخدام الذكاء الاصطناعي لإنشاء تعليمات برمجية أو تضمين نماذج لغوية كبيرة (LLMs) في المنتجات، كما يقول Liav Caspi، المؤسس المشارك والرئيس التنفيذي للتكنولوجيا في شركة Legit Security. إن المنتج الثانوي لرسم خرائط النظام الأساسي لكيفية قيام المؤسسة بتطوير البرامج وتقديمها هو "مخزون مفصل للغاية" لجميع مكونات البرامج مفتوحة المصدر ومغلقة المصدر المستخدمة، وأدوات البناء، والأطر، والمكونات الإضافية، وحتى الخوادم التي يستخدمها المطورون باستخدام، يقول كاسبي. نظرًا لأن التكنولوجيا الجديدة لا يتم دائمًا إدخالها إلى مجموعة التكنولوجيا الخاصة بالمؤسسة بطريقة من أعلى إلى أسفل، فغالبًا ما يكون كتالوج الأصول هذا هو المرة الأولى التي يتعرف فيها المسؤولون التنفيذيون على جميع مكونات البرامج وأدوات المطورين المستخدمة.
يقول ماكجرو: "اتضح أن ما يعتقده الناس هو الصحيح، وما هو صحيح بالفعل، لا يتطابقان في بعض الأحيان". "عندما تقول لرئيس أمن المعلومات أو الشخص الذي يدير أمان البرامج، "مرحبًا، هل تعلم أن هناك ستة من هذه البرامج؟" ويقولون: "اعتقدت أن لدينا اثنين فقط،" [هناك مشكلة.]"
إلى جانب الإجابة على أسئلة مثل عدد أنظمة تتبع الأخطاء التي تقوم المؤسسة بتشغيلها، أو عدد مثيلات GitHub التي تم تثبيتها، أو عدد مثيلات JIRA الموجودة، أو المطورين الذين يستخدمون أي من المجمعين، تجيب Legit Security على أسئلة مثل مكان المطورين يستخدمون LLMs، وما هي التطبيقات التي تتصل بخدمة الذكاء الاصطناعي، وما هي البيانات التي يتم إرسالها إلى تلك الخدمات، وما هي النماذج المستخدمة بالفعل. يقول كاسبي إن السؤال حول ما إذا كان يتم إرسال أي بيانات إلى خدمات أخرى له أهمية خاصة بالنسبة للكيانات العاملة في الصناعات الخاضعة للتنظيم.
"[لقد اكتشفنا أشياء لم تكن تعرفها المؤسسات الكبرى، كأنها لم تكن تعلم أنها تستخدم مكتبة معينة. يقول كاسبي: "لم يعلموا أن لديهم مطورين في الخارج قاموا بنسخ الكود إلى حساب في مكان ما".
هناك مجال آخر مثير للقلق وهو ما إذا كانت المنظمة تعتمد على أي تعليمات برمجية يتم إنشاؤها بواسطة الذكاء الاصطناعي، وهو الأمر الذي أصبح أكثر أهمية مع تقديم العديد من الأدوات ومساعدي الطيارين الذين يساعدون المطورين على كتابة التعليمات البرمجية، كما يقول كاسبي. في استطلاع Dark Reading، أشار 28% من المشاركين إلى مخاوف بشأن نقاط الضعف المحتملة في التعليمات البرمجية التي ينشئها الذكاء الاصطناعي.
حاليًا، تقوم المنصة بالزحف إلى البنية التحتية للتطوير لتحديد جميع الأجزاء التي يمسها الذكاء الاصطناعي. فهو يبحث في المستودعات ويكتشف LLMs المضمنة في التطبيقات، وما إذا تم استخدام أدوات إنشاء التعليمات البرمجية، وما هي مكتبات البرامج التي تمت إضافتها، وما هي استدعاءات واجهات برمجة التطبيقات (APIs) التي يتم إجراؤها، ونوع التراخيص المستخدمة. على سبيل المثال، يُستخدم المعانقة على نطاق واسع في مشاريع تطوير البرمجيات لبناء نماذج التعلم الآلي ودمجها. يقول كاسبي إن فرق الأمن بحاجة إلى التفكير في أرقام الإصدارات وكذلك كيفية تنفيذ النماذج.
كيفية تأمين تعلم الآلة
لتأمين التعلم الآلي بشكل صحيح، يجب أن تكون المؤسسة قادرة على القيام بثلاثة أشياء: العثور على مكان استخدام التعلم الآلي، ونموذج التهديد للمخاطر بناءً على ما تم العثور عليه، ووضع ضوابط لإدارة تلك المخاطر.
يقول ماكجرو: "نحن بحاجة إلى العثور على التعلم الآلي [و] عمل نموذج تهديد بناءً على ما وجدته". "لقد وجدت بعض الأشياء، والآن يحتاج نموذج التهديد الخاص بك إلى التعديل. بمجرد إنشاء نموذج التهديد الخاص بك وتحديد بعض المخاطر والتهديدات، ستحتاج إلى وضع بعض الضوابط بشكل صحيح عبر كل هذه المشكلات.
بمجرد أن يعرف فريق الأمان ما يتم استخدامه، يمكنهم إما حظر المكون أو تحديد سياسة مناسبة لإضافة فحوصات السلامة أو "حواجز الحماية" إلى عملية التطوير، كما يشير كاسبي. على سبيل المثال، من الممكن أن ينتقل التطبيق إلى مرحلة الإنتاج دون أن يقوم شخص ما بمراجعة التعليمات البرمجية التي تم إنشاؤها تلقائيًا للتأكد من عدم إدخال المشكلات في قاعدة التعليمات البرمجية. قد لا تحتوي كتلة التعليمات البرمجية في الواقع على أي ثغرات أمنية، ولكن يمكن لفرق الأمان إنشاء سياسة تتطلب مراجعة التعليمات البرمجية التي يتم إنشاؤها تلقائيًا من قبل شخصين قبل دمجها في قاعدة التعليمات البرمجية، كما يقول.
يقول كاسبي: "لدينا الكثير من الاكتشافات التي ستخبرك أنك تفتقد حاجز الحماية". يقول كاسبي إن الفريق الأمني يحصل على "أكبر قدر ممكن من المعلومات حول ما وجدناه"، حتى يتمكنوا من استخدام المعلومات لاتخاذ نوع من الإجراء. في بعض الحالات، سيكون هناك بعض الإرشادات حول أفضل مسار للعمل أو أفضل الممارسات.
لا توجد أداة أو منصة واحدة يمكنها التعامل مع الأمور الثلاثة جميعها، ولكن تصادف وجود ماكجرو في المجالس الاستشارية لثلاث شركات تتوافق مع كل مجال من المجالات. يجد Legit Security كل شيء، ويساعد IriusRisk في وضع نماذج للتهديدات، ويضع Calypso AI الضوابط في مكانها الصحيح.
يقول ماكجرو: "أستطيع أن أرى جميع الأجزاء تتحرك". "كل القطع تأتي معًا."
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://www.darkreading.com/application-security/first-step-in-ai-ml-security-is-finding-them
- :لديها
- :يكون
- :ليس
- :أين
- $ UP
- 100
- a
- ماهرون
- من نحن
- حسابي
- في
- اكشن
- في الواقع
- تضيف
- وأضاف
- ضبط
- تعديل
- اعتماد
- استشاري
- المجلس الاستشاري
- AI
- AI / ML
- الكل
- السماح
- سابقا
- دائما
- an
- و
- الإجابة
- الأجوبة
- أي وقت
- واجهات برمجة التطبيقات
- تطبيق
- أمان التطبيق
- التطبيقات
- مناسب
- هي
- المنطقة
- المناطق
- مصطنع
- الذكاء الاصطناعي
- الذكاء الاصطناعي (منظمة العفو الدولية)
- AS
- تقييم
- الأصول
- At
- مخول
- على أساس
- BE
- لان
- أن تصبح
- كان
- قبل
- يجري
- يعتقد
- أفضل
- أفضل الممارسات
- كبير
- حظر
- مجلس
- جلبت
- نساعدك في بناء
- الأعمال
- لكن
- by
- دعوات
- أتى
- CAN
- قدرات
- حقيبة
- الحالات
- الأقسام
- سلسلة
- التحديات
- تغيير
- شات جي بي تي
- الشيكات
- CISO
- استشهد
- صندوق توظيف برأس مال محدود
- المؤسس المشارك
- الكود
- مصدر برنامج
- آت
- الشركات
- حول الشركة
- عنصر
- مكونات
- قلق
- اهتمامات
- الرابط
- تحتوي على
- ضوابط
- المقابلة
- استطاع
- الدورة
- خلق
- خلق
- CTO
- دورة
- غامق
- قراءة مظلمة
- البيانات
- المدافعين عن حقوق الإنسان
- يسلم
- التوصيل
- مفصلة
- حدد
- المطور
- المطورين
- التطوير التجاري
- يطور
- فعل
- ديدن
- اكتشف
- do
- لا توجد الآن
- دون
- أثناء
- كل
- أسهل
- إما
- جزءا لا يتجزأ من
- تضمين
- الموظفين
- ضمان
- مشروع
- كامل
- الكيانات
- الأثير (ETH)
- حتى
- كل
- كل شىء
- مثال
- مُديرين تنفيذيين
- يوجد
- الخامس
- العثور على
- ويرى
- الاسم الأول
- لأول مرة
- خمسة
- في حالة
- Fortune
- وجدت
- الأطر
- تبدأ من
- غاري
- جيناي
- توليد
- توليدي
- الذكاء الاصطناعي التوليدي
- دولار فقط واحصل على خصم XNUMX% على جميع
- GitHub جيثب:
- Go
- الحكم
- تصارع
- مجموعات
- متزايد
- توجيه
- كان
- مقبض
- يحدث
- يملك
- he
- الصداع
- مساعدة
- يساعد
- كيفية
- HTTPS
- تعانق الوجه
- i
- محدد
- تحديد
- نفذت
- أهمية
- in
- دمج
- دمج
- فرد
- الصناعات
- معلومات
- وأبلغ
- البنية التحتية
- حالات
- معهد
- رؤيتنا
- إلى
- أدخلت
- المُقدّمة
- المخزون
- مسائل
- IT
- م
- نوع
- علم
- معرفة
- يعرف
- نقص
- لغة
- كبير
- تعلم
- تعلم
- شرعي
- المكتبات
- المكتبة
- التراخيص
- الحياة
- مثل
- محدود
- أبحث
- تبدو
- الكثير
- آلة
- آلة التعلم
- صنع
- جعل
- إدارة
- أسلوب
- كثير
- رسم الخرائط
- برنامج Maps
- مباراة
- مايو..
- يعني
- الاجتماع
- عضو
- مفقود
- ML
- نموذج
- تصميم
- عارضات ازياء
- الأكثر من ذلك
- يتحرك
- كثيرا
- متعدد
- حاجة
- إحتياجات
- جديد
- لا
- ملاحظة
- الآن
- عدد
- أرقام
- of
- رسميا
- غالبا
- on
- مرة
- ONE
- منها
- فقط
- جاكيت
- المصدر المفتوح
- or
- منظمة
- المنظمات
- أخرى
- خارج
- على مدى
- في الخارج
- جزء
- خاصة
- أجزاء
- مجتمع
- شخص
- قطعة
- المكان
- المنصة
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- سياسات الخصوصية والبيع
- سياسة
- طرح
- ممكن
- الممارسات
- يقدم
- المشكلة
- مشاكل
- عملية المعالجة
- العمليات
- الإنتــاج
- المنتجات
- مشروع ناجح
- بصورة صحيحة
- حماية
- جمهور
- أغراض
- وضع
- يضع
- سؤال
- الأسئلة المتكررة
- RE
- نادي القراءة
- واقع
- في الحقيقة
- الأخيرة
- الاعتراف
- تعكس
- ما هو مقنن
- الصناعات المنظمة
- ذات الصلة
- الاعتماد
- بحث
- المستطلعين
- استعرض
- مراجعة
- حق
- المخاطرة
- المخاطر
- تشغيل
- s
- السلامة
- قال
- نفسه
- قول
- يقول
- تأمين
- أمن
- بدء تشغيل الأمان
- انظر تعريف
- اختيار
- أرسلت
- الخوادم
- الخدمة
- خدماتنا
- شادو
- إظهار
- منذ
- SIX
- So
- تطبيقات الكمبيوتر
- مكونات البرامج
- تطوير البرمجيات
- أمن البرمجيات
- سلسلة توريد البرمجيات
- بعض
- شخص ما
- شيء
- أحيانا
- في مكان ما
- مصدر
- محدد
- كومة
- بدء التشغيل
- خطوة
- قلة النوم
- هذه
- تزويد
- سلسلة التوريد
- المحيط
- الدراسة الاستقصائية
- أنظمة
- T
- أخذ
- فريق
- فريق
- التكنولوجيا
- تكنولوجيا
- اقول
- أن
- •
- المعلومات
- من مشاركة
- منهم
- هناك.
- تشبه
- هم
- الأشياء
- اعتقد
- تفكير
- هؤلاء
- على الرغم من؟
- فكر
- التهديد
- التهديدات
- ثلاثة
- عبر
- الوقت
- إلى
- سويا
- أداة
- أدوات
- تيشرت
- لمست
- يتحول
- اثنان
- تستخدم
- مستعمل
- يستخدم
- استخدام
- مختلف
- Ve
- الإصدار
- جدا
- رؤية
- نقاط الضعف
- وكان
- we
- حسن
- كان
- ابحث عن
- ما هي تفاصيل
- متى
- سواء
- التي
- من الذى
- لمن
- على نحو واسع
- سوف
- مع
- بدون
- للعمل
- اكتب
- اكتب كود
- سنوات
- لصحتك!
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت