The growing number of applications incorporating artificial intelligence (AI) capabilities and tools that make it easier to work with machine learning (ML) models have created new software supply chain headaches for organizations, whose security teams now have to assess and manage the risks posed by these AI components. Security teams are looking at the software supply chain and thinking about open source components, but they have to recognize that ML is part of that and adjust the organization’s security controls and data governance policies to reflect the reality that AI is already present.
One of the big challenges surrounding the growing use of AI in organizations is actually the same shadow IT problem enterprise defenders have been grappling with for years, says Gary McGraw, co-founder of the Berryville Institute of Machine Learning. Shadow ML and shadow AI exist because in many organizations, business groups and individual employees are the ones selecting and adopting ML applications and AI tools as part of their work processes. Security teams are often not informed when these tools are brought into the organization, and the lack of visibility means they aren’t able to manage them or protect the data being used.
The question over AI use came up during a recent meeting with executives from a large Fortune 100 company and application security startup Legit Security, says McGraw (who is a member of Legit Security’s advisory board). Legit Security’s platform, which maps out the entire software development life cycle from development to delivery, has visibility in every tool and application being used.
“The CISO said, ‘We don’t allow machine learning by policy. Nobody uses it,'” McGraw says, and the team was able to use the platform to show multiple instances of ML and AI in use.
یہ نہ جاننا کہ ML اور AI کیا استعمال میں ہے ایک بڑھتی ہوئی تشویش ہے اور یہ صرف اس کمپنی تک محدود نہیں ہے۔ ایک ___ میں حالیہ ڈارک ریڈنگ ریسرچ سروے74% جواب دہندگان نے کہا کہ ان کا خیال ہے کہ ملازمین پبلک جنریٹو AI (GenAI) ٹولز، جیسے ChatGPT کو کام کے مقاصد کے لیے استعمال کر رہے ہیں، حالانکہ ٹولز کو سرکاری طور پر اجازت نہیں دی گئی تھی۔ تقریباً پانچویں جواب دہندگان (18%) نے کہا کہ AI کے بارے میں ان کے سرفہرست پانچ خدشات میں سے ایک یہ ہے کہ وہ ملازمین کو عوامی GenAI ٹولز استعمال کرنے سے نہیں روک سکتے۔
AI کو کیسے تلاش کریں۔
Legit Security is looking at how GenAI technologies change software development, such as using AI to generate code or embedding large language models (LLMs) into products, says Liav Caspi, co-founder and CTO of Legit Security. The by-product of platform mapping how the organization develops and delivers software is a “very detailed inventory” of all the open source and closed source software components being used, build tools, frameworks, plug-ins, and even the servers the developers are using, Caspi says. Since new technology doesn’t always get introduced into the organization’s technology stack in a top-down manner, this asset catalog is often the first time the executives learn about all of the software components and developer tools in use.
“It turns out that what people think is the case and what is really the case don’t match up sometimes,” McGraw says. “When you say to the CISO or the person who’s running software security, ‘Hey, did you know there are six of these?’ and they go, ‘I thought we only had two,’ [there’s a problem.]”
سوالوں کے جوابات دینے کے ساتھ ساتھ جیسے کہ تنظیم کتنے بگ ٹریکنگ سسٹم چل رہی ہے، GitHub کی کتنی مثالیں انسٹال کی گئی ہیں، JIRA کی کتنی مثالیں موجود ہیں، یا کون سے ڈویلپر کون سے کمپائلر استعمال کر رہے ہیں، Legit Security سوالات کا جواب دیتا ہے جیسے کہ ڈویلپر کہاں ہیں۔ ایل ایل ایم استعمال کر رہے ہیں، کون سی ایپلی کیشنز کس اے آئی سروس سے منسلک ہو رہی ہیں، ان سروسز کو کون سا ڈیٹا بھیجا جا رہا ہے، اور اصل میں کون سے ماڈل استعمال ہو رہے ہیں۔ کیسپی کا کہنا ہے کہ اس بارے میں سوال کہ آیا کوئی ڈیٹا دوسری خدمات کو بھیجا جا رہا ہے، خاص طور پر ریگولیٹڈ صنعتوں میں موجود اداروں کے لیے اہم ہے۔
“[We] discovered things that big organizations didn’t know, like they didn’t know they’re using a specific library. They didn’t know they have developers overseas that copied the code into an account somewhere,” Caspi says.
کاسپی کا کہنا ہے کہ تشویش کا ایک اور علاقہ یہ ہے کہ آیا تنظیم کسی بھی AI سے تیار کردہ کوڈ پر انحصار کر رہی ہے، جو کہ مختلف ٹولز اور copilots کے متعارف ہونے کے ساتھ زیادہ متعلقہ ہوتی جا رہی ہے جو ڈویلپرز کو کوڈ لکھنے میں مدد دیتے ہیں۔ ڈارک ریڈنگ سروے میں، 28 فیصد جواب دہندگان نے AI سے تیار کردہ کوڈ میں ممکنہ کمزوریوں پر خدشات کا حوالہ دیا۔
فی الحال، پلیٹ فارم ترقیاتی انفراسٹرکچر کو رینگتا ہے تاکہ AI کے ذریعے چھوئے گئے تمام حصوں کی شناخت کی جا سکے۔ یہ ذخیروں کے ذریعے دیکھتا ہے اور LLMs کا پتہ لگاتا ہے جو ایپلی کیشنز میں سرایت کر رہے ہیں، آیا کوڈ جنریشن ٹولز استعمال کیے گئے، کون سی سافٹ ویئر لائبریریاں شامل کی گئی ہیں، کون سی API کال کی جا رہی ہیں، اور کس قسم کے لائسنس استعمال کیے گئے ہیں۔ مثال کے طور پر، Huggingface بڑے پیمانے پر سافٹ ویئر ڈویلپمنٹ پروجیکٹس میں مشین لرننگ ماڈل بنانے اور شامل کرنے کے لیے استعمال ہوتا ہے۔ کاسپی کا کہنا ہے کہ سیکیورٹی ٹیموں کو ورژن نمبرز کے ساتھ ساتھ ماڈلز کو کیسے لاگو کیا جا رہا ہے کے بارے میں سوچنے کی ضرورت ہے۔
ایم ایل کو کیسے محفوظ کریں۔
مشین لرننگ کو صحیح طریقے سے محفوظ بنانے کے لیے، انٹرپرائز کو تین چیزیں کرنے کے قابل ہونے کی ضرورت ہے: یہ معلوم کریں کہ مشین لرننگ کہاں استعمال ہو رہی ہے، خطرے کا نمونہ جو پایا گیا اس کی بنیاد پر، اور ان خطرات کو منظم کرنے کے لیے کنٹرول میں رکھنا۔
“We need to find machine learning [and] do a threat model based on what you found,” McGraw says. “You found some stuff, and now your threat model needs to be adjusted. Once you do your threat model and you’ve identified some risks and threats, you need to put in some controls right across all those problems.”
Once the security team knows what is being used, they can either block the component or determine an appropriate policy to add safety checks, or “guardrails,” to the development process, Caspi notes. For example, it is possible for an application to go to production without someone reviewing the auto-generated code to ensure issues have not been introduced into the codebase. The code block may not actually contain any vulnerabilities, but security teams can create a policy requiring auto-generated code to be reviewed by two people before it can be merged into the codebase, he says.
“We have a lot of detections that will tell you you’re missing a guardrail,” Caspi says. The security team gets “as much information as possible on what we found,” so that they can use the information to take some kind of action, Caspi says. In some cases, there will be some guidance on the best course of action or best practices.
کوئی ایک ٹول یا پلیٹ فارم نہیں ہے جو ان تینوں چیزوں کو سنبھال سکے، لیکن میک گرا ہر ایک شعبے سے متعلق تین کمپنیوں کے مشاورتی بورڈ پر ہوتا ہے۔ Legit Security ہر چیز کو تلاش کرتا ہے، IriusRisk خطرے کی ماڈلنگ میں مدد کرتا ہے، اور Calypso AI کنٹرول کو اپنی جگہ پر رکھتا ہے۔
“I can see all the parts moving,” McGraw says. “All the pieces are coming together.”
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
- پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
- پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://www.darkreading.com/application-security/first-step-in-ai-ml-security-is-finding-them
- : ہے
- : ہے
- : نہیں
- :کہاں
- $UP
- 100
- a
- قابلیت
- ہمارے بارے میں
- اکاؤنٹ
- کے پار
- عمل
- اصل میں
- شامل کریں
- شامل کیا
- ایڈجسٹ
- ایڈجسٹ
- اپنانے
- مشاورتی
- ایڈوائزری بورڈ
- AI
- AI / ML
- تمام
- کی اجازت
- پہلے ہی
- ہمیشہ
- an
- اور
- جواب
- جواب
- کوئی بھی
- APIs
- درخواست
- درخواست سیکورٹی
- ایپلی کیشنز
- مناسب
- کیا
- رقبہ
- علاقوں
- مصنوعی
- مصنوعی ذہانت
- مصنوعی انٹیلی جنس (AI)
- AS
- تشخیص کریں
- اثاثے
- At
- مجاز
- کی بنیاد پر
- BE
- کیونکہ
- بننے
- رہا
- اس سے پہلے
- کیا جا رہا ہے
- خیال کیا
- BEST
- بہترین طریقوں
- بگ
- بلاک
- بورڈ
- لایا
- تعمیر
- کاروبار
- لیکن
- by
- کالز
- آیا
- کر سکتے ہیں
- صلاحیتوں
- کیس
- مقدمات
- کیٹلوگ
- چین
- چیلنجوں
- تبدیل
- چیٹ جی پی ٹی
- چیک
- CISO
- حوالہ دیا
- بند
- شریک بانی
- کوڈ
- کوڈ بیس
- آنے والے
- کمپنیاں
- کمپنی کے
- جزو
- اجزاء
- اندیشہ
- اندراج
- مربوط
- پر مشتمل ہے
- کنٹرول
- اسی کے مطابق
- سکتا ہے
- کورس
- تخلیق
- بنائی
- CTO
- سائیکل
- گہرا
- گہرا پڑھنا
- اعداد و شمار
- دفاع
- فراہم کرتا ہے
- ترسیل
- تفصیلی
- اس بات کا تعین
- ڈیولپر
- ڈویلپرز
- ترقی
- تیار ہے
- DID
- نہیں کیا
- دریافت
- do
- نہیں
- ڈان
- کے دوران
- ہر ایک
- آسان
- یا تو
- ایمبیڈڈ
- سرایت کرنا
- ملازمین
- کو یقینی بنانے کے
- انٹرپرائز
- پوری
- اداروں
- Ether (ETH)
- بھی
- ہر کوئی
- سب کچھ
- مثال کے طور پر
- ایگزیکٹوز
- وجود
- پانچویں
- مل
- تلاش
- پتہ ہے
- پہلا
- پہلی بار
- پانچ
- کے لئے
- فارچیون
- ملا
- فریم ورک
- سے
- گیری
- جینئی
- پیدا
- پیداواری
- پیداواری AI۔
- حاصل
- GitHub کے
- Go
- گورننس
- جوا مارنا
- گروپ کا
- بڑھتے ہوئے
- رہنمائی
- تھا
- ہینڈل
- ہوتا ہے
- ہے
- he
- سر درد
- مدد
- مدد کرتا ہے
- کس طرح
- HTTPS
- گلے لگانے والا چہرہ
- i
- کی نشاندہی
- شناخت
- عملدرآمد
- اہم
- in
- شامل
- شامل کرنا
- انفرادی
- صنعتوں
- معلومات
- مطلع
- انفراسٹرکچر
- واقعات
- انسٹی ٹیوٹ
- انٹیلی جنس
- میں
- متعارف
- تعارف
- انوینٹری
- مسائل
- IT
- صرف
- بچے
- جان
- جاننا
- جانتا ہے
- نہیں
- زبان
- بڑے
- جانیں
- سیکھنے
- علامہ
- لائبریریوں
- لائبریری
- لائسنس
- زندگی
- کی طرح
- لمیٹڈ
- تلاش
- دیکھنا
- بہت
- مشین
- مشین لرننگ
- بنا
- بنا
- انتظام
- انداز
- بہت سے
- تعریفیں
- نقشہ جات
- میچ
- مئی..
- کا مطلب ہے کہ
- اجلاس
- رکن
- لاپتہ
- ML
- ماڈل
- ماڈلنگ
- ماڈل
- زیادہ
- منتقل
- بہت
- ایک سے زیادہ
- ضرورت ہے
- ضروریات
- نئی
- نہیں
- نوٹس
- اب
- تعداد
- تعداد
- of
- سرکاری طور پر
- اکثر
- on
- ایک بار
- ایک
- والوں
- صرف
- کھول
- اوپن سورس
- or
- تنظیم
- تنظیمیں
- دیگر
- باہر
- پر
- بیرون ملک مقیم
- حصہ
- خاص طور پر
- حصے
- لوگ
- انسان
- ٹکڑے ٹکڑے
- مقام
- پلیٹ فارم
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- پالیسیاں
- پالیسی
- درپیش
- ممکن
- طریقوں
- حال (-)
- مسئلہ
- مسائل
- عمل
- عمل
- پیداوار
- حاصل
- منصوبوں
- مناسب طریقے سے
- حفاظت
- عوامی
- مقاصد
- ڈال
- رکھتا ہے
- سوال
- سوالات
- RE
- پڑھنا
- حقیقت
- واقعی
- حال ہی میں
- تسلیم
- کی عکاسی
- باضابطہ
- ریگولیٹڈ صنعتیں
- متعلقہ
- یقین ہے
- تحقیق
- جواب دہندگان
- -جائزہ لیا
- جائزہ لیں
- ٹھیک ہے
- رسک
- خطرات
- چل رہا ہے
- s
- سیفٹی
- کہا
- اسی
- کا کہنا ہے کہ
- کا کہنا ہے کہ
- محفوظ بنانے
- سیکورٹی
- سیکورٹی آغاز
- دیکھنا
- منتخب
- بھیجا
- سرورز
- سروس
- سروسز
- شیڈو
- دکھائیں
- بعد
- چھ
- So
- سافٹ ویئر کی
- سافٹ ویئر کے اجزاء
- سوفٹ ویئر کی نشوونما
- سافٹ ویئر سیکورٹی
- سافٹ ویئر سپلائی چین
- کچھ
- کسی
- کچھ
- کبھی کبھی
- کہیں
- ماخذ
- مخصوص
- ڈھیر لگانا
- شروع
- مرحلہ
- بند کرو
- اس طرح
- فراہمی
- فراہمی کا سلسلہ
- ارد گرد
- سروے
- سسٹمز
- T
- لے لو
- ٹیم
- ٹیموں
- ٹیکنالوجی
- ٹیکنالوجی
- بتا
- کہ
- ۔
- کے بارے میں معلومات
- ان
- ان
- وہاں.
- یہ
- وہ
- چیزیں
- لگتا ہے کہ
- سوچنا
- اس
- ان
- اگرچہ؟
- سوچا
- خطرہ
- خطرات
- تین
- کے ذریعے
- وقت
- کرنے کے لئے
- مل کر
- کے آلے
- اوزار
- سب سے اوپر
- چھوڑا
- دیتا ہے
- دو
- استعمال کی شرائط
- استعمال کیا جاتا ہے
- استعمال
- کا استعمال کرتے ہوئے
- مختلف
- Ve
- ورژن
- بہت
- کی نمائش
- نقصان دہ
- تھا
- we
- اچھا ہے
- تھے
- کیا
- کیا ہے
- جب
- چاہے
- جس
- ڈبلیو
- کس کی
- بڑے پیمانے پر
- گے
- ساتھ
- بغیر
- کام
- لکھنا
- کوڈ لکھیں
- سال
- آپ
- اور
- زیفیرنیٹ