تعداد روزافزون برنامههای کاربردی که قابلیتها و ابزارهای هوش مصنوعی (AI) را در بر میگیرند که کار با مدلهای یادگیری ماشین (ML) را آسانتر میکنند، دردسرهای زنجیره تامین نرمافزار جدیدی را برای سازمانهایی ایجاد کرده است که تیمهای امنیتی آنها اکنون باید خطرات ناشی از آن را ارزیابی و مدیریت کنند. این اجزای هوش مصنوعی تیمهای امنیتی به زنجیره تامین نرمافزار نگاه میکنند و به اجزای منبع باز فکر میکنند، اما باید تشخیص دهند که ML بخشی از آن است و کنترلهای امنیتی سازمان و سیاستهای حاکمیت داده را طوری تنظیم کنند که واقعیتی را که هوش مصنوعی در حال حاضر وجود دارد، منعکس کند.
گری مکگرو، یکی از بنیانگذاران موسسه یادگیری ماشینی بریویل، میگوید یکی از چالشهای بزرگ پیرامون استفاده روزافزون از هوش مصنوعی در سازمانها، در واقع همان مشکل سایهای است که مدافعان شرکتهای فناوری اطلاعات سالها با آن دست و پنجه نرم میکنند. Shadow ML و Shadow AI وجود دارند زیرا در بسیاری از سازمان ها، گروه های تجاری و کارکنان فردی هستند که برنامه های کاربردی ML و ابزارهای هوش مصنوعی را به عنوان بخشی از فرآیندهای کاری خود انتخاب و استفاده می کنند. وقتی این ابزارها به سازمان وارد میشوند، تیمهای امنیتی اغلب مطلع نمیشوند و عدم مشاهده به این معنی است که قادر به مدیریت آنها یا محافظت از دادههای مورد استفاده نیستند.
مک گرو (که یکی از اعضای هیئت مشاوران لجیت سکیوریتی است) میگوید، سوال در مورد استفاده از هوش مصنوعی در جلسه اخیر با مدیران یک شرکت بزرگ Fortune 100 و استارتآپ امنیتی اپلیکیشن Legit Security مطرح شد. پلت فرم Legit Security که کل چرخه عمر توسعه نرم افزار را از توسعه تا تحویل ترسیم می کند، در هر ابزار و برنامه ای که استفاده می شود قابل مشاهده است.
CISO گفت: «ما اجازه نمیدهیم یادگیری ماشین از طریق سیاستگذاری انجام شود. هیچکس از آن استفاده نمیکند،» مکگرو میگوید، و تیم توانست از این پلتفرم برای نشان دادن چندین نمونه از ML و AI در حال استفاده استفاده کند.
ندانستن ML و AI در حال استفاده یک نگرانی رو به رشد است و فقط به این شرکت محدود نمی شود. در یک نظرسنجی اخیر مطالعه Dark Reading74 درصد از پاسخ دهندگان گفتند که معتقدند کارمندان از ابزارهای هوش مصنوعی مولد عمومی (GenAI) مانند ChatGPT برای مقاصد کاری استفاده می کنند، حتی اگر این ابزارها به طور رسمی مجوز نداشته باشند. حدود یک پنجم از پاسخ دهندگان (18٪) گفتند که یکی از پنج نگرانی اصلی آنها در مورد هوش مصنوعی این است که نمی توانند کارمندان را از استفاده از ابزارهای عمومی GenAI باز دارند.
چگونه هوش مصنوعی را پیدا کنیم
لیاو کاسپی، یکی از بنیانگذاران و مدیر ارشد فناوری Legit Security می گوید که Legit Security به دنبال این است که چگونه فناوری های GenAI توسعه نرم افزار را تغییر می دهند، مانند استفاده از هوش مصنوعی برای تولید کد یا جاسازی مدل های زبان بزرگ (LLM) در محصولات. محصول جانبی نقشهبرداری پلتفرم نحوه توسعه و ارائه نرمافزار توسط سازمان، «موجودی بسیار دقیق» از تمام اجزای نرمافزار متنباز و منبع بسته مورد استفاده، ابزارهای ساخت، چارچوبها، پلاگینها و حتی سرورهایی است که توسعهدهندگان آنها هستند. کاسپی می گوید با استفاده از. از آنجایی که فناوری جدید همیشه به صورت بالا به پایین وارد پشته فناوری سازمان نمی شود، این فهرست دارایی اغلب اولین باری است که مدیران در مورد تمام اجزای نرم افزار و ابزارهای توسعه دهنده در حال استفاده می آموزند.
مکگرو میگوید: «معلوم میشود که آنچه مردم فکر میکنند درست است و آنچه واقعاً درست است، گاهی اوقات با هم مطابقت ندارند. وقتی به CISO یا شخصی که امنیت نرمافزار را اجرا میکند، میگویید: «هی، آیا میدانستی شش تا از اینها وجود دارد؟» و آنها می گویند، "فکر می کردم ما فقط دو نفر داریم" [مشکلی وجود دارد].
همراه با پاسخ به سؤالاتی مانند تعداد سیستم های ردیابی باگ سازمان در حال اجرا است، چند نمونه از GitHub نصب شده است، چند نمونه از JIRA وجود دارد، یا کدام توسعه دهندگان از کدام کامپایلر استفاده می کنند، Legit Security به سؤالاتی مانند مکان توسعه دهندگان پاسخ می دهد. از LLM ها استفاده می کنند، کدام برنامه ها به کدام سرویس هوش مصنوعی متصل می شوند، چه داده هایی به آن سرویس ها ارسال می شود و چه مدل هایی واقعاً استفاده می شوند. کاسپی میگوید این سوال که آیا دادهای به سایر خدمات ارسال میشود یا نه، برای نهادهای مرتبط با صنایع تحت نظارت مهم است.
«[ما] چیزهایی را کشف کردیم که سازمانهای بزرگ نمیدانستند، مانند اینکه نمیدانستند از یک کتابخانه خاص استفاده میکنند. آنها نمی دانستند که توسعه دهندگانی در خارج از کشور دارند که کد را در یک حساب کاربری در جایی کپی کرده اند.
کاسپی میگوید: یکی دیگر از زمینههای نگرانی این است که آیا سازمان به کدهای تولید شده توسط هوش مصنوعی تکیه میکند یا خیر، چیزی که با معرفی ابزارها و نسخههای کمکی مختلف که به توسعهدهندگان در نوشتن کد کمک میکنند، مرتبطتر میشود. در نظرسنجی Dark Reading، 28 درصد از پاسخ دهندگان به نگرانی در مورد آسیب پذیری های احتمالی در کدهای تولید شده توسط هوش مصنوعی اشاره کردند.
در حال حاضر، این پلتفرم زیرساخت توسعه را بررسی میکند تا تمام قسمتهای لمس شده توسط هوش مصنوعی را شناسایی کند. از طریق مخازن نگاه می کند و LLM هایی را که در برنامه ها تعبیه شده اند، شناسایی می کند که آیا از ابزارهای تولید کد استفاده شده است، کدام کتابخانه های نرم افزاری اضافه شده اند، چه API هایی در حال فراخوانی هستند و چه نوع مجوزهایی استفاده می شوند. به عنوان مثال، huggingface به طور گسترده در پروژه های توسعه نرم افزار برای ساخت و ترکیب مدل های یادگیری ماشین استفاده می شود. کاسپی میگوید تیمهای امنیتی باید در مورد شماره نسخه و همچنین نحوه پیادهسازی مدلها فکر کنند.
چگونه ML را ایمن کنیم
برای ایمن سازی صحیح یادگیری ماشینی، شرکت باید بتواند سه کار را انجام دهد: پیدا کردن مکان استفاده از یادگیری ماشینی، مدلسازی تهدید بر اساس آنچه پیدا شده است، و قرار دادن کنترلهایی برای مدیریت آن ریسکها.
مکگرو میگوید: «ما باید یادگیری ماشینی را پیدا کنیم [و] یک مدل تهدید را بر اساس آنچه پیدا کردید انجام دهیم. "شما چیزهایی پیدا کردید، و اکنون مدل تهدید شما باید تنظیم شود. هنگامی که مدل تهدید خود را انجام دادید و برخی از خطرات و تهدیدها را شناسایی کردید، باید برخی از کنترلها را درست روی تمام آن مشکلات اعمال کنید.»
کاسپی خاطرنشان میکند، هنگامی که تیم امنیتی بداند چه چیزی مورد استفاده قرار میگیرد، میتواند قطعه را مسدود کند یا خطمشی مناسبی را برای افزودن بررسیهای ایمنی یا «نردههای محافظ» به فرآیند توسعه تعیین کند. برای مثال، این امکان وجود دارد که یک برنامه بدون اینکه کسی کد تولید شده به طور خودکار را بررسی کند، به تولید برود تا مطمئن شود که مسائل در پایگاه کد وارد نشده است. او میگوید که بلوک کد ممکن است در واقع حاوی هیچ آسیبپذیری نباشد، اما تیمهای امنیتی میتوانند خطمشی ایجاد کنند که بر اساس آن کدهای تولیدشده بهطور خودکار باید توسط دو نفر بررسی شود تا بتوان آن را در پایگاه کد ادغام کرد.
کاسپی میگوید: «ما ردیابیهای زیادی داریم که به شما میگویند یک نرده محافظ را گم کردهاید. کاسپی میگوید که تیم امنیتی «تا حد امکان اطلاعات بیشتری درباره آنچه ما پیدا کردهایم» به دست میآورد تا بتوانند از اطلاعات برای انجام نوعی اقدام استفاده کنند. در برخی موارد، راهنمایی هایی در مورد بهترین اقدام یا بهترین شیوه ها وجود خواهد داشت.
هیچ ابزار یا پلتفرمی وجود ندارد که بتواند هر سه مورد را مدیریت کند، اما McGraw اتفاقاً در هیئت مشاوران سه شرکت مربوط به هر یک از حوزه ها حضور دارد. Legit Security همه چیز را پیدا میکند، IriusRisk به مدلسازی تهدید کمک میکند، و Calypso AI کنترلها را در جای خود قرار میدهد.
مکگرو میگوید: «من میتوانم تمام قسمتها را در حال حرکت ببینم. "همه قطعات در حال جمع شدن هستند."
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- منبع: https://www.darkreading.com/application-security/first-step-in-ai-ml-security-is-finding-them
- : دارد
- :است
- :نه
- :جایی که
- $UP
- 100
- a
- قادر
- درباره ما
- حساب
- در میان
- عمل
- واقعا
- اضافه کردن
- اضافه
- تنظیم کردن
- تنظیم شده
- تصویب
- مشاوره
- هیئت مشاوره
- AI
- AI / ML
- معرفی
- اجازه دادن
- قبلا
- همیشه
- an
- و
- پاسخ دادن
- پاسخ
- هر
- رابط های برنامه کاربردی
- کاربرد
- امنیت نرم افزار
- برنامه های کاربردی
- مناسب
- هستند
- محدوده
- مناطق
- مصنوعی
- هوش مصنوعی
- هوش مصنوعی (AI)
- AS
- ارزیابی کنید
- دارایی
- At
- مجاز
- مستقر
- BE
- زیرا
- تبدیل شدن به
- بوده
- قبل از
- بودن
- اعتقاد بر این
- بهترین
- بهترین شیوه
- بزرگ
- مسدود کردن
- تخته
- آورده
- ساختن
- کسب و کار
- اما
- by
- تماس ها
- آمد
- CAN
- قابلیت های
- مورد
- موارد
- کاتالوگ
- زنجیر
- چالش ها
- تغییر دادن
- GPT چت
- چک
- CISO
- اشاره
- بسته
- بنیانگذاران
- رمز
- پایه کد
- آینده
- شرکت
- شرکت
- جزء
- اجزاء
- نگرانی
- نگرانی ها
- اتصال
- شامل
- گروه شاهد
- متناظر
- میتوانست
- دوره
- ایجاد
- ایجاد شده
- CTO
- چرخه
- تاریک
- تاریک خواندن
- داده ها
- مدافعان
- ارائه
- تحویل
- دقیق
- مشخص کردن
- توسعه دهنده
- توسعه دهندگان
- پروژه
- توسعه
- DID
- نشد
- کشف
- do
- ندارد
- دان
- در طی
- هر
- آسان تر
- هر دو
- جاسازی شده
- تعبیه کردن
- کارکنان
- اطمینان حاصل شود
- سرمایه گذاری
- تمام
- اشخاص
- اتر (ETH)
- حتی
- هر
- همه چیز
- مثال
- مدیران
- وجود داشته باشد
- پنجم
- پیدا کردن
- پیدا کردن
- پیدا می کند
- نام خانوادگی
- بار اول
- پنج
- برای
- ثروت
- یافت
- چارچوب
- از جانب
- گری
- جنایی
- تولید می کنند
- مولد
- هوش مصنوعی مولد
- دریافت کنید
- GitHub
- Go
- حکومت
- چنگ زدن
- گروه ها
- در حال رشد
- راهنمایی
- بود
- دسته
- اتفاق می افتد
- آیا
- he
- سردرد
- کمک
- کمک می کند
- چگونه
- HTTPS
- صورت در آغوش گرفته
- i
- شناسایی
- شناسایی
- اجرا
- مهم
- in
- ترکیب کردن
- گنجاندن
- فرد
- لوازم
- اطلاعات
- اطلاع
- شالوده
- نمونه ها
- موسسه
- اطلاعات
- به
- معرفی
- معرفی
- فهرست
- مسائل
- IT
- تنها
- نوع
- دانستن
- دانا
- می داند
- عدم
- زبان
- بزرگ
- یاد گرفتن
- یادگیری
- Legit
- کتابخانه ها
- کتابخانه
- مجوزها
- زندگی
- پسندیدن
- محدود شده
- به دنبال
- مطالب
- خیلی
- دستگاه
- فراگیری ماشین
- ساخته
- ساخت
- مدیریت
- روش
- بسیاری
- نقشه برداری
- نقشه ها
- مسابقه
- ممکن است..
- به معنی
- نشست
- عضو
- گم
- ML
- مدل
- مدل سازی
- مدل
- بیش
- متحرک
- بسیار
- چندگانه
- نیاز
- نیازهای
- جدید
- نه
- یادداشت
- اکنون
- عدد
- تعداد
- of
- رسما
- غالبا
- on
- یک بار
- ONE
- آنهایی که
- فقط
- باز کن
- منبع باز
- or
- کدام سازمان ها
- سازمان های
- دیگر
- خارج
- روی
- خارج
- بخش
- ویژه
- بخش
- مردم
- شخص
- قطعات
- محل
- سکو
- افلاطون
- هوش داده افلاطون
- PlatoData
- سیاست
- سیاست
- مطرح
- ممکن
- شیوه های
- در حال حاضر
- مشکل
- مشکلات
- روند
- فرآیندهای
- تولید
- محصولات
- پروژه ها
- به درستی
- محافظت از
- عمومی
- اهداف
- قرار دادن
- قرار می دهد
- سوال
- سوالات
- RE
- مطالعه
- واقعیت
- واقعا
- اخیر
- شناختن
- بازتاب
- تنظیم
- صنایع تنظیم شده
- مربوط
- تکیه بر
- تحقیق
- پاسخ دهندگان
- بررسی
- بازبینی
- راست
- خطر
- خطرات
- در حال اجرا
- s
- ایمنی
- سعید
- همان
- گفتن
- می گوید:
- امن
- تیم امنیت لاتاری
- راه اندازی امنیتی
- دیدن
- انتخاب
- فرستاده
- سرورها
- سرویس
- خدمات
- سایه
- نشان
- پس از
- شش
- So
- نرم افزار
- اجزای نرم افزار
- توسعه نرم افزار
- امنیت نرم افزار
- زنجیره تامین نرم افزار
- برخی از
- کسی
- چیزی
- گاهی
- یک جایی
- منبع
- خاص
- پشته
- شروع
- گام
- توقف
- چنین
- عرضه
- زنجیره تامین
- اطراف
- بررسی
- سیستم های
- T
- گرفتن
- تیم
- تیم ها
- فن آوری
- پیشرفته
- گفتن
- که
- La
- اطلاعات
- شان
- آنها
- آنجا.
- اینها
- آنها
- اشیاء
- فکر می کنم
- تفکر
- این
- کسانی که
- اگر چه؟
- فکر
- تهدید
- تهدید
- سه
- از طریق
- زمان
- به
- با هم
- ابزار
- ابزار
- بالا
- لمس کرد
- تبدیل
- دو
- استفاده کنید
- استفاده
- استفاده
- با استفاده از
- مختلف
- Ve
- نسخه
- بسیار
- دید
- آسیب پذیری ها
- بود
- we
- خوب
- بود
- چی
- چه شده است
- چه زمانی
- چه
- که
- WHO
- که
- به طور گسترده ای
- اراده
- با
- بدون
- مهاجرت کاری
- نوشتن
- کد بنویس
- سال
- شما
- شما
- زفیرنت