המספר ההולך וגדל של יישומים המשלבים יכולות וכלים של בינה מלאכותית (AI) המקלים על העבודה עם מודלים של למידת מכונה (ML) יצרו כאבי ראש חדשים בשרשרת אספקת התוכנה עבור ארגונים, שצוותי האבטחה שלהם צריכים כעת להעריך ולנהל את הסיכונים הנשקפים על ידי רכיבי AI אלה. צוותי אבטחה בוחנים את שרשרת אספקת התוכנה וחושבים על רכיבי קוד פתוח, אך עליהם להכיר בכך ש-ML הוא חלק מזה ולהתאים את בקרות האבטחה ומדיניות ממשל הנתונים של הארגון כדי לשקף את המציאות שבה AI כבר קיים.
אחד האתגרים הגדולים סביב השימוש ההולך וגובר ב-AI בארגונים הוא למעשה אותה בעיית IT הצללית איתה מתמודדים מגיני ארגונים במשך שנים, אומר גארי מקגרו, מייסד שותף של Berryville Institute of Machine Learning. Shadow ML ו-Shadow AI קיימים מכיוון שבארגונים רבים, קבוצות עסקיות ועובדים בודדים הם אלו שבוחרים ומאמצים יישומי ML וכלי AI כחלק מתהליכי העבודה שלהם. צוותי אבטחה לרוב אינם מקבלים מידע כאשר הכלים הללו מוכנסים לארגון, וחוסר הנראות אומר שהם אינם מסוגלים לנהל אותם או להגן על הנתונים שבהם נעשה שימוש.
השאלה לגבי השימוש בבינה מלאכותית עלתה במהלך פגישה לאחרונה עם בכירים מחברת Fortune 100 גדולה וסטארטאפ אבטחת יישומים Legit Security, אומר McGraw (שחבר במועצת הייעוץ של Legit Security). לפלטפורמה של Legit Security, הממפה את כל מחזור החיים של פיתוח התוכנה מהפיתוח ועד למסירה, יש נראות בכל כלי ואפליקציה בשימוש.
"ה-CISO אמר, 'אנחנו לא מאפשרים למידת מכונה לפי מדיניות. אף אחד לא משתמש בזה", אומר מקגרו, והצוות הצליח להשתמש בפלטפורמה כדי להציג מופעים מרובים של ML ו-AI בשימוש.
אי הידיעה מהי ML ו-AI בשימוש היא דאגה גוברת ואינה מוגבלת רק לחברה הזו. ב סקר מחקר עדכני של Dark Reading, 74% מהנשאלים אמרו שהם מאמינים שעובדים משתמשים בכלי AI (GenAI) פומבי, כמו ChatGPT, למטרות עבודה, למרות שהכלים לא אושרו רשמית. כחמישית מהנשאלים (18%) אמרו שאחת מחמשת החששות העיקריים שלהם לגבי בינה מלאכותית היא שהם לא יכולים למנוע מעובדים להשתמש בכלי GenAI ציבוריים.
כיצד למצוא AI
Legit Security בוחנת כיצד טכנולוגיות GenAI משנות את פיתוח התוכנה, כמו שימוש בבינה מלאכותית ליצירת קוד או הטמעת מודלים של שפה גדולה (LLMs) במוצרים, אומר ליאב כספי, מייסד שותף ו-CTO של Legit Security. תוצר הלוואי של מיפוי הפלטפורמה של האופן שבו הארגון מפתח ומספק תוכנה הוא "מלאי מפורט מאוד" של כל רכיבי התוכנה בקוד פתוח וקוד סגור הנמצאים בשימוש, בניית כלים, מסגרות, תוספות, ואפילו השרתים שהמפתחים הם. משתמש, אומר כספי. מכיוון שטכנולוגיה חדשה לא תמיד נכנסת לערימת הטכנולוגיה של הארגון בצורה מלמעלה למטה, קטלוג נכסים זה הוא לעתים קרובות הפעם הראשונה בה המנהלים לומדים על כל רכיבי התוכנה וכלי המפתחים הנמצאים בשימוש.
"מסתבר שמה שאנשים חושבים הוא המקרה ומה שבאמת המקרה אינם תואמים לפעמים", אומר מקגרו. "כשאתה אומר ל-CISO או לאדם שמפעיל אבטחת תוכנה, 'היי, האם ידעת שיש שישה כאלה?' והם אומרים, 'חשבתי שיש לנו רק שניים', [יש בעיה.]
לצד מענה על שאלות כמו כמה מערכות מעקב אחר באגים הארגון מריץ, כמה מופעים של GitHub הותקנו, כמה מופעים של JIRA קיימים, או אילו מפתחים משתמשים באילו מהדרים, Legit Security עונה על שאלות כמו היכן המפתחים משתמשים ב-LLM, אילו יישומים מתחברים לאיזה שירות בינה מלאכותית, אילו נתונים נשלחים לשירותים אלו, ובאילו דגמים משתמשים בפועל. השאלה אם נתונים כלשהם נשלחים לשירותים אחרים חשובה במיוחד עבור גופים בתעשיות מוסדרות, אומר כספי.
"[אנחנו] גילינו דברים שארגונים גדולים לא ידעו, כמו שהם לא ידעו שהם משתמשים בספרייה ספציפית. הם לא ידעו שיש להם מפתחים בחו"ל שהעתיקו את הקוד לחשבון איפשהו", אומר כספי.
תחום נוסף של דאגה הוא האם הארגון מסתמך על קוד כלשהו שנוצר בינה מלאכותית, משהו שהופך רלוונטי יותר עם הצגת כלים וטייסי שיתוף שונים שעוזרים למפתחים לכתוב קוד, אומר כספי. בסקר Dark Reading, 28% מהמשיבים ציינו חששות לגבי נקודות תורפה אפשריות בקוד שנוצר בינה מלאכותית.
נכון לעכשיו, הפלטפורמה סורקת את תשתית הפיתוח כדי לזהות את כל החלקים בהם נוגעים בינה מלאכותית. הוא מסתכל במאגרים ומזהה LLMs המוטמעים ביישומים, האם נעשה שימוש בכלים להפקת קוד, אילו ספריות תוכנה נוספו, אילו שיחות API מתבצעות ואיזה סוג של רישיונות משתמשים. לדוגמה, huggingface נמצא בשימוש נרחב בפרויקטי פיתוח תוכנה לבניית ושילוב מודלים של למידת מכונה. צוותי אבטחה צריכים לחשוב על מספרי גרסאות, כמו גם על האופן שבו מיושמים מודלים, אומר כספי.
כיצד לאבטח ML
כדי לאבטח כראוי למידת מכונה, הארגון צריך להיות מסוגל לעשות שלושה דברים: למצוא היכן נעשה שימוש בלמידה חישובית, מודל האיום של הסיכון על סמך מה שנמצא, ולהכניס בקרות לניהול הסיכונים הללו.
"אנחנו צריכים למצוא למידת מכונה [ולעשות מודל איום על סמך מה שמצאת", אומר מקגרו. "מצאת כמה דברים, ועכשיו צריך להתאים את מודל האיומים שלך. ברגע שאתה עושה את מודל האיומים שלך וזיהית כמה סיכונים ואיומים, אתה צריך להכניס כמה בקרה על כל הבעיות האלה."
ברגע שצוות האבטחה יודע במה נעשה שימוש, הם יכולים לחסום את הרכיב או לקבוע מדיניות מתאימה להוספת בדיקות בטיחות, או "מעקות בטיחות", לתהליך הפיתוח, מציין כספי. לדוגמה, ייתכן שאפליקציה תעבור לייצור מבלי שמישהו יבדוק את הקוד שנוצר אוטומטית כדי לוודא שבעיות לא הוכנסו לבסיס הקוד. ייתכן שחסום הקוד לא מכיל פגיעויות כלשהן, אבל צוותי אבטחה יכולים ליצור מדיניות המחייבת קוד שנוצר אוטומטית להיבדק על ידי שני אנשים לפני שניתן יהיה למזג אותו לתוך בסיס הקוד, הוא אומר.
"יש לנו הרבה גילויים שיגידו לך שחסר לך מעקה בטיחות", אומר כספי. צוות האבטחה מקבל "כמה שיותר מידע על מה שמצאנו", כדי שיוכלו להשתמש במידע כדי לבצע איזושהי פעולה, אומר כספי. במקרים מסוימים, תהיה הנחיות לגבי דרך הפעולה הטובה ביותר או שיטות עבודה מומלצות.
אין כלי אחד או פלטפורמה שיכולים להתמודד עם כל שלושת הדברים, אבל מקגרו נמצא במקרה בוועדות המייעצות של שלוש חברות המתאימות לכל אחד מהתחומים. Legit Security מוצא הכל, IriusRisk עוזרת במודלים של איומים, ו-Calypso AI מכניסה בקרות למקום.
"אני יכול לראות את כל החלקים זזים", אומר מקגרו. "כל החלקים מתאחדים."
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://www.darkreading.com/application-security/first-step-in-ai-ml-security-is-finding-them
- :יש ל
- :הוא
- :לֹא
- :איפה
- $ למעלה
- 100
- a
- יכול
- אודות
- חֶשְׁבּוֹן
- לרוחב
- פעולה
- למעשה
- להוסיף
- הוסיף
- לְהַתְאִים
- מותאם
- אימוץ
- ייעוץ
- ועדת ייעוץ
- AI
- AI / ML
- תעשיות
- להתיר
- כְּבָר
- תמיד
- an
- ו
- מענה
- תשובות
- כל
- ממשקי API
- בקשה
- אבטחת יישומים
- יישומים
- מתאים
- ARE
- AREA
- אזורים
- מלאכותי
- בינה מלאכותית
- בינה מלאכותית (AI)
- AS
- לְהַעֲרִיך
- נכס
- At
- מורשה
- מבוסס
- BE
- כי
- התהוות
- היה
- לפני
- להיות
- האמין
- הטוב ביותר
- שיטות עבודה מומלצות
- גָדוֹל
- לחסום
- לוּחַ
- מובא
- לִבנוֹת
- עסקים
- אבל
- by
- שיחות
- הגיע
- CAN
- יכולות
- מקרה
- מקרים
- קטלוג
- שרשרת
- האתגרים
- שינוי
- ChatGPT
- בדיקות
- CISO
- מצוטט
- סגור
- מייסד שותף
- קוד
- בסיס קוד
- מגיע
- חברות
- חברה
- רְכִיב
- רכיבים
- דְאָגָה
- דאגות
- מקשר
- להכיל
- בקרות
- תוֹאֵם
- יכול
- קורס
- לִיצוֹר
- נוצר
- ראש אגף טכנולוגיה
- מחזור
- כהה
- קריאה אפלה
- נתונים
- המגינים
- מספק
- מסירה
- מְפוֹרָט
- לקבוע
- מפתח
- מפתחים
- צעצועי התפתחות
- מפתחת
- DID
- לא
- גילה
- do
- לא איכפת
- דון
- בְּמַהֲלָך
- כל אחד
- קל יותר
- או
- מוטבע
- הטבעה
- עובדים
- לְהַבטִיחַ
- מִפְעָל
- שלם
- ישויות
- Ether (ETH)
- אֲפִילוּ
- כל
- הכל
- דוגמה
- כעובדים בכירים
- להתקיים
- ה
- מציאת
- ממצאים
- ראשון
- firsttime
- חמש
- בעד
- הון עתק
- מצא
- מסגרות
- החל מ-
- גארי
- גנאי
- ליצור
- גנרטטיבית
- AI Generative
- לקבל
- GitHub
- Go
- ממשל
- מתמודד
- קבוצה
- גדל
- הדרכה
- היה
- לטפל
- קורה
- יש
- he
- כאבי ראש
- לעזור
- עוזר
- איך
- HTTPS
- חיבוק פנים
- i
- מזוהה
- לזהות
- יושם
- חשוב
- in
- בע"מ
- שילוב
- בנפרד
- תעשיות
- מידע
- הודעה
- תשתית
- מקרים
- מכון
- מוֹדִיעִין
- אל תוך
- הציג
- מבוא
- מלאי
- בעיות
- IT
- רק
- סוג
- לדעת
- יודע
- יודע
- חוסר
- שפה
- גָדוֹל
- לִלמוֹד
- למידה
- חוּקִי
- ספריות
- סִפְרִיָה
- רישיונות
- החיים
- כמו
- מוגבל
- הסתכלות
- נראה
- מגרש
- מכונה
- למידת מכונה
- עשוי
- לעשות
- לנהל
- דרך
- רב
- מיפוי
- מפות
- להתאים
- מאי..
- אומר
- מפגש
- חבר
- חסר
- ML
- מודל
- דוגמנות
- מודלים
- יותר
- נע
- הרבה
- מספר
- צורך
- צרכי
- חדש
- לא
- הערות
- עַכשָׁיו
- מספר
- מספרים
- of
- רשמית
- לעתים קרובות
- on
- פעם
- ONE
- יחידות
- רק
- לפתוח
- קוד פתוח
- or
- ארגון
- ארגונים
- אחר
- הַחוּצָה
- יותר
- חוּץ לָאָרֶץ
- חלק
- במיוחד
- חלקים
- אֲנָשִׁים
- אדם
- חתיכות
- מקום
- פלטפורמה
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- מדיניות
- מדיניות
- הנשקף
- אפשרי
- פרקטיקות
- להציג
- בעיה
- בעיות
- תהליך
- תהליכים
- הפקה
- מוצרים
- פרויקטים
- כמו שצריך
- להגן
- ציבורי
- למטרות
- גם
- מכניס
- שאלה
- שאלות
- RE
- קריאה
- מציאות
- בֶּאֱמֶת
- לאחרונה
- להכיר
- לשקף
- מוסדר
- תעשיות מוסדרות
- רלוונטי
- הסתמכות
- מחקר
- המשיבים
- סקר
- ביקורת
- תקין
- הסיכון
- סיכונים
- ריצה
- s
- בְּטִיחוּת
- אמר
- אותו
- לומר
- אומר
- לבטח
- אבטחה
- הפעלת אבטחה
- לִרְאוֹת
- בחירה
- נשלח
- שרתים
- שרות
- שירותים
- Shadow
- לְהַצִיג
- since
- שישה
- So
- תוכנה
- רכיבי תוכנה
- פיתוח תוכנה
- אבטחת תוכנה
- שרשרת אספקת תוכנה
- כמה
- מישהו
- משהו
- לפעמים
- אי שם
- מָקוֹר
- ספציפי
- לערום
- סטארט - אפ
- שלב
- עצור
- כזה
- לספק
- שרשרת אספקה
- הסובב
- סֶקֶר
- מערכות
- T
- לקחת
- נבחרת
- צוותי
- טכנולוגיות
- טכנולוגיה
- לספר
- זֶה
- השמיים
- המידע
- שֶׁלָהֶם
- אותם
- שם.
- אלה
- הֵם
- דברים
- לחשוב
- חושב
- זֶה
- אלה
- אם כי?
- מחשבה
- איום
- איומים
- שְׁלוֹשָׁה
- דרך
- זמן
- ל
- יַחַד
- כלי
- כלים
- חלק עליון
- נגע
- פונה
- שתיים
- להשתמש
- מְשׁוּמָשׁ
- שימושים
- באמצעות
- שונים
- Ve
- גרסה
- מאוד
- ראות
- פגיעויות
- היה
- we
- טוֹב
- היו
- מה
- מה
- מתי
- אם
- אשר
- מי
- של מי
- באופן נרחב
- יצטרך
- עם
- לְלֹא
- תיק עבודות
- לכתוב
- לכתוב קוד
- שנים
- אתה
- זפירנט