חוקרי בינה מלאכותית חושפים נקודות תורפה קריטיות בתוך חברות LLM גדולות

חוקרי בינה מלאכותית חושפים נקודות תורפה קריטיות בתוך חברות LLM גדולות

חותמת זמן: 15 באוקטובר 2023 3:54
צומת המקור: 2936742
15 באוקטובר 2023 (חדשות Nanowerkמודלים גדולים של שפה (LLMs) כגון ChatGPT ובארד כבשו את העולם בסערה השנה, עם חברות שהשקיעו מיליונים כדי לפתח את כלי הבינה המלאכותית הללו, וכמה צ'טבוטים מובילים של בינה מלאכותית מוערכות במיליארדים. LLMs אלה, שנמצאים בשימוש הולך וגובר בתוך צ'אטבוטים של AI, מגרדים את כל האינטרנט של המידע כדי ללמוד ולהודיע ​​על תשובות שהם מספקים לבקשות שצוינו על ידי המשתמש, הידועות בשם 'הנחיות'. עם זאת, מדעני מחשבים מסטארט-אפ האבטחה בינה מלאכותית Mindgard ואוניברסיטת לנקסטר בבריטניה הוכיחו שניתן להעתיק חלקים מה-LLM הללו תוך פחות משבוע תמורת 50 דולר בלבד, וניתן להשתמש במידע שנצבר להפעלת התקפות ממוקדות. . החוקרים מזהירים שתוקפים המנצלים את הפגיעויות הללו עלולים לחשוף מידע סודי פרטי, לעקוף מעקות בטיחות, לספק תשובות שגויות או לשלב התקפות ממוקדות נוספות. מפורט בעיתון חדש ("עלילת מודל: התקפת חילוץ המכוונת ל-LLMs") שיוצגו ב-CAMLIS 2023 (כנס למידת מכונה יישומית לאבטחת מידע) החוקרים מראים כי ניתן להעתיק היבטים חשובים של LLMs קיימים בזול, והם מדגימים עדויות לפגיעויות המועברות בין מודלים שונים. ההתקפה הזו, המכונה 'עלוקת מודל', פועלת על ידי דיבור עם LLMs בצורה כזו - שואלת אותה קבוצה של הנחיות ממוקדות - כך שה-LLMs מוציאים מידע רב תובנה המסגיר את אופן הפעולה של המודל. צוות המחקר, שמיקד את המחקר שלו ב-ChatGPT-3.5-Turbo, השתמש בידע הזה כדי ליצור מודל העתקה משלהם, שהיה קטן פי 100 אך משוכפל היבטי מפתח של ה-LLM. החוקרים יכלו אז להשתמש בעותק המודל הזה כשטח בדיקה כדי לגלות כיצד לנצל פגיעויות ב-ChatGPT ללא זיהוי. לאחר מכן, הם יכלו להשתמש בידע שנאסף מהמודל שלהם כדי לתקוף נקודות תורפה ב-ChatGPT עם שיעור הצלחה גדל של 11%. ד"ר פיטר גראגאן מאוניברסיטת לנקסטר, מנכ"ל מינדגארד וחוקר ראשי במחקר, אמר: "מה שגילינו מרתק מבחינה מדעית, אבל מדאיג ביותר. זו בין העבודות הראשונות שהדגימו באופן אמפירי שניתן להעביר בהצלחה פרצות אבטחה בין מודלים של Machine Learning בקוד סגור לקוד פתוח, וזה מדאיג ביותר בהתחשב במידת התמיכה של התעשייה על מודלים של Machine Learning זמינים לציבור המתארחים במקומות כמו HuggingFace. החוקרים אומרים שעבודתם מדגישה שלמרות שלטכנולוגיות הבינה המלאכותית הדיגיטליות החזקות הללו יש שימושים ברורים, קיימות חולשות נסתרות, וייתכנו אפילו נקודות תורפה נפוצות בין הדגמים. עסקים ברחבי התעשייה נמצאים כרגע או מתכוננים להשקיע מיליארדים ביצירת LLMs משלהם כדי לבצע מגוון רחב של משימות כגון עוזרים חכמות. שירותים פיננסיים וארגונים גדולים מאמצים את הטכנולוגיות הללו, אך חוקרים אומרים שפגיעויות אלו צריכות להוות דאגה גדולה עבור כל העסקים שמתכננים לבנות או להשתמש ב-LLM של צד שלישי. ד"ר Garraghan אמר: "בעוד שטכנולוגיית LLM היא בעלת פוטנציאל טרנספורמציה, עסקים ומדענים כאחד יצטרכו לחשוב בזהירות רבה על הבנת סיכוני הסייבר הקשורים לאימוץ ופריסה של LLMs ולמדוד אותם.

בול זמן:

עוד מ ננוווק