אתה רק צריך עט ונייר כדי להטעות את קוד ראיית המחשב של OpenAI. פשוט כתוב מה אתה רוצה שהוא יראה

חוקרי OpenAI מאמינים כי גילו דרך קלה להפליא לסחוב את תוכנת זיהוי האובייקטים שלהם, והיא דורשת לבצע עט ונייר בלבד.

באופן ספציפי, המודל האחרון לראיית המחשב של המעבדה, CLIP, ניתן לתעתע במה שמתואר כ"מתקפה טיפוגרפית ". כל שעליך לעשות הוא לכתוב את המילים 'אייפוד' או 'פיצה' על מעט נייר, להדביק אותו על תפוח, והתוכנה תסוו את פיסת הפרי בטעות כנגן מוזיקה של קופרטינו או כמנה טעימה.

לא הכלי הכי חכם בתיבה. מקור: OpenAI. לחץ להגדלה

"אנו מאמינים שהתקפות כמו אלה שתוארו לעיל רחוקות מלהיות רק עניין אקדמי", הגורמים העומדים מאחורי CLIP אמר השבוע. "על ידי ניצול יכולתו של המודל לקרוא טקסט בצורה איתנה, אנו מוצאים כי אפילו תצלומים של טקסט בכתב יד יכולים לעתים קרובות להטעות את המודל." הם הוסיפו כי "התקפה זו פועלת בטבע", ו"היא לא דורשת יותר טכנולוגיה מאשר עט ונייר. "

CLIP אינה התוכנה האינטליגנטית המלאכותית היחידה שנופלת על שנאים פשוטים כאלה. הוכח שאתה יכול להשתמש בסרט דביק כדי להטעות את הטייס האוטומטי של טסלה לקרוא לא נכון שלט של 35 קמ"ש כסימן של 85 קמ"ש. צורות אחרות של התקפות יריבות כביכול אלה דורשות קצת ידע טכני לביצוע: זה בדרך כלל כולל הוספת רעש לתצלום או יצירה של מדבקה של פיקסלים מסודרים בקפידה כדי לטעות במערכת זיהוי אובייקטים, נניח, בננה לטוסטר. אולם במקרה של CLIP אין צורך בכך.

די לומר, המודל של OpenAI הוכשר באמצעות תמונות של טקסט, כמו גם תמונות של אובייקטים ודברים אחרים שנשרטו מהאינטרנט.

חושבים שהשעון החכם שלכם טוב להתראה על התקף לב? מסתבר שקל להפתיע קל לרמות את ה- AI שלו

למידע נוסף

גישה זו ננקטה כך ש- CLIP יישאר מטרה כללית למדי, וניתן יהיה לכוונן אותה לפי הצורך לעומס עבודה מסוים מבלי שיהיה צורך להכשיר אותה מחדש. בהינתן תמונה, היא לא יכולה רק לחזות את הקבוצה המתאימה של תוויות הטקסט המתארות את הסצנה, אלא ניתן להחזיר אותה לחיפוש בבסיסי נתונים גדולים של תמונות ולספק כיתובים.

חברת CLIP מסוגלת ללמוד מושגים מופשטים על פני ייצוגים שונים, אמר OpenAI. לדוגמא, המודל מסוגל לזהות את ספיידרמן כאשר גיבור העל מתואר בתצלום, סקיצה או מתואר בטקסט. מה שמעניין יותר הוא שהחוקרים הצליחו למצוא קבוצות של נוירונים ברשת העצבית המופעלות כאשר התוכנה עוקבת הצצה לספיידרמן.

הם תיארו את אלה כ נוירונים רב-מודליים. "נוירון אחד כזה, למשל, הוא נוירון 'ספיידרמן' המגיב לדימוי של עכביש, תמונה של הטקסט 'עכביש', ודמות הקומיקס 'ספיידרמן' בתלבושת או מאוירת, "אמר צוות OpenAI. ל- CLIP יש כל מיני נוירונים רב-מודליים המייצגים מושגים שונים, כגון עונות, מדינות, רגשות וחפצים.

אבל החוזקות הגדולות ביותר של הדגם - הרבגוניות והחוסן שלו - היא גם חולשתו הגדולה ביותר. הם מצאו כי CLIP נשלף בקלות על ידי התקפות טיפוגרפיות.

אם נחזור לדוגמא לתפוח לעומת פיצה, הנוירונים הרב-מודליים שלמדו ייצוג של תפוח לא יורים גם כשהם רואים את המילה הכתובה 'פיצה'. במקום זאת, הנוירונים הקשורים לפיצה מופעלים במקום זאת. המודל מבולבל בקלות.

ישנן עדויות לכך שלמידה מופשטת באמצעות נוירונים רב-מודליים מתרחשת גם במוח האדם. אך למרבה הצער, כאן מכונות מודרניות מחווירות בהשוואה לעמיתיהן הביולוגיים. בני אדם יכולים כמובן לומר שתפוח עם פתק בכתב יד שעליו נכתב פיצה הוא עדיין תפוח, ואילו דגמי AI עדיין לא יכולים.

OpenAI אמר כי CLIP אינו מבצע ביצועים טובים כמו כמה דגמי ראיית מחשב המשמשים כיום לייצור. הוא סובל גם מהטיות פוגעניות, הנוירונים שלו משייכים את המושג 'המזרח התיכון' ל'טרור 'ואנשים שחורים עם גורילות. המודל משמש רק למטרות מחקר כרגע, ו- OpenAI עדיין מחליטה אם לשחרר את הקוד או לא.

"ההבנה שלנו לגבי CLIP עדיין מתפתחת, ואנחנו עדיין קובעים אם ואיך נשחרר גרסאות גדולות של CLIP. אנו מקווים כי חקר קהילתי נוסף של הגרסאות המשוחררות, כמו גם הכלים עליהם אנו מכריזים היום יסייעו בקידום ההבנה הכללית של מערכות מולטי-מודליות, וכן יידעו את קבלת ההחלטות שלנו ", נכתב.

OpenAI סירבה להגיב עוד על CLIP. ®

מקור: https://go.theregister.com/feed/www.theregister.com/2021/03/05/openai_writing_attack/