מחקר של מיקרוסופט מאמן רשתות עצביות כדי להבין מה הם קוראים

מקור: https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

לאחרונה התחלתי עלון חדש המתמקד בחינוך למדעי המוח יש כבר מעל 50,000 מנויים. TheSequence הוא עלון ללא BS (כלומר אין היפ, אין חדשות וכו ') עלון ממוקד AI, שלוקח 5 דקות לקרוא. המטרה היא להתעדכן בפרויקטים של למידת מכונה, עבודות מחקר ומושגים. אנא נסה זאת על ידי הרשמה למטה:

הבנת הנקרא במכונה (MRC) היא דיסציפלינה מתפתחת בתחום הלמידה העמוקה. מנקודת מבט רעיונית, MRC מתמקדת במודלים של למידה עמוקה שיכולים לענות על שאלות אינטליגנטיות לגבי מסמכי טקסט ספציפיים. עבור בני אדם, הבנת הנקרא היא מיומנות קוגניטיבית מקורית שפותחה מאז ימי בית הספר הראשונים או אפילו לפני כן. כאשר אנו קוראים טקסט, אנו מחלצים באופן אינסטינקטיבי את הרעיונות המרכזיים שיאפשרו לנו לענות על שאלות עתידיות בנושא זה. במקרה של מודלים של בינה מלאכותית (AI), המיומנות הזו עדיין לא מפותחת במידה רבה.

הדור הראשון שאומץ באופן נרחב של טכניקות הבנת שפה טבעית (NLU) התמקד בעיקר בזיהוי הכוונות והמושגים הקשורים למשפט ספציפי. אנו יכולים לחשוב על מודלים אלה כעל נדבך ראשון של ידע כדי לאפשר הבנת הנקרא. עם זאת, הבנת הנקרא המלאה במכונה זקוקה לאבני בניין נוספות שיכולות להקצין ולתאם שאלות לקטעים ספציפיים בטקסט ולבנות ידע מקטעים ספציפיים במסמך.

אחד האתגרים הגדולים ביותר בתחום ה-MRC הוא שרוב המודלים מבוססים על הכשרה מפוקחת עם מערכי נתונים המכילים לא רק את המסמכים אלא גם שאלות ותשובות פוטנציאליות. כפי שאתה יכול לדמיין, גישה זו לא רק שקשה מאוד להרחיב אותה, אלא כמעט בלתי אפשרית ליישום בתחומים מסוימים שבהם הנתונים פשוט אינם זמינים. לאחרונה הציעו חוקרים ממיקרוסופט גישה מעניינת להתמודדות עם האתגר הזה באלגוריתמי MRC.

בעיתון שכותרתו "רשתות סינתזה דו-שלביות ללימוד העברה בהבנת מכונה", המחקר של מיקרוסופט הציגה טכניקה שנקראת רשתות סינתזה דו-שלביות או SynNet שמחיל למידת העברה כדי להפחית את המאמץ להכשיר מודל MRC. SynNet ניתן לראות כגישה דו-שלבית לבניית ידע הקשור לטקסט ספציפי. בשלב הראשון, SynNet לומד דפוס כללי של זיהוי "עניין" פוטנציאלי במסמך טקסט. אלו הן נקודות ידע מרכזיות, ישויות בשם או מושגים סמנטיים שהם בדרך כלל תשובות שאנשים עשויים לבקש. לאחר מכן, בשלב השני, המודל לומד ליצור שאלות שפה טבעית סביב התשובות הפוטנציאליות הללו, בהקשר של המאמר.

הדבר המרתק בנושא SynNet הוא שלאחר הכשרה, ניתן להחיל מודל על תחום חדש, לקרוא את המסמכים בדומיין החדש ולאחר מכן ליצור שאלות ותשובות פסבדו על רקע מסמכים אלו. לאחר מכן, הוא יוצר את נתוני ההדרכה הדרושים כדי להכשיר מערכת MRC עבור אותו תחום חדש, שיכול להיות מחלה חדשה, מדריך לעובדים של חברה חדשה או מדריך למוצר חדש.

אנשים רבים מקשרים בטעות את טכניקת MRC לתחום המפותח יותר של תרגום מכונה. במקרה של דגמי MRC כגון SynNet, האתגר הוא שהם צריכים לסנתז את שתי השאלות ו תשובות למסמך. בעוד שהשאלה היא משפט בשפה טבעית שוטפת מבחינה תחבירית, התשובה היא בעיקר מושג סמנטי בולט בפסקה, כגון ישות בעלת שם, פעולה או מספר. כיוון שלתשובה יש מבנה לשוני שונה מהשאלה, אולי מתאים יותר לראות בתשובות ובשאלות שני סוגי נתונים שונים. SynNet מתממש באותה תיאוריה על ידי פירוק תהליך יצירת צמדי שאלות ותשובות לשני שלבים יסודיים: יצירת התשובות מותנה בפסקה ויצירת השאלות מותנה בפסקה ובתשובה.

קרדיט תמונה: מחקר של מיקרוסופט

אתה יכול לחשוב על SynNet כמורה שטוב מאוד ביצירת שאלות ממסמכים על סמך הניסיון שלו. ככל שהוא לומד על השאלות הרלוונטיות בתחום אחד, הוא יכול ליישם את אותם דפוסים על מסמכים בתחום חדש. חוקרי מיקרוסופט יישמו את העקרונות של SynNet לדגמי MRC שונים כולל המודלים שפורסמו לאחרונה ReasoNet אשר הראו הבטחה רבה לקראת הפיכת הבנת הנקרא במכונה למציאות בעתיד הקרוב.

 
מְקוֹרִי. פורסם מחדש באישור.

מידע נוסף: