קרדיט תמונה: Facebook AI Research

לאחרונה התחלתי עלון חדש המתמקד בחינוך למדעי המוח יש כבר מעל 50,000 מנויים. TheSequence הוא עלון ללא BS (כלומר אין היפ, אין חדשות וכו ') עלון ממוקד AI, שלוקח 5 דקות לקרוא. המטרה היא להתעדכן בפרויקטים של למידת מכונה, עבודות מחקר ומושגים. אנא נסה זאת על ידי הרשמה למטה:

בשנה שעברה, Facebook AI Research (FAIR) בקוד פתוח BlenderBot 1.0, צ'אטבוט הדומיין הפתוח הגדול ביותר שנבנה אי פעם. BlenderBot מסוגל לעסוק במגוון גדול של שיחות כמעט בכל נושא תוך הצגת מאפיינים דמויי אדם כמו אמפתיה ורמות מעורבות אישיות. הגרסה הראשונה של BlenderBot הייתה אחד הצ'אטבוטים הראשונים ששילבו אמפתיה, אישיות וידע במערכת אחת.

בשבוע שעבר, צוות FAIR בקוד פתוח גרסה חדשה של BlenderBot הכולל מספר שיפורים מרכזיים לקודמו. ליתר דיוק, BlenderBot 2.0 משלב שני חידושים עיקריים ביחס לגרסה הקודמת:

1. יכולות זיכרון לטווח ארוך משופרות.
2. יכולת חיפוש באינטרנט לידע בזמן אמת.

ארכיטקטורות שנאי כגון GPT-3 או BERT חוללו מהפכה במערכות עיבוד שפה טבעית (NLP), אך עדיין יש להן מגבלות ניכרות. ביניהם, זיכרון לטווח ארוך בולט כאחד החסרונות העיקריים של דגמי שנאים גדולים. באופן כללי, ארכיטקטורות שנאים מסוגלות לבנות רק מבני זיכרון לטווח קצר התלויים מאוד בידע שהוכשר מראש. לדוגמה, GPT-3 הוא בעל ידע רב בסרטים וסדרות טלוויזיה מלפני כמה שנים, אך אינו מעודכן בתכניות הנוכחיות.

קרדיט תמונה: Facebook AI Research

כדי להתמודד עם מגבלה זו, BlenderBot 2.0 משלים את הידע האימון עם היכולת להפעיל חיפושים באינטרנט אחר ידע רלוונטי שנשאר אז במאגר הזיכרון לטווח ארוך שלו. מבחינה ארכיטקטונית, BlenderBot 2.0 מגדיל את מודל השנאי שלו עם רשת עצבית נוספת שמפעילה שאילתות חיפוש על סמך הקשר שיחה ספציפי. לאחר מכן, BlenderBot משלב עם תוצאות החיפוש עם הידע הקיים בשיחה על מנת לבטא תגובה סופית.

קרדיט תמונה: Facebook AI Research

התוצאה של ארכיטקטורת BlenderBot 2.0 היא צ'טבוט שיכול לשלב שיחות טבעיות עם ידע בזמן אמת תוך גישה להקשר משיחות קודמות. הטכניקות המשמשות ב- BlenderBot 2.0 יכולות להוות השראה לדור חדש של מערכות שיחה המתאים ארכיטקטורות שנאים לדרישות של מערכות בעולם האמיתי.

 
מְקוֹרִי. פורסם מחדש באישור.

מידע נוסף:

• פייסבוק משיקה את אחד מאתגרי הלמידה החזקים ביותר בהיסטוריה
• DeepMind רוצה לדמיין מחדש את אחד האלגוריתמים החשובים ביותר בלימוד מכונה
• יכולות למידת מכונה בעלות קוד נמוך מדהים עם עדכון לודוויג חדש