מאת רישין שארמה וג'ייק ברוקמן.
תודה מיוחדת לכל מי שנתן משוב על היצירה הזו, כולל ניק יאקובנקו, דיוויד פקמן, יאן קופנס, AC, אוון פנג, עדי סיידמן.
מקור: תמונה שנוצרה על ידי בינה מלאכותית מבית Lexica.art, מנוע חיפוש דיפוזיה יציב
חדשנות טכנולוגית אף פעם לא נחה, וזה נכון במיוחד לגבי בינה מלאכותית. במהלך השנים האחרונות ראינו את הפופולריות של מודלים של למידה עמוקה צצים מחדש כמבשרים ב-AI. מכונה גם רשתות עצביות, מודלים אלה מורכבים משכבות צמודות הקשורות ביניהן של צמתים המעבירות מידע זה דרך זה, המחקות בערך את בניית המוח האנושי. בתחילת שנות ה-2010, למודלים המתקדמים ביותר היו מיליוני פרמטרים, מודלים בפיקוח כבד ששימשו לניתוח וסיווג סנטימנטים ספציפיים. הדגמים המתקדמים ביותר של היום כגון סטודיו חלומות, GPT-3, DALL-E2, ו תמונה מתקרבים לטריליון פרמטרים ומבצעים משימות מורכבות ואפילו יצירתיות שמתחרות בעבודה אנושית. קח, למשל, את תמונת הכותרת או הסיכום של פוסט זה. שניהם הופקו על ידי בינה מלאכותית. אנחנו רק התחלנו לראות את ההשלכות החברתיות והתרבותיות של המודלים האלה כשהם מעצבים את האופן שבו אנחנו לומדים דברים חדשים, מתקשרים אחד עם השני ומבטאים את עצמנו בצורה יצירתית.
עם זאת, חלק ניכר מהידע הטכני, מערכי הנתונים המרכזיים והיכולת החישובית לאמן רשתות עצביות גדולות כיום הם מקור סגור ומוגדרים על ידי חברות "ביג טק" כמו גוגל ומטה. בעוד העתק מודלים של קוד פתוח כגון GPT-NeoX, DALLE-מגה, ו BLOOM עמדו בראשם של ארגונים כולל StabilityAI, Eleether AI, ו חיבוק פנים, web3 מוכנה להטעין עוד יותר AI בקוד פתוח.
"שכבת תשתית web3 עבור AI יכולה להציג אלמנטים של פיתוח קוד פתוח, בעלות וממשל קהילתי, וגישה אוניברסלית היוצרות מודלים ויעילות חדשים בפיתוח הטכנולוגיות החדשות הללו."
יתר על כן, מקרי שימוש קריטיים רבים עבור web3 ישתפרו על ידי אימוץ טכנולוגיות AI. מ NFTs אמנות יצירתית לנופים מטא-ברסליים, בינה מלאכותית תמצא מקרי שימוש רבים ב-web3. בינה מלאכותית בקוד פתוח משתלבת באתוס הפתוח, המבוזר והדמוקרטי של web3 ומייצגת אלטרנטיבה לבינה מלאכותית שמספקת Big Tech, אשר לא צפויה להיפתח בקרוב.
דגמי יסוד הן רשתות עצביות שאומנו על מערכי נתונים נרחבים לביצוע משימות שבדרך כלל ידרשו התנהגות אנושית חכמה. מודלים אלה יצרו כמה תוצאות מרשימות.
מודלים של שפה כמו של OpenAI GPT-3, ה-LaMDA של גוגל, ו ה-Megatron-Turing NLG של Nvidia יש את היכולת להבין ולייצר שפה טבעית, לסכם ולסנתז טקסט, ואפילו לכתוב קוד מחשב.
DALLE-2 הוא של OpenAI מודל פיזור טקסט לתמונה שיכולים לייצר תמונות ייחודיות מטקסט כתוב. חטיבת הבינה המלאכותית של גוגל, DeepMind, ייצרה דגמים מתחרים, כולל PaLM, מודל שפת פרמטרים של 540B, ו-Image, מודל יצירת תמונות משלה שעולה על DALLE-2 במדדי DrawBench ו-COCO FID. אימג'ן מייצרת תוצאות פוטוריאליסטיות יותר ובעלת יכולת לאיית.
מודלים של למידה לתגבור כמו של גוגל AlphaGo ניצחו את אנושי גו אלוף העולם תוך גילוי אסטרטגיות חדשות וטכניקות משחק שלא הופיעו בהיסטוריה בת שלושת אלפים השנים של המשחק.
המירוץ לבניית מודלים מורכבים של יסודות כבר החל עם ביג טק בחזית החדשנות. עד כמה שהקידום של התחום מרגש, ישנו נושא מרכזי שמדאיג אותו.
במהלך העשור האחרון, ככל שדגמי בינה מלאכותית השתכללו, הם גם הפכו סגורים יותר ויותר לציבור.
ענקיות הטכנולוגיה משקיעות רבות בייצור מודלים כאלה ושמירה על נתונים וקוד כטכנולוגיות קנייניות תוך שמירה על החפיר התחרותי שלהן באמצעות יתרונות הגודל שלהן עבור אימון וחישוב מודלים.
עבור כל צד שלישי, ייצור מודלים של יסודות הוא תהליך עתיר משאבים עם שלושה צווארי בקבוק עיקריים: נתונים, מחשוב, ו מונטיזציה.
כאן אנו רואים כניסות מוקדמות של נושאי web3 בפתרון חלק מהבעיות הללו.
מערכי נתונים מסומנים הם קריטיים לבניית מודלים יעילים. מערכות בינה מלאכותית לומדות על ידי הכללה מדוגמאות בתוך מערכי נתונים ומשתפרות ללא הרף כשהן מתאמנות לאורך זמן. עם זאת, הידור ותיוג של מערכי נתונים איכותיים דורשים ידע ועיבוד מיוחדים בנוסף למשאבים חישוביים. לחברות טכנולוגיה גדולות יהיו לרוב צוותי נתונים פנימיים המתמחים בעבודה עם מערכי נתונים גדולים וקנייניים מערכות IP להכשיר את המודלים שלהם, ויש להם מעט תמריץ לפתוח גישה לייצור או להפצה של הנתונים שלהם.
יש כבר קהילות שהופכות הכשרת מודלים פתוחה ונגישה לקהילה גלובלית של חוקרים. הנה כמה דוגמאות:
- סריקה נפוצה, מאגר ציבורי של עשר שנים של נתונים באינטרנט, יכול לשמש להכשרה כללית. (אם כי מחקרים מראים כי מערכי נתונים מדויקים יותר יכולים לשפר את הידע הכללי בין התחומים ואת יכולות ההכללה במורד הזרם של המודלים.)
- לאיון הוא ארגון ללא מטרות רווח שמטרתו להפוך מודלים ומערכים של למידת מכונה בקנה מידה גדול לזמינים לקהל הרחב ולשחרר אותם LAION5B, מערך נתונים של 5.85 מיליארד צמד תמונה-טקסט המסונן ב-CLIP שעם שחרורו הפך למערך הנתונים הגדול ביותר של תמונה-טקסט הנגיש בגלוי בעולם.
- Eleether AI הוא קולקטיב מבוזר שפרסם את אחד מערכי הנתונים הגדולים ביותר של טקסט קוד פתוח בשם הערימה. The Pile הוא מערך נתונים בשפה האנגלית של 825.18 GiB עבור מודלים של שפות המשתמש ב-22 מקורות נתונים שונים.
נכון לעכשיו, קהילות אלו מאורגנות באופן לא פורמלי ונשענות על תרומות מבסיס מתנדבים רחב. כדי להגביר את המאמצים שלהם, תגמולים סמליים יכולים לשמש כמנגנון ליצירת מערכי נתונים בקוד פתוח. ניתן לפלוט אסימונים בהתבסס על תרומות, כגון תיוג של מערך נתונים גדול של טקסט-תמונה, וקהילת DAO יכולה לאמת טענות כאלה. בסופו של דבר, מודלים גדולים יכולים להנפיק אסימונים ממאגר משותף, והכנסות במורד הזרם ממוצרים שנבנו על גבי הדגמים הללו יכולים לצבור לערך האסימון. בדרך זו התורמים למערך נתונים יכולים להחזיק בנתח במודלים הגדולים באמצעות האסימונים שלהם וחוקרים יוכלו לייצר רווחים משאבי בנייה בשטח פתוח.
הידור של מערכי נתונים בקוד פתוח הבנויים היטב הוא קריטי להרחבת נגישות המחקר עבור מודלים גדולים ושיפור ביצועי המודל. ניתן להרחיב מערכי נתונים של טקסט-תמונה על ידי הגדלת הגודל והפילטרים עבור סוגים שונים של תמונות לתוצאות מכוונות יותר. יידרשו מערכי נתונים שאינם אנגלית להכשרת מודלים של שפה טבעית שאוכלוסיות שאינן דוברות אנגלית יכולות להשתמש בהן. עם הזמן, אנו יכולים להשיג את התוצאות הללו הרבה יותר מהר ובפתיחות באמצעות גישת web3.
המחשוב הנדרש לאימון רשתות עצביות בקנה מידה גדול הוא אחד מצווארי הבקבוק הגדולים ביותר במודלים של בסיס. בעשור האחרון יש ביקוש למחשוב באימון מודלים של AI הוכפל כל 3.4 חודשים. במהלך תקופה זו, מודלים של בינה מלאכותית עברו מזיהוי תמונה לשימוש באלגוריתמי למידת חיזוק לנצח באלופים אנושיים במשחקי אסטרטגיה ושימוש בשנאים לאימון מודלים של שפות. לדוגמה, ל-GPT-3 של OpenAI היו 175 מיליארד פרמטרים ולקח 3,640 ימי petaFLOPS להתאמן. זה ייקח שבועיים במחשב העל המהיר בעולם ולמעלה מאלף למחשב נייד רגיל לחישוב. מכיוון שגדלים של דגמים רק ממשיכים לגדול, המחשוב נותר צוואר בקבוק בקידום התחום.
מחשבי-על של AI דורשים חומרה ספציפית מותאמת לביצוע הפעולות המתמטיות הנחוצות לאימון רשתות עצביות, כגון יחידות עיבוד גרפיות (GPU) או מעגלים משולבים ספציפיים ליישום (ASIC). כיום, רוב החומרה המותאמת לסוג זה של חישוב נשלטת על ידי כמה ספקי שירותי ענן אוליגופוליסטיים כמו Google Cloud, Amazon Web Services, Microsoft Azure ו-IBM Cloud.
זהו הצומת הגדול הבא שבו אנו רואים הקצאת מחשוב מבוזרת דרך רשתות ציבוריות ופתוחות צוברת אחיזה. ממשל מבוזר עשוי לשמש למימון ולהקצאת משאבים להכשרת פרויקטים מונעי קהילה. יתר על כן, מודל שוק מבוזר יכול להיות נגיש בגלוי ברחבי גיאוגרפיות, כך שכל חוקר יכול לגשת למשאבי מחשוב. תארו לעצמכם מערכת פרס שמממנת המונים להכשרת מודלים על ידי הנפקת אסימונים. גיוס המונים מצליח יקבלו מחשוב מועדף עבור המודל שלהם וידחפו קדימה חידושים היכן שיש ביקוש גבוה. לדוגמה, אם יש דרישה משמעותית מה-DAO לייצר מודל GPT ספרדי או הינדי לשרת חלקים גדולים יותר של האוכלוסייה, ניתן להתמקד במחקר בתחום זה.
כבר חברות כמו GenSyn עובדים על השקת פרוטוקולים כדי לתמרץ ולתאם גישת חומרה חלופית, חסכונית ומבוססת ענן לחישוב למידה עמוקה. עם הזמן, רשת מחשוב גלובלית משותפת ומבוזרת שנבנתה עם תשתית web3 תהפוך חסכונית יותר לקנה מידה ותשרת אותנו טוב יותר כאשר אנו חוקרים יחד את גבול הבינה המלאכותית.
מערכי נתונים ומחשוב יאפשרו את התזה הזו: מודלים של AI בקוד פתוח. במהלך השנים האחרונות, דגמים גדולים הפכו ליותר ויותר פרטיים שכן השקעת המשאבים הדרושה לייצורם דחפה פרויקטים להפוך למקור סגור.
קח את OpenAI. OpenAI נוסדה בשנת 2015 כמעבדת מחקר ללא מטרות רווח עם המשימה לייצר בינה כללית מלאכותית לטובת האנושות כולה, בניגוד מוחלט למובילי הבינה המלאכותית דאז, גוגל ופייסבוק. עם הזמן, תחרות עזה ולחץ למימון שחקו את האידיאלים של שקיפות וקוד מקורות פתוחים כאשר OpenAI עברה ל- מודל למטרות רווח וחתם על מאסיבי עסקה מסחרית של מיליארד דולר עם מיקרוסופט. יתר על כן, מחלוקת לאחרונה הקיפה את דגם הטקסט לתמונה שלהם, DALLE-2, על הצנזורה המוכללת שלה. (לדוגמה, DALLE-2 אסר על המונחים 'אקדח, 'ביצוע, 'תקוף', 'אוקראינה' ותמונות של מפורסמים; צנזורה גסה כזו מונעת הנחיות כמו 'לברון ג'יימס תוקף את הסל' או 'מתכנת מבצע שורת קוד'.) לגישה לבטא הפרטית של מודלים אלה יש הטיה גיאוגרפית מרומזת למשתמשים מערביים כדי לנתק חלקים גדולים מהאוכלוסייה העולמית מאינטראקציה ומידע על מודלים אלה.
לא כך צריך להפיץ בינה מלאכותית: שמירה, משטרה ושמירה על ידי כמה חברות טכנולוגיה גדולות. כמו במקרה של בלוקצ'יין, יש ליישם טכנולוגיה חדשנית בצורה הוגנת ככל האפשר כדי שהיתרונות שלה לא יתרכזו בקרב הבודדים שיש להם גישה. יש למנף את ההתקדמות המהווה בבינה מלאכותית בגלוי בתעשיות שונות, גיאוגרפיות וקהילות כדי לגלות ביחד את מקרי השימוש המרתקים ביותר ולהגיע לקונצנזוס לגבי השימוש ההוגן ב-AI. שמירה על קוד פתוח של מודלים של היסודות יכולה להבטיח שצנזורה תימנע ומנוטרת בקפידה על הטיה תחת ראיית הציבור.
עם מבנה אסימון למודלים כלליים של בסיס, ניתן יהיה לצבור מאגר גדול יותר של תורמים שיכולים לייצר רווחים מעבודתם תוך שחרור קוד פתוח. פרויקטים כמו OpenAI שנבנו מתוך מחשבה על תזה של קוד פתוח נאלצו להפוך לחברה ממומנת עצמאית כדי להתחרות על כישרונות ומשאבים. Web3 מאפשרת לפרויקטי קוד פתוח להיות משתלמים כלכלית ולהתחרות עוד יותר באלה שמובלים על ידי השקעות פרטיות של ביג טק. יתר על כן, חדשנים שבונים מוצרים על גבי מודלים של קוד פתוח יכולים לבנות בביטחון שיש שקיפות ב-AI הבסיסי. ההשפעה במורד הזרם של זה תהיה אימוץ מהיר ויציאה לשוק עבור מקרי שימוש חדשניים בבינה מלאכותית. במרחב web3, זה כולל יישומי אבטחה שעורכים ניתוח חזוי עבור פגיעויות חוזים חכמים ומשיכות שטיחים, מחוללי תמונות שניתן להשתמש בהם כדי להטביע NFTs וליצור נופים metaverse, אישים בינה מלאכותית דיגיטלית שיכולים להתקיים בשרשרת כדי לשמר בעלות אינדיבידואלית, ועוד הרבה יותר.
בינה מלאכותית היא אחת הטכנולוגיות המתקדמות ביותר כיום, שתהיה לה השלכות עצומות על החברה שלנו כולה. כיום, התחום נשלט על ידי טכנולוגיה גדולה שכן השקעות פיננסיות בכישרון, נתונים ומחשוב יוצרות חפירות משמעותיות לפיתוח קוד פתוח. שילוב של web3 בשכבת התשתית של AI הוא צעד חיוני שיש לנקוט כדי להבטיח שמערכות בינה מלאכותית נבנות בצורה הוגנת, פתוחה ונגישה. אנחנו כבר רואים מודלים פתוחים תופסים עמדה של חדשנות ציבורית מהירה במרחבים פתוחים כמו טוויטר ו- HuggingFace והקריפטו יכול להעצים את המאמצים האלה קדימה.
הנה מה שצוות CoinFund מחפש בצומת של AI וקריפטו:
- צוותים עם בינה מלאכותית פתוחה בליבת המשימה שלהם
- קהילות שאוצרות משאבים ציבוריים כמו נתונים ומחשוב כדי לעזור לבנות מודלים של AI
- מוצרים שמשתמשים בבינה מלאכותית כדי להביא יצירתיות, אבטחה וחדשנות לאימוץ המיינסטרים
אם אתה בונה פרויקט על ההצטלבות של AI ו-web3, צ'אט איתנו על ידי יצירת קשר עם CoinFund ב- טויטר או בדוא"ל rishin@coinfund.io or jake@coinfund.io.
