תמונה מאת עורך
אני קוראת, כותבת ומדברת מאז סוף השנה שעברה על ההצטלבות של תוכנת קוד פתוח ולמידת מכונה, מנסה להבין מה העתיד עלול להביא.
כשהתחלתי, ציפיתי שאדבר בעיקר על האופן שבו תוכנת קוד פתוח משמשת את קהילת למידת המכונה. אבל ככל שחקרתי יותר, כך הבנתי שיש הרבה קווי דמיון בין שני תחומי העיסוק. במאמר זה אדון בכמה מההקבלות הללו - ומה למידת מכונה יכולה ומה לא יכולה ללמוד מתוכנות קוד פתוח.
ההקבלה הקלה והברורה היא שגם למידת מכונה מודרנית וגם תוכנה מודרנית בנויות כמעט במלואן עם תוכנת קוד פתוח. עבור תוכנה, כלומר מהדרים ועורכי קוד; עבור למידת מכונה, מדובר במסגרות הדרכה והסקה כמו PyTorch ו-TensorFlow. חללים אלה נשלטים על ידי תוכנת קוד פתוח, ושום דבר לא נראה מוכן לשנות זאת.
יש חריג אחד בולט, לכאורה, לכך: כל המסגרות הללו תלויות בערימת החומרה והתוכנה הקניינית מאוד של Nvidia. זה למעשה מקביל יותר ממה שזה עשוי להיראות בהתחלה. במשך זמן רב, תוכנת קוד פתוח רצה בעיקר על מערכות הפעלה קנייניות של יוניקס, שנמכרות על ידי ספקי חומרה קנייניים. רק אחרי שלינוקס הגיעה התחלנו לקחת כמובן מאליו ש"תחתית" פתוחה של הערימה בכלל אפשרית, ופיתוח פתוח רב נעשה בימים אלה ב-MacOS ו-Windows. לא ברור איך זה יתנהל בלמידת מכונה. אמזון (עבור AWS), גוגל (גם לענן וגם לאנדרואיד), ואפל משקיעות כולן בצ'יפים ובערימות מתחרות, וייתכן שאחד או יותר מאלה יוכלו ללכת בדרך שנקבעה על ידי לינוס (ואינטל) לשחרר את שלם לערום.
הקבלה קריטית יותר בין האופן שבו תוכנת קוד פתוח נבנית, לבין האופן שבו נבנית למידת מכונה, היא המורכבות והזמינות הציבורית של הנתונים שכל אחת מהן בנויה עליהם.
כמפורט בזה הדפסה מראש מאמר “The Data Provenance Project,” שאני שותף לכתיבתו, למידת מכונה מודרנית בנויה על אלפי מקורות נתונים, בדיוק כפי שתוכנת קוד פתוח מודרנית בנויה על מאות אלפי ספריות. ובדיוק כמו שכל ספרייה פתוחה מביאה איתה אתגרי משפטי, אבטחה ותחזוקה, כל מערך נתונים ציבורי מביא עמו את אותו סט של קשיים בדיוק.
בארגון שלי, דיברנו על הגרסה של תוכנת קוד פתוח לאתגר זה בתור "שרשרת אספקה מקרית." תעשיית התוכנה התחילה לבנות דברים כי אבני הבניין המדהימות של ספריות קוד פתוח הביאו לכך שאנחנו יכולים. המשמעות היא שהתעשייה התחילה להתייחס לתוכנת קוד פתוח כאל שרשרת אספקה - מה שהפתיע רבים מאותם "ספקים".
כדי למתן את האתגרים הללו, תוכנת קוד פתוח פיתחה המון טכניקות מתוחכמות (אם כי לא מושלמות), כמו סורקים לזיהוי מה נעשה שימוש, ומטא נתונים למעקב אחר דברים לאחר הפריסה. אנחנו גם מתחילים להשקיע בבני אדם, כדי לנסות לטפל בחוסר ההתאמה בין צרכים תעשייתיים למניעים של מתנדבים.
למרבה הצער, נראה כי קהילת למידת המכונה מוכנה לצלול בדיוק לאותה טעות "מקרית" בשרשרת האספקה - עושה הרבה דברים כי היא יכולה, מבלי להפסיק לחשוב הרבה על ההשלכות ארוכות הטווח ברגע שהכלכלה כולה מבוססת על מערכי הנתונים הללו. .
הקבלה חשובה אחרונה היא שאני חושד מאוד שלמידת מכונה תתרחב כדי למלא הרבה מאוד נישות, בדיוק כמו תוכנות קוד פתוח. כרגע, ההייפ (הראוי) הוא על דגמים גדולים ויצרניים, אבל יש גם הרבה דגמים קטנים בחוץ, כמו גם שינויים בדגמים גדולים יותר. ואכן, אתר האירוח HuggingFace, פלטפורמת האירוח העיקרית של למידת מכונה, מדווח שמספר הדגמים באתר שלהם גדל באופן אקספוננציאלי.
מודלים אלה כנראה יהיו בשפע וזמינים לשיפור, בדומה לחתיכות קטנות של תוכנת קוד פתוח. זה יהפוך אותם לגמישים וחזקים להפליא. אני משתמש בכלי קטן מבוסס למידת מכונה כדי לבצע מדידת תנועה זולה ורגישה לפרטיות ברחוב שלי, למשל, מקרה שימוש שלא היה אפשרי אלא במכשירים יקרים לפני כמה שנים.
אבל המשמעות של התפשטות זו היא שיהיה צורך לעקוב אחריהם - דגמים עשויים להיות פחות דומים למיינפריים ויותר כמו תוכנות קוד פתוח או SaaS, שצצות בכל מקום בגלל עלות נמוכה וקלות פריסה.
אז אם יש את ההקבלות החשובות האלה (במיוחד של שרשראות אספקה מורכבות והפצה מתפשטת) מה יכולה למידת מכונה ללמוד מתוכנת קוד פתוח?
הלקח המקביל הראשון שאנו יכולים להפיק הוא פשוט שכדי להבין את האתגרים הרבים שלה, למידת מכונה תצטרך מטא נתונים וכלים. תוכנת קוד פתוח נקלעה לעבודת מטא נתונים באמצעות תאימות לזכויות יוצרים ורישוי, אך ככל ששרשרת האספקה המקרית לתוכנה הבשילה, מטא נתונים הוכחו כשימושיים מאוד במגוון חזיתות.
בלמידת מכונה, מעקב אחר מטא נתונים הוא עבודה בתהליך. כמה דוגמאות:
- A נייר מפתח 2019, שצוטטה בהרחבה בתעשייה, הפציר במפתחי מודלים לתעד את עבודתם באמצעות "כרטיסי מודל". למרבה הצער, מחקרים עדכניים מצביעים על כך היישום בטבע עדיין חלש.
- גם מפרטי התוכנה SPDX וגם CycloneDX (SBOM) עובדים על בינה מלאכותית (AI BOMs) כדי לסייע במעקב אחר נתונים ומודלים של למידת מכונה, בצורה מובנית יותר מכרטיסי דגם (כיאה למורכבות שניתן לצפות אם זה באמת עושה תוכנת קוד פתוח מקביל).
- HuggingFace יצרה מגוון מפרט וכלים כדי לאפשר למחברי מודלים ומערכי נתונים לתעד את המקורות שלהם.
- המאמר של MIT Data Provenance שצוטט לעיל מנסה להבין את "האמת הבסיס" של רישוי נתונים, כדי לעזור לגבש את המפרט עם נתונים מהעולם האמיתי.
- באופן אנקדוטי, נראה שלחברות רבות שעושות עבודת הדרכה למידת מכונה יש קשרים סתמיים במקצת עם מעקב אחר נתונים, כשהן משתמשות ב"יותר הוא טוב יותר" כתירוץ לגרור נתונים לתוך המיכל מבלי בהכרח לעקוב אחריהם היטב.
אם למדנו משהו מהפתוח, זה שהשגת המטא-נתונים הנכונים (קודם כל, המפרט, ואז הנתונים בפועל) יהיה פרויקט של שנים ואולי ידרוש התערבות ממשלתית. למידת מכונה צריכה לקחת את הצעד הזה במטא נתונים במוקדם ולא במאוחר.
אבטחה הייתה עוד מניע מרכזי לדרישת המטא נתונים של תוכנות קוד פתוח - אם אינך יודע מה אתה מפעיל, אינך יכול לדעת אם אתה רגיש לזרם האינסופי של התקפות לכאורה.
למידת מכונה אינה כפופה לרוב סוגי התקפות התוכנה המסורתיות, אבל זה לא אומר שהן בלתי פגיעות. (הדוגמה האהובה עלי היא שזה היה אפשרי ערכות אימון לתמונת רעל מכיוון שלעתים קרובות הם שאבו מתחומים מתים.) המחקר בתחום הזה חם מספיק כדי שכבר עברנו את "הוכחת הרעיון" ל"יש מספיק התקפות כדי רשימה ו לעשות טקסונום".
למרבה הצער, תוכנת קוד פתוח לא יכולה להציע למידת מכונה שום כדורי קסם לאבטחה - אם היו לנו אותם, היינו משתמשים בהם. אבל ההיסטוריה של התפשטות תוכנת הקוד הפתוח לכל כך הרבה נישות מצביע על כך שלמידת מכונה חייבת לקחת את האתגר הזה ברצינות, החל ממעקב אחר שימוש ומטא נתונים של פריסה, בדיוק בגלל שהיא צפויה להיות מיושמת בכל כך הרבה דרכים מעבר לאלו שבהן היא נמצאת כיום. נפרס.
המניעים שהניעו מטא נתונים בקוד פתוח (רישוי, ואז אבטחה) מצביעים על ההקבלה החשובה הבאה: ככל שחשיבותו של מגזר תגדל, היקף הדברים שיש למדוד ולעקוב אחר יתרחב, כי הרגולציה והאחריות יתרחבו.
בתוכנת קוד פתוח, "התקנת הממשל" העיקרית במשך שנים רבות הייתה חוק זכויות יוצרים, ולכן מטא נתונים התפתחו כדי לתמוך בכך. אבל תוכנת קוד פתוח עומדת כעת בפני מגוון כללי אבטחה וחוקי אחריות למוצר - ועלינו לבשל את שרשראות האספקה שלנו כדי לעמוד בדרישות החדשות הללו.
בינה מלאכותית תהיה מווסתת באופן דומה בהמון דרכים הולך וגדל ככל שהיא הופכת חשובה יותר ויותר. מקורות הרגולציה יהיו מגוונים ביותר, לרבות בנושאי תוכן (הן תשומות ותפוקות), אפליה ואחריות מוצר. זה ידרוש מה שנקרא לפעמים "עקיבות"- להבין כיצד המודלים בנויים, וכיצד הבחירות הללו (כולל מקורות נתונים) משפיעות על תוצאות המודלים.
דרישת הליבה הזו - מה יש לנו? איך זה הגיע לכאן? - מוכר כעת מקרוב למפתחי תוכנה בקוד פתוח ארגוני. עם זאת, זה עשוי להיות שינוי קיצוני עבור מפתחי למידת מכונה ויש לאמץ אותו.
לקח מקביל נוסף שיכול להפיק למידה חישובית מתוכנת קוד פתוח (ואכן מגלים רבים של תוכנות לפניה, לפחות מימי המיינפריים) הוא שהחיים השימושיים שלה יהיו ארוכים מאוד מאוד. ברגע שטכנולוגיה תהיה "טובה מספיק", היא תיפרס ולכן יש לתחזק אותה במשך זמן רב מאוד. זה מרמז שעלינו לחשוב על תחזוקה של התוכנה הזו מוקדם ככל האפשר, ולחשוב מה המשמעות של התוכנה הזו עשויה לשרוד עשרות שנים. "עשורים" זה לא הגזמה; לקוחות רבים שאני נתקל בהם משתמשים בתוכנה ישנה מספיק כדי להצביע. לחברות תוכנה רבות בקוד פתוח, ולכמה פרויקטים, יש כעת מה שנקרא "תמיכה לטווח ארוך" המיועדות למקרי שימוש מסוג זה.
לעומת זאת, OpenAI שמר על כלי הקודקס שלהם זמין במשך פחות משנתיים -מוביל לכעס רב, במיוחד בקהילה האקדמית. בהתחשב בקצב המהיר של השינוי בלמידת מכונה, ושרוב המאמצים כנראה מעוניינים להשתמש בחוד החנית ביותר, זה כנראה לא היה מופרך - אבל יבוא היום, מוקדם ממה שהתעשייה חושבת, שבו היא צריכה לתכנן את זה סוג של "טווח ארוך" - כולל איך זה מתקשר עם אחריות וביטחון.
לבסוף, ברור ש- כמו תוכנת קוד פתוח - הולך להיות הרבה כסף לזרום ללמידת מכונה, אבל רוב הכסף הזה יתאגד סביב מה שמחבר אחד כינה החברות "עשירות המעבדים". אם ההקבלות לתוכנות קוד פתוח יתגלו, לחברות האלה יהיו חששות וסדר עדיפויות הוצאות שונים מאוד מהיוצר (או המשתמש) החציוני של מודלים.
החברה שלנו, Tidelift, חושבת על הבעיה הזו של תמריצים בתוכנת קוד פתוח מזה זמן, וגופים כמו הרוכש הגדול בעולם של תוכנה - ממשלת ארה"ב - הם בודק גם את הבעיה.
חברות למידת מכונה, במיוחד אלו המבקשות ליצור קהילות של יוצרים, צריכות לחשוב היטב על האתגר הזה. אם הם תלויים באלפי מערכי נתונים, איך הם יבטיחו שאלו ימומנו לתחזוקה, ציות לחוק ואבטחה, במשך עשרות שנים? אם חברות גדולות יסתיימו עם עשרות או מאות מודלים פרוסים ברחבי החברה, איך הן יבטיחו שבעלי הידע המומחה הטוב ביותר - אלה שיצרו את המודלים - עדיין יהיו בסביבה כדי לעבוד על בעיות חדשות כשהן יתגלו?
כמו אבטחה, אין תשובות קלות לאתגר הזה. אבל ככל שלמידת מכונה תתייחס לבעיה מוקדם יותר ברצינות - לא כמעשה צדקה, אלא כמרכיב מפתח בצמיחה ארוכת טווח - כך יהיה טוב יותר לתעשייה כולה ולעולם כולו.
השורשים העמוקים של למידת מכונה בתרבות הניסוי של האקדמיה, ותרבות האיטרציה המהירה של עמק הסיליקון, שירתו אותה היטב, והובילו לפיצוץ מדהים של חדשנות שהיה נראה קסום לפני פחות מעשור. הקורס של תוכנת קוד פתוח בעשור האחרון היה אולי פחות זוהר, אבל במהלך הזמן הזה הוא הפך לבסיס של כל התוכנות הארגוניות - ולמד הרבה לקחים בדרך. אני מקווה שלמידת מכונה לא תמציא מחדש את הגלגלים האלה.
לואיס וילה הוא מייסד שותף ויועץ כללי ב- Tidelift. בעבר הוא היה עורך דין מוביל בקוד פתוח שייעץ ללקוחות, מחברות Fortune 50 ועד לסטארט-אפים מובילים, בפיתוח מוצרים ורישוי קוד פתוח.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://www.kdnuggets.com/ai-and-open-source-software-separated-at-birth?utm_source=rss&utm_medium=rss&utm_campaign=ai-and-open-source-software-separated-at-birth
- :יש ל
- :הוא
- :לֹא
- :איפה
- $ למעלה
- 2019
- 50
- a
- אודות
- מֵעַל
- אקדמי
- מקרי
- לפעול
- ממשי
- למעשה
- כתובת
- מאמצים
- ייעוץ
- לאחר
- לִפנֵי
- AI
- תעשיות
- להתיר
- כמעט
- לאורך
- כְּבָר
- גם
- מדהים
- אמזון בעברית
- an
- ו
- דְמוּי אָדָם
- כעס
- אחר
- תשובות
- כל
- דבר
- לכאורה
- לְהוֹפִיעַ
- מופיע
- תפוח עץ
- יישומית
- ARE
- AREA
- אזורים
- סביב
- מאמר
- AS
- At
- המתקפות
- מחבר
- מחברים
- זמינות
- זמין
- AWS
- בחזרה
- מבוסס
- BE
- כי
- להיות
- הופך להיות
- היה
- לפני
- החל
- להיות
- הטוב ביותר
- מוטב
- בֵּין
- מעבר
- שטרות
- הולדת
- אבני
- שניהם
- להביא
- מביא
- בִּניָן
- נבנה
- אבל
- by
- נקרא
- הגיע
- CAN
- כרטיסים
- מקרה
- מקרים
- אגבי
- שרשרת
- שרשראות
- לאתגר
- האתגרים
- שינוי
- צדקה
- זול
- שבבי
- בחירות
- מצוטט
- ברור
- לקוחות
- ענן
- מייסד שותף
- קוד
- איך
- הקהילות
- קהילה
- חברות
- חברה
- מתחרה
- מורכב
- מורכבות
- הענות
- רְכִיב
- דאגות
- תוכן
- לעומת זאת
- זכויות יוצרים
- ליבה
- עלות
- יכול
- עֵצָה
- קורס
- לִיצוֹר
- נוצר
- יוצר
- יוצרים
- קריטי
- תַרְבּוּת
- כיום
- לקוחות
- גזירה
- נתונים
- מערך נתונים
- ערכות נתונים
- היכרויות
- יְוֹם
- ימים
- מת
- עָשׂוֹר
- עשרות שנים
- עמוק
- תלוי
- פרס
- פריסה
- מְפוֹרָט
- מפותח
- מפתחים
- צעצועי התפתחות
- התקנים
- DID
- אחר
- קשיים
- גילה
- אפליה
- לדון
- הפצה
- שונה
- do
- מסמך
- עושה
- לא
- עושה
- תחומים
- עשה
- לא
- עשרות
- לצייר
- נהג
- בְּמַהֲלָך
- כל אחד
- מוקדם
- להקל
- קל
- כלכלה
- אדג '
- עורכים
- חבוק
- פְּגִישָׁה
- סוף
- אין סופי
- מספיק
- לְהַבטִיחַ
- מִפְעָל
- שלם
- לַחֲלוּטִין
- ישויות
- במיוחד
- Ether (ETH)
- אֲפִילוּ
- הולך וגדל
- בדיוק
- דוגמה
- דוגמאות
- אלא
- יוצא מן הכלל
- לְהַרְחִיב
- לצפות
- צפוי
- יקר
- חקר
- התפוצצות
- אקספוננציאלית
- מאוד
- פנים
- מוכר
- מהר
- חביב
- מעטים
- למלא
- ראשון
- גמיש
- זורם
- לעקוב
- בעד
- הון עתק
- מסגרות
- החל מ-
- במימון
- עתיד
- כללי
- גנרטטיבית
- לקבל
- מקבל
- GitHub
- נתן
- הולך
- נעלם
- ממשלה
- כמובן מאליו
- גדל
- גדל
- היה
- קשה
- חומרה
- יש
- he
- לעזור
- כאן
- היסטוריה
- אני מקווה
- אירוח
- חַם
- איך
- אולם
- HTTPS
- חיבוק פנים
- בני אדם
- מאות
- התלהבות
- i
- חולה
- זיהוי
- IEEE
- if
- תמונה
- הַרבֵּה מְאוֹד
- פְּגִיעָה
- השלכות
- חשיבות
- חשוב
- השבחה
- in
- תמריצים
- כולל
- מדהים
- בצורה מדהימה
- התעשייה
- תעשייה
- חדשנות
- תשומות
- אינטל
- התכוון
- אינטראקטיבי
- מעוניין
- הִצטַלְבוּת
- אל תוך
- להשקיע
- השקעה
- IT
- איטרציה
- שֶׁלָה
- רק
- KDnuggets
- שמר
- מפתח
- לדעת
- גָדוֹל
- גדול יותר
- הגדול ביותר
- אחרון
- שנה שעברה
- מְאוּחָר
- מאוחר יותר
- חוק
- עורך דין
- מוביל
- לִלמוֹד
- למד
- למידה
- הכי פחות
- משפטי
- פחות
- לקח
- שיעורים
- אחריות
- ספריות
- סִפְרִיָה
- רישוי
- החיים
- כמו
- סביר
- לינקדין
- לינוקס
- ארוך
- הרבה זמן
- לטווח ארוך
- נראה
- מגרש
- הרבה
- נמוך
- מכונה
- למידת מכונה
- MacOS
- קסם
- תחזוקה
- גדול
- לעשות
- דרך
- רב
- חומרים
- בוגר
- מאי..
- אומר
- אומר
- התכוון
- נמדד
- מדידה
- לִפְגוֹשׁ
- מידע נוסף
- יכול
- MIT
- להקל
- מודל
- מודלים
- מודרני
- רֶגַע
- כסף
- יותר
- רוב
- בעיקר
- המניעים
- הרבה
- המון
- צריך
- my
- בהכרח
- צורך
- צרכי
- חדש
- הבא
- לא
- יַקִיר
- שום דבר
- עַכשָׁיו
- מספר
- Nvidia
- ברור
- of
- כבוי
- הַצָעָה
- לעתים קרובות
- זקן
- on
- פעם
- ONE
- רק
- לפתוח
- קוד פתוח
- OpenAI
- פועל
- מערכות הפעלה
- or
- ארגון
- שלנו
- הַחוּצָה
- תוצאות
- פלטים
- יותר
- שלום
- מאמר
- מקביל
- Parallels
- במיוחד
- עבר
- נתיב
- אוּלַי
- חתיכות
- מקום
- תכנית
- פלטפורמה
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- לְשַׂחֵק
- לצלול
- נקודה
- בריכה
- פופ
- אפשרי
- חזק
- תרגול
- קוֹדֶם
- יְסוֹדִי
- כנראה
- בעיה
- בעיות
- המוצר
- פיתוח מוצר
- התקדמות
- פּרוֹיֶקט
- פרויקטים
- קניינית
- מוכח
- מוֹצָא
- ציבורי
- קוֹנֶה
- פיטורך
- רדיקלי
- מהיר
- במקום
- קריאה
- מוכן
- עולם אמיתי
- הבין
- לאחרונה
- מוסדר
- תקנה
- להמציא מחדש
- מערכות יחסים
- דוחות לדוגמא
- לדרוש
- דרישות
- מחקר
- המחקר מציע
- תקין
- שורשים
- ריצה
- s
- SaaS
- אותו
- SBOM
- היקף
- מגזר
- אבטחה
- מחפשים
- נראה
- ברצינות
- סט
- סטים
- צריך
- סיליקון
- הדמיון
- באופן דומה
- בפשטות
- since
- אתר
- קטן
- So
- תוכנה
- מפתחי תוכנה
- נמכרים
- כמה
- לפעמים
- במידה מסוימת
- מתוחכם
- מָקוֹר
- מקורות
- רווחים
- מדבר
- מומחה
- מפרטים
- מפרט טכני
- הוצאה
- התפשטות
- לערום
- ערימות
- החל
- החל
- חברות סטארט
- עוד
- סְתִימָה
- זרם
- רְחוֹב
- בְּתוֹקֶף
- מובנה
- נושא
- מציע
- לספק
- שרשרת אספקה
- שרשראות אספקה
- תמיכה
- הפתעה
- לשרוד
- apt
- מערכות
- לקחת
- לוקח
- מדבר
- טכניקות
- טכנולוגיה
- tensorflow
- טווח
- מֵאֲשֶׁר
- זֶה
- השמיים
- העתיד
- שֶׁלָהֶם
- אותם
- אז
- שם.
- לכן
- אלה
- הֵם
- דברים
- לחשוב
- חושב
- חושב
- זֶה
- אלה
- אם כי?
- אלפים
- דרך
- זמן
- ל
- כלי
- חלק עליון
- לעקוב
- מעקב
- מסורתי
- תְנוּעָה
- הדרכה
- בטיפול
- באמת
- לנסות
- מנסה
- tweaks
- שתיים
- סוגים
- לא ברור
- ביסוס
- להבין
- לצערי
- יוניקס
- us
- נוֹהָג
- להשתמש
- במקרה להשתמש
- מְשׁוּמָשׁ
- משתמש
- באמצעות
- מגוון
- ספקים
- גרסה
- מאוד
- להתנדב
- הַצבָּעָה
- היה
- גלים
- דֶרֶך..
- דרכים
- we
- טוֹב
- מה
- מה
- אשר
- מי
- באופן נרחב
- בר
- יצטרך
- חלונות
- עם
- לְלֹא
- תיק עבודות
- עובד
- עוֹלָם
- של העולם
- היה
- כתיבה
- שנה
- שנים
- אתה
- זפירנט