זהו פוסט אורח בבלוג שנכתב בשיתוף עם זאק רוסמן מאלסיון.
Alcion, פלטפורמת גיבוי כשירות (BaaS) מונעת על ידי אבטחה ראשונה, מונעת בינה מלאכותית, עוזרת למנהלי Microsoft 365 להגן על נתונים במהירות ובאינטואיטיביות מפני איומי סייבר ואובדן נתונים בשוגג. במקרה של אובדן נתונים, לקוחות Alcion צריכים לחפש מטא נתונים עבור הפריטים המגובים (קבצים, מיילים, אנשי קשר, אירועים וכן הלאה) כדי לבחור גרסאות פריטים ספציפיות לשחזור. Alcion משתמש שירות חיפוש פתוח של אמזון לספק ללקוחותיהם יכולת חיפוש מדויקת, יעילה ואמינה בכל קטלוג גיבוי זה. הפלטפורמה היא מרובת דיירים, כלומר Alcion דורשת בידוד נתונים ואבטחה חזקה כדי להבטיח שהדיירים יוכלו לחפש רק את הנתונים שלהם.
OpenSearch Service הוא שירות מנוהל במלואו המקל על הפריסה, הרחבה ותפעול של OpenSearch בענן AWS. OpenSearch היא חבילת חיפוש וניתוח בקוד פתוח ברישיון Apache-2.0, הכוללת את OpenSearch (מנוע חיפוש, ניתוח ומסד נתונים וקטור), לוחות מחוונים של OpenSearch (ממשק ויזואליזציה וממשק משתמש), ותוספים המספקים יכולות מתקדמות כמו ארגונים -אבטחה בדרגה, זיהוי חריגות, צפייה, התראה ועוד הרבה יותר. Amazon OpenSearch ללא שרתים היא אפשרות פריסה ללא שרת שמקלה להשתמש ב-OpenSearch מבלי להגדיר, לנהל ולהרחיב תחומים של שירות OpenSearch.
בפוסט זה, אנו משתפים כיצד אימוץ OpenSearch Serverless איפשר לאלסיון לעמוד בדרישות קנה המידה שלהם, לצמצם את התקורה התפעולית שלהם ולאבטח את הנתונים של הדיירים על ידי אכיפה בידוד הדיירים בתוך הסביבה מרובת הדיירים שלהם.
דומיינים מנוהלים בשירות OpenSearch
עבור האיטרציה הראשונה של ארכיטקטורת החיפוש שלהם, Alcion בחרה באפשרות פריסת דומיינים מנוהלים ב-OpenSearch Service והצליחה להשיק את פונקציונליות החיפוש שלהם בייצור תוך פחות מחודש. כדי לעמוד בדרישות האבטחה, ההיקף והשכירות שלהם, הם אחסנו נתונים עבור כל דייר באינדקס ייעודי והשתמשו בקרת גישה עדינה ב-OpenSearch Service כדי למנוע דליפות נתונים בין דיירים. ככל שעומס העבודה שלהם התפתח, מהנדסי Alcion עקבו אחר ניצול דומיינים של OpenSearch באמצעות הרשימה המסופקת אמזון CloudWatch מדדים, ביצוע שינויים כדי להגדיל את האחסון ולמטב את משאבי המחשוב שלהם.
הצוות ב-Alcion השתמש במספר תכונות של דומיינים מנוהלים ב-OpenSearch Service כדי לשפר את עמדתם התפעולית. הם הציגו כינויים של אינדקס, המספקים שם כינוי יחיד כדי לגשת (לקרוא ולכתוב) לאינדקסים בסיסיים מרובים. הם גם קבעו ניהול מצב אינדקס מדיניות (ISM) כדי לעזור להם לשלוט במחזור החיים של הנתונים שלהם על ידי העברת אינדקסים על סמך גודל האינדקס. יחד, מדיניות ה-ISM וכינויי האינדקס היו נחוצים כדי להרחיב את האינדקסים עבור דיירים גדולים. גם Alcion השתמש תבניות אינדקס להגדיר את הרסיסים לכל אינדקס (חלוקה) של הנתונים שלהם כדי להפוך את מחזור החיים של הנתונים שלהם לאוטומטי ולשפר את הביצועים והיציבות של התחומים שלהם.
דיאגרמת הארכיטקטורה הבאה מראה כיצד Alcion הגדירה את הדומיינים המנוהלים שלהם ב-OpenSearch.
הדיאגרמה הבאה מציגה כיצד נתוני Microsoft 365 נוספו לאינדקס ואינדקסים ספציפיים לדיירים. Alcion הטמיעה אימות בקשות על ידי מתן אישורי המשתמש הראשי של OpenSearch עם כל בקשת API.
סקירה כללית של OpenSearch Serverless ואפשרויות מודל שכירות
דומיינים מנוהלים של OpenSearch Service סיפקו בסיס יציב לפונקציונליות החיפוש של Alcion, אך הצוות היה צריך לספק משאבים ידנית לדומיינים עבור עומס העבודה השיא שלהם. זה הותיר מקום לאופטימיזציות עלויות מכיוון שעומס העבודה של Alcion פרוץ - יש שונות גדולה במספר עסקאות החיפוש והאינדקס בשנייה, הן עבור לקוח בודד והן במכלול. כדי להפחית את העלויות והעומס התפעולי, הצוות פנה ל-OpenSearch Serverless, שמציעה יכולת קנה מידה אוטומטי.
כדי להשתמש ב-OpenSearch Serverless, הצעד הראשון הוא ליצור אוסף. א אוסף היא קבוצה של אינדקסים של OpenSearch הפועלים יחד כדי לתמוך בעומס עבודה או מקרה שימוש ספציפי. משאבי המחשוב של אוסף, הנקראים OpenSearch Compute Units (OCUs), משותפים לכל האוספים בחשבון שחולקים מפתח הצפנה. מאגר ה-OCU מוגדל ומטה באופן אוטומטי כדי לעמוד בדרישות של אינדקס ותעבורת חיפוש.
רמת המאמץ הנדרשת כדי לעבור מדומיין מנוהל של OpenSearch Service ל-OpenSearch Serverless הייתה ניתנת לניהול הודות לעובדה שאוספי OpenSearch Serverless תומכים באותם ממשקי API וספריות של OpenSearch כמו דומיינים מנוהלים של OpenSearch Service. זה אפשר לאלסיון להתמקד באופטימיזציה של מודל השכירות עבור ארכיטקטורת החיפוש החדשה. באופן ספציפי, הצוות היה צריך להחליט כיצד לחלק את נתוני הדיירים בתוך אוספים ואינדקסים תוך איזון בין אבטחה לבין עלות הבעלות הכוללת. מהנדסי Alcion, בשיתוף עם צוות OpenSearch Serverless, נחשב לשלושה דגמי שכירות:
- דגם סילו: צור אוסף לכל דייר
- מודל בריכה: צור אוסף יחיד והשתמש באינדקס יחיד עבור מספר דיירים
- מודל גשר: צור אוסף יחיד והשתמש באינדקס יחיד לכל דייר
לכל שלוש אפשרויות העיצוב היו יתרונות ופשרות שהיו צריכים להילקח בחשבון לצורך עיצוב הפתרון הסופי.
דגם סילו: צור אוסף לכל דייר
במודל זה, Alcion תיצור קולקציה חדשה בכל פעם שלקוח חדש נכנס לפלטפורמה שלו. למרות שנתוני הדיירים יופרדו בצורה נקייה בין האוספים, אפשרות זו נפסלה מכיוון שזמן יצירת האוסף גרם לכך שלקוחות לא יוכלו לגבות ולחפש נתונים מיד לאחר ההרשמה.
מודל בריכה: צור אוסף יחיד והשתמש באינדקס יחיד עבור מספר דיירים
במודל זה, Alcion תיצור אוסף יחיד לכל חשבון AWS ותאנדקס נתונים ספציפיים לדיירים באחד מאינדקסים משותפים רבים השייכים לאותו אוסף. בתחילה, איגום נתוני דיירים לאינדקסים משותפים היה אטרקטיבי מנקודת מבט של קנה מידה מכיוון שהדבר הוביל לשימוש היעיל ביותר במשאבי האינדקס. אבל לאחר ניתוח נוסף, Alcion מצאה שהם יהיו הרבה בתוך מכסת המדד לכל גבייה גם אם יקצו מדד אחד לכל דייר. עם פתרון הדאגה למידת המדרגיות הזו, Alcion נקטה באפשרות השלישית מכיוון שהעברת נתוני דיירים לאינדקסים ייעודיים מביאה לבידוד דיירים חזק יותר מאשר מודל המדדים המשותפים.
מודל גשר: צור אוסף יחיד והשתמש באינדקס יחיד לכל דייר
במודל זה, Alcion תיצור אוסף יחיד לכל חשבון AWS ותיצור אינדקס עבור כל אחד ממאות הדיירים המנוהלים על ידי אותו חשבון. על ידי הקצאת כל דייר לאינדקס ייעודי ואיגום אינדקסים אלה באוסף אחד, Alcion צמצמה את זמן ההצטרפות לדיירים חדשים וסילקה את נתוני הדיירים לדליים מופרדים בצורה נקייה.
הטמעת בקרת גישה מבוססת תפקידים לתמיכה בריבוי דירות
OpenSearch Serverless מציע ערכה בירושה של בקרות אבטחה מרובות נקודות, המכסה גישה לנתונים, גישה לרשת והצפנה. Alcion ניצלה את מלוא היתרונות של OpenSearch Serverless מדיניות גישה לנתונים ליישם בקרת גישה מבוססת תפקידים (RBAC) עבור כל אינדקס ספציפי לדייר עם הפרטים הבאים:
- הקצאת אינדקס עם קידומת משותפת ומזהה הדייר (לדוגמה,
index-v1-<tenantID>
) - צור ייעודי AWS זהות וניהול גישה תפקיד (IAM) המשמש לחתימה על בקשות לאוסף OpenSearch Serverless
- צור מדיניות גישה לנתונים ללא שרת OpenSearch המעניקה הרשאות קריאה/כתיבה של מסמכים בתוך אינדקס דייר ייעודי לתפקיד IAM עבור אותו דייר
- בקשות API של OpenSearch לאינדקס דיירים נחתמות עם אישורים זמניים השייכים לתפקיד IAM הספציפי לדייר
להלן דוגמה למדיניות גישה לנתונים ללא שרת OpenSearch עבור דייר מדומה עם מזהה t-eca0acc1-12345678910
. מדיניות זו מעניקה למסמך תפקיד IAM גישת קריאה/כתיבה לדייר הייעודי.
דיאגרמת הארכיטקטורה הבאה מתארת כיצד Alcion הטמיעה אינדקס וחיפוש משאבי Microsoft 365 באמצעות גישת האוסף המשותף של OpenSearch Serverless.
להלן קטע הקוד לדוגמה לשליחת בקשת API לאוסף OpenSearch Serverless. שימו לב כיצד לקוח ה-API מאתחל עם אובייקט חותם החותם בקשות עם אותו עיקרי IAM המקושר למדיניות הגישה לנתונים ללא שרת OpenSearch מקטע הקוד הקודם.
סיכום
במאי 2023, Alcion פרסמה את ארכיטקטורת החיפוש שלה המבוססת על האוסף המשותף והמודל הייעודי של אינדקס למשתכן בכל סביבות הייצור והקדם-ייצור. הצוות הצליח לקרוע קוד מורכב ותהליכים תפעוליים שהוקדשו לשינוי קנה מידה של דומיינים מנוהלים בשירות OpenSearch. יתר על כן, הודות ליכולות ההרחבה האוטומטיות של OpenSearch Serverless, Alcion הפחיתה את עלויות ה-OpenSearch שלה ב-30% ומצפה שפרופיל העלויות יתרחב בצורה חיובית.
במסע שלהם משירות OpenSearch מנוהל ללא שרת, Alcion הרוויחה בבחירתם הראשונית של דומיינים מנוהלים של OpenSearch Service. במעבר קדימה, הם יכלו לעשות שימוש חוזר באותם ממשקי API וספריות OpenSearch עבור אוספי OpenSearch Serverless שלהם, שבהם השתמשו עבור התחום המנוהל שלהם ב-OpenSearch Service. בנוסף, הם עדכנו את מודל השכירות שלהם כדי לנצל את מדיניות הגישה לנתונים ללא שרת OpenSearch. עם OpenSearch Serverless, הם הצליחו להסתגל ללא מאמץ לצרכי קנה המידה של הלקוחות שלהם תוך הבטחת בידוד דיירים.
למידע נוסף על Alcion, בקר באתר שלהם אתר אינטרנט.
על הכותבים
זאק רוסמן הוא חבר צוות טכני בחברת Alcion. הוא המוביל הטכנולוגי עבור פלטפורמות החיפוש וה-AI. לפני Alcion, זאק היה מהנדס תוכנה בכיר ב-Okta, ופיתח מוצרי ליבה של זהות כוח אדם וניהול גישה עבור צוות המדריכים.
Niraj Jetly הוא מנהל פיתוח תוכנה עבור Amazon OpenSearch Serverless. Niraj מוביל מספר צוותי מטוסי נתונים האחראים על השקת Amazon OpenSearch Serverless. לפני AWS, ניראג' הוביל מספר צוותי מוצר והנדסה כ-CTO, סמנכ"ל הנדסה וראש ניהול מוצר במשך למעלה מ-15 שנים. Niraj הוא זוכה של למעלה מ-15 פרסי חדשנות, כולל נבחר כ-CIO של השנה ב-2014 ו-100 ה-CIO המובילים ב-2013 ו-2016. דובר תכוף במספר כנסים, הוא צוטט ב-NPR, WSJ ו-The Boston Globe.
ג'ון הנדלר הוא ארכיטקט פתרונות ראשי בכיר בשירותי האינטרנט של אמזון המבוסס בפאלו אלטו, קליפורניה. Jon עובד בשיתוף פעולה הדוק עם OpenSearch ו-Amazon OpenSearch Service, ומספק עזרה והכוונה למגוון רחב של לקוחות שיש להם עומסי עבודה של חיפוש וניתוח יומנים שהם רוצים להעביר לענן AWS. לפני הצטרפותו ל-AWS, הקריירה של ג'ון כמפתח תוכנה כללה 4 שנים של קידוד של מנוע חיפוש בקנה מידה גדול של מסחר אלקטרוני. ג'ון הוא בעל תואר ראשון באמנויות מאוניברסיטת פנסילבניה ותואר שני במדעי המחשב ותואר שלישי במדעי המחשב ובינה מלאכותית מאוניברסיטת נורת'ווסטרן.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. רכב / רכבים חשמליים, פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- BlockOffsets. מודרניזציה של בעלות על קיזוז סביבתי. גישה כאן.
- מקור: https://aws.amazon.com/blogs/big-data/alcion-supports-their-multi-tenant-platform-with-amazon-opensearch-serverless/
- :יש ל
- :הוא
- $ למעלה
- 10
- 100
- שנים 15
- 15%
- 16
- 2013
- 2014
- 2016
- 2023
- a
- יכול
- אודות
- גישה
- ניהול גישה
- חֶשְׁבּוֹן
- מדויק
- לרוחב
- להסתגל
- בנוסף
- כתובות
- מנהלים
- אימוץ
- מתקדם
- יתרון
- לאחר
- AI
- תעשיות
- מוּקצֶה
- להתיר
- מותר
- גם
- למרות
- אמזון בעברית
- אמזון שירותי אינטרנט
- an
- אנליזה
- ניתוח
- ו
- גילוי חריגות
- API
- ממשקי API
- גישה
- ארכיטקטורה
- ARE
- מלאכותי
- בינה מלאכותית
- אומנות
- AS
- At
- מושך
- אימות
- המכונית
- אוטומטי
- באופן אוטומטי
- פרסים
- AWS
- BAAs
- בחזרה
- גיבוי
- איזון
- מבוסס
- BE
- כי
- היה
- להיות
- הטבות
- בֵּין
- בלוג
- גוּף
- בוסטון
- שניהם
- רחב
- ניטל
- אבל
- by
- CA
- נקרא
- CAN
- יכולות
- יכולת
- קריירה
- מקרה
- קטלוג
- שינויים
- בחירה
- בחירות
- בחר
- CIO
- לקוחות
- מקרוב
- ענן
- קוד
- סִמוּל
- שיתוף פעולה
- אוסף
- אוספים
- Common
- מורכב
- מכיל
- לחשב
- המחשב
- מדעי מחשב
- דְאָגָה
- כנסים
- מוגדר
- נחשב
- אנשי קשר
- הקשר
- לִשְׁלוֹט
- בקרות
- ליבה
- עלות
- עלויות
- כיסוי
- לִיצוֹר
- יוצרים
- יצירה
- אישורים
- ראש אגף טכנולוגיה
- לקוח
- לקוחות
- סייבר
- לוחות מחוונים
- נתונים
- גישה למידע
- אובדן נתונים
- מסד נתונים
- להחליט
- מוקדש
- בְּרִירַת מֶחדָל
- דרישות
- לפרוס
- פריסה
- תיאור
- עיצוב
- תכנון
- פרטים
- איתור
- מפתח
- מתפתח
- צעצועי התפתחות
- ספריות
- מסמך
- מסמכים
- תחום
- תחומים
- מטה
- כל אחד
- קל
- מסחר אלקטרוני
- יעיל
- מאמץ
- מיילים
- מופעל
- הצף
- אכיפה
- מנוע
- מהנדס
- הנדסה
- מהנדסים
- לְהַבטִיחַ
- הבטחתי
- כיתה ארגונית
- סביבה
- סביבות
- שגיאה
- שגיאות
- Ether (ETH)
- אֲפִילוּ
- אירוע
- אירועים
- התפתח
- דוגמה
- מצפה
- עובדה
- תכונות
- קבצים
- סופי
- ראשון
- להתמקד
- הבא
- בעד
- קדימה
- מצא
- קרן
- תכוף
- החל מ-
- מלא
- לגמרי
- פונקציונלי
- נוסף
- יתר על כן
- מקבל
- GitHub
- כדור הארץ
- מענקים
- קְבוּצָה
- אוֹרֵחַ
- בלוג אורחים
- הדרכה
- היה
- יש
- he
- ראש
- לעזור
- עוזר
- מחזיק
- איך
- איך
- HTML
- http
- HTTPS
- מאות
- IAM
- ID
- זהות
- ניהול זהות וגישה
- if
- מיד
- ליישם
- יושם
- לייבא
- לשפר
- in
- כלול
- כולל
- להגדיל
- מדד
- -
- אינדקסים
- מידע
- בתחילה
- בהתחלה
- חדשנות
- פרסי חדשנות
- מוֹדִיעִין
- מִמְשָׁק
- אל תוך
- הציג
- בדידות
- IT
- פריטים
- איטרציה
- שֶׁלָה
- הצטרפות
- ג'ון
- מסע
- jpg
- ג'סון
- מפתח
- גָדוֹל
- בקנה מידה גדול
- לשגר
- השקה
- עוֹפֶרֶת
- מוביל
- דליפות
- הוביל
- עזבו
- פחות
- רמה
- ספריות
- מעגל החיים
- כמו
- צמוד
- טוען
- היכנס
- את
- עושה
- עשייה
- הצליח
- ניהול
- מנהל
- ניהול
- באופן ידני
- רב
- אב
- להתאים
- מאי..
- אומר
- התכוון
- לִפְגוֹשׁ
- חבר
- מידע נוסף
- מדדים
- מיקרוסופט
- Microsoft 365
- נודד
- נודד
- מודל
- חוֹדֶשׁ
- יותר
- רוב
- המהלך
- הרבה
- מספר
- שם
- שם
- הכרחי
- צורך
- נחוץ
- צרכי
- רשת
- גישה לרשת
- חדש
- אוניברסיטת נורת'ווסטרן
- הודעה..
- מספר
- אובייקט
- of
- המיוחדות שלנו
- OKTA
- on
- Onboarding
- ONE
- רק
- קוד פתוח
- להפעיל
- מבצעי
- מטב
- מיטוב
- אפשרות
- or
- לנו
- הַחוּצָה
- יותר
- סקירה
- שֶׁלוֹ
- בעלות
- עמוד
- פאלו אלטו
- שִׂיא
- פנסילבניה
- עבור
- ביצועים
- רשות
- הרשאות
- פרספקטיבה
- פלטפורמה
- פלטפורמות
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- תוספים
- מדיניות
- מדיניות
- בריכה
- הודעה
- למנוע
- קודם
- יְסוֹדִי
- מנהל
- קודם
- תהליכים
- המוצר
- ניהול מוצר
- הפקה
- מוצרים
- פּרוֹפִיל
- להגן
- לספק
- ובלבד
- ספק
- מתן
- אַספָּקָה
- מהירות
- רכס
- חומר עיוני
- קורא
- להפחית
- מופחת
- הַרשָׁמָה
- אָמִין
- לבקש
- בקשות
- נדרש
- דרישות
- דורש
- נפתרה
- משאב
- משאבים
- תגובה
- אחראי
- לשחזר
- תוצאות
- לַחֲזוֹר
- שימוש חוזר
- תפקיד
- התגלגל
- גִלגוּל
- חֶדֶר
- כללי
- אותו
- בקרת מערכות ותקשורת
- סולם
- דרוג
- מדע
- היקף
- חיפוש
- מנוע חיפוש
- חיפוש
- שְׁנִיָה
- לבטח
- אבטחה
- שליחה
- לחצני מצוקה לפנסיונרים
- ללא שרת
- שרות
- שירותים
- סט
- כמה
- שיתוף
- משותף
- הופעות
- סִימָן
- חָתוּם
- שלטים
- פָּשׁוּט
- יחיד
- מידה
- קטע
- So
- תוכנה
- פיתוח תוכנה
- מהנדס תוכנה
- פִּתָרוֹן
- פתרונות
- רַמקוֹל
- ספציפי
- במיוחד
- יציבות
- יציב
- סגל
- מדינה
- שלב
- אחסון
- מאוחסן
- מחרוזת
- חזק
- חזק יותר
- מערכת
- תמיכה
- מסייע
- תומך
- לקחת
- משימות
- נבחרת
- צוותי
- טק
- טכני
- זמני
- שׂוֹכֵר
- מֵאֲשֶׁר
- תודה
- זֶה
- השמיים
- שֶׁלָהֶם
- אותם
- אלה
- הֵם
- שְׁלִישִׁי
- זֶה
- איומים
- שְׁלוֹשָׁה
- זמן
- ל
- יַחַד
- לקח
- חלק עליון
- סה"כ
- תְנוּעָה
- עסקות
- עסקאות לשנייה
- הסתובב
- בְּסִיסִי
- יחידות
- אוניברסיטה
- אוניברסיטת פנסילבניה
- מְעוּדכָּן
- להשתמש
- במקרה להשתמש
- מְשׁוּמָשׁ
- משתמש
- ממשק משתמש
- שימושים
- באמצעות
- תועלת
- ערכים
- באמצעות
- לְבַקֵר
- ראיה
- vp
- רוצה
- היה
- we
- אינטרנט
- שירותי אינטרנט
- טוֹב
- היו
- בכל פעם
- אשר
- בזמן
- מי
- כל
- עם
- בתוך
- לְלֹא
- תיק עבודות
- לעבוד יחד
- כוח עבודה
- עובד
- היה
- לכתוב
- WSJ
- שנה
- שנים
- זפירנט