בעולם הדיגיטלי שלנו ההולך וגובר, גישה נוחה לפס רחב במהירות גבוהה היא הכרח כדי להשתתף באופן מלא בחברה שלנו, אך עדיין יש מיליוני משקי בית אמריקאים ללא גישה לאינטרנט. יועצי משאבי אנוש- ייעוץ רב-תחומי עם עבודה מקיפה בתחום הפס הרחב וההון הדיגיטלי עוזר ללקוחות המדינה, המחוז והעירייה לספק גישה לאינטרנט במחיר סביר על ידי ניתוח צרכי הכללה דיגיטליים ספציפיים מקומיים ובניית תוכניות הון דיגיטלי מותאמות אישית.
השלב הראשון בתהליך זה הוא מיפוי הפער הדיגיטלי. לאילו משקי בית אין גישה לאינטרנט בבית? איפה הם גרים? מה הצרכים הספציפיים שלהם?
מקורות מידע ציבוריים אינם מספיקים לבניית הבנה אמיתית של צרכי ההכללה הדיגיטלית. כדי להשלים את הפערים בנתונים קיימים, HR&A יוצר סקרי הון דיגיטלי כדי לבנות תמונה מלאה יותר לפני פיתוח תוכניות הון דיגיטלי. HR&A השתמש אמזון ללא שרתים לאדום ו קרטו לעבד את ממצאי הסקר בצורה יעילה יותר וליצור לוחות מחוונים אינטראקטיביים מותאמים אישית כדי להקל על ההבנה של התוצאות. שיתוף הפעולה של HR&A עם האדום של אמזון ו-CARTO הביאו להפחתה של 75% בזמן הפריסה הכולל וניהול לוח המחוונים ועזרו לצוות להשיג את היעדים הטכניים הבאים:
- טען תוצאות סקר (קבצי CSV) ונתוני גיאומטריה (קבצי צורות) במחסן נתונים
- בצע טרנספורמציות גיאו-מרחביות באמצעות עבודות חילוץ, טרנספורמציה וטעינה (ELT) כדי לצרף נתוני גיאומטריה עם תוצאות סקרים בתוך מחסן הנתונים כדי לאפשר הדמיה של תוצאות הסקר על מפה
- שילוב עם כלי בינה עסקית (BI) עבור פונקציות גיאו-מרחביות מתקדמות, הדמיות ולוחות מחוונים למיפוי
- הגדל או מטה את קיבולת מחסני הנתונים כדי לטפל בעומסי עבודה במורכבות משתנה באופן חסכוני
בפוסט זה, אנו מפרקים כיצד HR&A משתמש בניתוח מרחבי של Amazon Redshift וב-CARTO למדידה גיאו-מרחבית חסכונית של הכללה דיגיטלית וגישה לאינטרנט במספר מדינות בארה"ב.
לפני שנגיע לפרטי הארכיטקטורה, הנה מה שיש ל-HR&A וללקוחו, משרד העתיד של העבודה של קולורדו לומר על הפתרון.
"בעבודה עם הצוות ב-HR&A Advisors, צוות Digital Equity של קולורדו יצר לוח מחוונים מותאם אישית שאיפשר לנו להעריך בצורה יעילה מאוד את טווח ההגעה שלנו תוך סקר אוכלוסיות מודרות היסטורית ברחבי קולורדו. הכלי הדינמי הזה, המופעל על ידי AWS ו-CARTO, סיפק הדמיות חזקות של אילו אזורים ואוכלוסיות מקיימים אינטראקציה עם הסקר שלנו, ואיפשר לנו להתקרב במהירות ולטפל בפערים בכיסוי. הבטחה שהצלחנו לחפש נתונים מאלה המושפעים ביותר מהפער הדיגיטלי בקולורדו הייתה חיונית לטיפול באי-השוויון הדיגיטלי במדינתנו".
- מלאני קולטי, מנהלת הון דיגיטלי במשרד לעתיד העבודה של קולורדו
"AWS מאפשר לנו לאחסן בצורה מאובטחת את כל נתוני הסקר שלנו במקום אחד, לשפשף ולנתח אותם במהירות באמזון Redshift, ולשקף את התוצאות באמצעות אינטגרציה עם כלי הדמיית נתונים כגון CARTO מבלי שהנתונים יעזבו את AWS. זה מפנה את שטח המחשב המקומי שלנו, ממכן מאוד את שלב הניקוי והניתוח של הסקרים, ומאפשר ללקוחותינו לגשת בקלות לתוצאות הנתונים. בעקבות הוכחת הרעיון והפיתוח של אב הטיפוס הראשון, כמעט כל הלקוחות שלנו במדינה גילו עניין בשימוש באותו פתרון עבור מדינותיהם."
- Harman Singh Dhodi, אנליסט ב-HR&A Advisors, Inc.
אחסון וניתוח מערכי נתונים גדולים של סקרים
HR&A השתמשו ב-Redshift Serverless כדי לאחסן כמויות גדולות של נתוני הכללה דיגיטליים במקום אחד ולשנות ולנתח אותם במהירות באמצעות ערכת הכלים האנליטית של CARTO כדי להרחיב את היכולות המרחביות של Amazon Redshift ולהשתלב עם כלי הדמיית הנתונים של CARTO - כל זאת מבלי שהנתונים יעזבו את סביבת ה-AWS. . זה צמצם משמעותית את זמני ההתמודדות האנליטיים.
השמיים ארגז הכלים של CARTO Analytics להסטה לאדום מורכב מקבוצה של פונקציות ונהלים המוגדרים על ידי המשתמש המאורגנים בסט של מודולים המבוססים על הפונקציונליות שהם מציעים.
האיור הבא מציג את שלבי הפתרון וזרימת העבודה שפותחו במהלך הוכחת הרעיון עם ענן פרטי וירטואלי (VPC) באמזון Redshift.
בסעיפים הבאים, נדון בכל שלב בזרימת העבודה ביתר פירוט.
בליעת נתונים
HR&A מקבל נתוני סקר כקובצי CSV רחבים עם מאות עמודות בכל קובץ ונתונים מרחביים קשורים בהקסדצימליים בינארי מורחב ידוע (EWKB) בצורה של קבצי צורות. קבצים אלה מאוחסנים ב שירות אחסון פשוט של אמזון (אמזון S3).
השמיים הסט לאדום פקודת COPY משמש להטמעת הנתונים המרחביים מקובצי צורות לתוך סוג הנתונים המקורי של GEOMETRY הנתמך באמזון Redshift. שילוב של ספקטרום אדום שיפט ופקודות COPY משמשות להטמעת נתוני הסקר המאוחסנים כקובצי CSV. עבור קבצים עם מבנים לא ידועים, דבק AWS סורקים משמשים לחילוץ מטא נתונים וליצירת הגדרות טבלה ב- קטלוג נתונים. הגדרות טבלאות אלו משמשות כמאגר מטא נתונים עבור טבלאות חיצוניות באמזון Redshift.
עבור קבצים עם מבנים ידועים, נעשה שימוש בהליך מאוחסן לאדום, אשר לוקח את מיקום הקובץ ושם הטבלה כפרמטרים ומריץ פקודת COPY כדי לטעון את הנתונים הגולמיים לטבלאות האדום המתאימות.
טרנספורמציה של נתונים
נהלים מאוחסנים מרובים משמשים כדי לפצל את נתוני הטבלה הגולמיים ולטעון אותם לטבלאות יעד מתאימות תוך יישום הטרנספורמציות המוגדרות על ידי המשתמש.
כללי טרנספורמציה אלה כוללים טרנספורמציה של נתוני GEOMETRY באמצעות native הסט לאדום פונקציות גיאוגרפיות-מרחביות, כמו ST_Area ו ST_length, ושל CARTO פונקציות מרחביות מתקדמות, אשר זמינים בקלות באמזון לאדום כחלק מארגז הכלים של CARTO Analytics להיסט לאדום התקנה. יתרה מזאת, כל שלבי קליטת הנתונים והטרנספורמציה אוטומטיים באמצעות an AWS למבדה פונקציה להפעיל את שאילתת ה-Redshift כאשר מערך נתונים כלשהו באמזון S3 מתעדכן.
נתונים להדמיה
צוות HR&A השתמש במחבר Redshift של CARTO כדי להתחבר לנקודת הקצה Redshift Serverless ובנה לוחות מחוונים באמצעות ממשק SQL ווידג'טים של CARTO כדי לסייע במיפוי תוך ביצוע חישובים דינמיים של נתוני המפה בהתאם לצרכי הלקוח.
להלן צילומי מסך לדוגמה של לוחות המחוונים המציגים תשובות לסקר לפי מיקוד. המחוזות בגוונים בהירים יותר מייצגים תגובות מוגבלות לסקר וצריכים להיכלל באסטרטגיית איסוף הנתונים הממוקדת.
התמונה הראשונה מציגה את לוח המחוונים ללא מסננים פעילים. התמונה השנייה מציגה מפה מסוננת וצ'אטים של משיבים שלקחו את הסקר בספרדית. המשתמש יכול לבחור ולעבור בין תכונות על ידי לחיצה על הקטגוריה המתאימה בכל אחד מתרשימים העמודות.
התוצאה: תקן חדש לעדכון אוטומטי של לוחות מחוונים דיגיטליים
לאחר פיתוח אב הטיפוס הראשון של לוח המחוונים האינטראקטיבי עם מתודולוגיה זו, חמישה מלקוחות המדינה של HR&A (CA, TX, NV, CO ו-MA) גילו עניין בפתרון. HR&A הצליחו ליישם את זה עבור כל אחד מהם בתוך חודשיים - תפנית מהירה להפליא עבור לוח מחוונים מותאם אישית ואינטראקטיבי להכללה דיגיטלית.
HR&A גם הבינו ירידה של 75% בזמן הפריסה הכוללת וניהול לוח המחוונים, מה שאומר שצוות הייעוץ יכול להפנות את המיקוד שלו מניתוח ידני של נתונים לסיוע ללקוחות לפרש ולתכנן אסטרטגית סביב התוצאות. לבסוף, הממשק הידידותי למשתמש של לוח המחוונים הפך את נתוני הסקר לנגישים יותר למגוון רחב יותר של בעלי עניין. זה עזר לבנות הבנה משותפת בעת הערכת פערים בנוף ההכלה הדיגיטלית של כל מדינה ואפשר אסטרטגיית איסוף נתונים ממוקדת מאזורים עם תשובות מוגבלות לסקר, ובכך תמך בשיתוף פעולה פרודוקטיבי יותר באופן כללי.
סיכום
בפוסט זה, הראינו כיצד HR&A הצליח לנתח נתונים גיאוגרפיים-מרחביים בנפחים גדולים באמצעות Amazon Redshift Serverless ו-CARTO.
עם היישום המוצלח של HR&A, ניכר ש-Redshift Serverless, עם הגמישות והסקלביליות שלו, יכול לשמש כזרז לשינוי חברתי חיובי. בעוד HR&A ממשיכים לסלול את הדרך להון דיגיטלי, הסיפור שלהם מהווה עדות לאופן שבו ניתן להשתמש בשירותי AWS ושותפיה בטיפול באתגרים בעולם האמיתי.
אנו ממליצים לך לחקור Redshift Serverless עם CARTO לניתוח נתונים מרחביים ולספר לנו על החוויה שלך בהערות.
על המחברים
הרמן סינג דודי הוא אנליסט ב-HR&A Advisors, הרמן משלב את התשוקה שלו לניתוח נתונים עם שיטות תשתיות בנות קיימא, הכלה חברתית, כדאיות כלכלית, חוסן אקלים ובניית יכולת של בעלי עניין. עבודתו של הרמן מתמקדת לעתים קרובות בתרגום מערכי נתונים מורכבים לסיפורים חזותיים וכלים נגישים שעוזרים להעצים קהילות להבין את האתגרים העומדים בפניהם וליצור פתרונות לעתיד מזהיר יותר.
קיראן קומאר טאטי הוא אדריכל פתרונות מומחה ב-Analytics שבסיסו באומהה, ניו יורק. הוא מתמחה בבניית פתרונות אנליטיים מקצה לקצה. יש לו יותר מ-13 שנות ניסיון בתכנון והטמעה של פתרונות Big Data ו-Analytics בקנה מידה גדול. בזמנו הפנוי הוא נהנה לשחק קריקט ולצפות בספורט.
ספנה מהשוורי הוא Sr. Solutions Architect בשירותי האינטרנט של אמזון. היא עוזרת ללקוחות לבנות פתרונות ניתוח נתונים בקנה מידה ב-AWS. מחוץ לעבודה היא נהנית לטייל ולנסות מאכלים חדשים.
ואשים נוואז הוא אדריכל פתרונות מומחה ב-Analytics ב-AWS. הוא עבד על בנייה וכיוונון של פתרונות מחסני נתונים ואגם נתונים במשך יותר מ-15 שנים. הוא נלהב לעזור ללקוחות לחדש את פלטפורמות הנתונים שלהם עם פתרונות אנליטיים יעילים, ביצועיים וניתנים להרחבה. מחוץ לעבודה, הוא נהנה לראות משחקים ולטייל.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- :יש ל
- :הוא
- :איפה
- $ למעלה
- 1
- 120
- 13
- שנים 15
- 15%
- 150
- 29
- 33
- 35%
- a
- יכול
- אודות
- גישה
- נגיש
- להשיג
- לרוחב
- פעיל
- כתובת
- פְּנִיָה
- מתקדם
- יועצים
- מחיר סביר
- תעשיות
- להתיר
- מותר
- מאפשר
- כמעט
- גם
- אמזון בעברית
- אמזון שירותי אינטרנט
- אֲמֶרִיקָאִי
- כמויות
- an
- אנליזה
- מנתח
- אנליטי
- אנליטית
- ניתוח
- לנתח
- ניתוח
- ו
- כל
- מריחה
- ארכיטקטורה
- ARE
- אזורים
- סביב
- AS
- הערכה
- לעזור
- At
- אוטומטי
- אוטומטית
- באופן אוטומטי
- זמין
- AWS
- בָּר
- מבוסס
- BE
- היה
- לפני
- בֵּין
- גָדוֹל
- נתונים גדולים
- בהיר יותר
- פס רחב
- לִבנוֹת
- בִּניָן
- נבנה
- עסקים
- מודיעין עסקי
- by
- CA
- CAN
- יכולות
- קיבולת
- זרז
- קטגוריה
- האתגרים
- שינוי
- תרשימים
- ניקוי
- לקוחות
- לקוחות
- אַקלִים
- ענן
- CO
- קוד
- שיתוף פעולה
- אוסף
- קולורדו
- עמודות
- שילוב
- משלב
- הערות
- הקהילות
- להשלים
- מורכב
- מורכבות
- מורכב
- המחשב
- מושג
- לְחַבֵּר
- ייעוץ
- ייעוץ
- ממשיך
- תוֹאֵם
- עלות תועלת
- יכול
- מחוז
- כיסוי
- לִיצוֹר
- נוצר
- יוצר
- קריקט
- מנהג
- לקוחות
- חותך
- לוח מחוונים
- לוחות מחוונים
- נתונים
- ניתוח נתונים
- אגם דאטה
- נתונים להדמיה
- מחסן נתונים
- מערכי נתונים
- הגדרות
- למסור
- פריסה
- תכנון
- פרט
- פרטים
- מפותח
- מתפתח
- צעצועי התפתחות
- דיגיטלי
- הדיגיטלי שלך
- לדון
- לחלק
- do
- לא
- מטה
- בְּמַהֲלָך
- דינמי
- כל אחד
- בקלות
- כַּלְכָּלִי
- יעילות
- יעיל
- יעילות
- להסמיך
- מה שמאפשר
- לעודד
- מקצה לקצה
- נקודת קצה
- הבטחתי
- סביבה
- הון עצמי
- Ether (ETH)
- להעריך
- אי פעם
- ברור
- קיימים
- ניסיון
- לחקור
- להאריך
- נרחב
- חיצוני
- תמצית
- לְהַקֵל
- מול
- תכונות
- תרשים
- שלח
- קבצים
- למלא
- מסננים
- בסופו של דבר
- ממצאים
- ראשון
- חמש
- גמישות
- להתמקד
- מתמקד
- הבא
- בעד
- טופס
- החל מ-
- לגמרי
- פונקציה
- פונקציונלי
- פונקציות
- יתר על כן
- עתיד
- עתיד העבודה
- משחקים
- פערים
- גאומטריה
- לקבל
- שערים
- מאוד
- יש
- he
- לעזור
- עזר
- עזרה
- עוזר
- כאן
- שֶׁלוֹ
- הסטורי
- עמוד הבית
- בית
- משקי בית
- איך
- HTML
- http
- HTTPS
- מאות
- איור
- תמונה
- מושפעים
- ליישם
- הפעלה
- יישום
- in
- לכלול
- כלול
- הַכלָלָה
- יותר ויותר
- בצורה מדהימה
- תשתית
- לשלב
- השתלבות
- מוֹדִיעִין
- אינטראקציה
- אינטראקטיבי
- אינטרס
- מִמְשָׁק
- אינטרנט
- גישה לאינטרנט
- אל תוך
- IT
- שֶׁלָה
- מקומות תעסוקה
- להצטרף
- jpg
- לדעת
- ידוע
- קומאר
- אגם
- נוף
- שפה
- גָדוֹל
- עזיבה
- לתת
- קל יותר
- כמו
- מוגבל
- לחיות
- לִטעוֹן
- מקומי
- באופן מקומי
- מיקום
- עשוי
- ניהול
- מנהל
- באופן ידני
- מַפָּה
- מיפוי
- התכוון
- למדוד
- מדידה
- מלאני
- מידע נוסף
- מֵתוֹדוֹלוֹגִיָה
- מיליונים
- ראי
- לְחַדֵשׁ
- מודולים
- יותר
- רוב
- רב תחומי
- מספר
- עירוני
- שם
- יליד
- ne
- הכרח
- צורך
- צרכי
- חדש
- NV
- of
- הַצָעָה
- Office
- לעתים קרובות
- אומחה
- on
- ONE
- or
- מאורגן
- שלנו
- הַחוּצָה
- בחוץ
- יותר
- מקיף
- פרמטרים
- חלק
- להשתתף
- שותפים
- תשוקה
- לוהט
- לסלול
- עבור
- ביצוע
- שלב
- תמונה
- מקום
- תכנית
- תוכניות
- פלטפורמות
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- משחק
- אוכלוסיות
- חיובי
- הודעה
- מופעל
- פרקטיקות
- פְּרָטִי
- הליך
- נהלים
- תהליך
- פּרוּדוּקטִיבִי
- הוכחה
- הוכחה של רעיון או תאוריה
- אב טיפוס
- ובלבד
- מָהִיר
- מהירות
- רכס
- חי
- נתונים גולמיים
- לְהַגִיעַ
- לְלֹא קוֹשִׁי
- עולם אמיתי
- הבין
- מקבל
- הפניה
- הפחתה
- אזורים
- קָשׁוּר
- מאגר
- לייצג
- אלה
- המשיבים
- תגובות
- תוצאה
- הביא
- תוצאות
- חָסוֹן
- כללי
- הפעלה
- פועל
- אותו
- לומר
- בקרת מערכות ותקשורת
- להרחבה
- סולם
- צילומי מסך
- שְׁנִיָה
- סעיפים
- מאובטח
- לחפש
- בחר
- ללא שרת
- שירותים
- סט
- צוּרָה
- משותף
- היא
- לְהַצִיג
- הראה
- הופעות
- באופן משמעותי
- פָּשׁוּט
- חֶברָתִי
- שינוי חברתי
- חֶברָה
- פִּתָרוֹן
- פתרונות
- מקורות
- מֶרחָב
- ספרדי
- מרחבית
- מומחה
- מתמחה
- ספציפי
- לפצל
- ספורט
- SQL
- בעלי העניין
- בעלי עניין
- תֶקֶן
- עומד
- מדינה
- הברית
- שלב
- צעדים
- עוד
- אחסון
- חנות
- מאוחסן
- סיפורים
- סיפור
- מבחינה אסטרטגית
- אִסטרָטֶגִיָה
- מבנים
- מוצלח
- כזה
- מספיק
- נתמך
- מסייע
- סֶקֶר
- בר קיימא
- שולחן
- מותאם
- לוקח
- יעד
- ממוקד
- נבחרת
- טכני
- ברית
- מֵאֲשֶׁר
- זֶה
- השמיים
- העתיד
- עתיד העבודה
- המדינה
- שֶׁלָהֶם
- אותם
- שם.
- בכך
- אלה
- הֵם
- זֶה
- אלה
- דרך
- זמן
- פִּי
- ל
- לקח
- כלי
- ארגז כלים
- ארגז כלים
- כלים
- לשנות
- טרנספורמציה
- טרנספורמציות
- נסיעה
- נָכוֹן
- מנסה
- TX
- סוג
- להבין
- הבנה
- לא ידוע
- מְעוּדכָּן
- עדכון
- us
- ארצות הברית
- מְשׁוּמָשׁ
- משתמש
- ידידותי למשתמש
- שימושים
- באמצעות
- משתנה
- מאוד
- יכולת חיוניות הקיום
- וירטואלי
- חזותי
- ראיה
- חיוני
- כרכים
- מחסן
- היה
- צופה
- דֶרֶך..
- we
- אינטרנט
- שירותי אינטרנט
- מוכר
- היו
- מה
- מתי
- אשר
- בזמן
- מי
- רָחָב
- רחב יותר
- ויקיפדיה
- עם
- בתוך
- לְלֹא
- תיק עבודות
- עבד
- זרימת עבודה
- עוֹלָם
- שנים
- עוד
- אתה
- זפירנט
- רוכסן
- זום