אמזון MSK Connect הוא תכונה של אמזון מנוהל סטרימינג עבור אפאצ'י קפקא (Amazon MSK) שמציעה סביבת Apache Kafka Connect מנוהלת במלואה ב-AWS. עם MSK Connect, אתה יכול לפרוס מחברים מנוהלים במלואם שנבנו עבור Kafka Connect שמעבירים נתונים לתוך או מושכים נתונים מחנויות נתונים פופולריות כמו Amazon S3 ו- Amazon OpenSearch Service. עם הצגת ה תמיכה פרטית ב-DNS לתוך MSK Connect, מחברים מסוגלים לפתור שמות דומיינים של לקוחות פרטיים, באמצעות שרתי ה-DNS שלהם המוגדרים ב-VPC DHCP Options של הלקוח. פוסט זה מדגים פתרון לפתרון שמות מארח פרטיים של DNS המוגדרים ב-VPC של לקוח עבור MSK Connect.
ייתכן שתרצה להשתמש בתמיכה פרטית בשם מארח DNS עבור MSK Connect מסיבות מרובות. לפני יכולת רזולוציית DNS פרטית הכלולה ב-MSK Connect, היא השתמשה בשירות VPC DNS Resolver לפתרון DNS. MSK Connect לא השתמש בשרתי ה-DNS הפרטיים שהוגדרו בערכות האפשרויות של VPC DHCP של הלקוח לפתרון DNS. המחברים יכלו להפנות רק לשמות מארחים בתצורת המחברים או בפלאגין הניתנים לפתרון ציבורי ולא יכלו לפתור שמות מארחים פרטיים שהוגדרו באזור מתארח פרטי או להשתמש בשרתי DNS ברשת לקוח אחרת.
לקוחות רבים מבטיחים שיישומי ה-DNS הפנימיים שלהם אינם ניתנים לפתרון ציבורי. לדוגמה, ייתכן שיש לך מסד נתונים MySQL או PostgreSQL וייתכן שלא תרצה ששם ה-DNS עבור מסד הנתונים שלך יהיה בר פתרון או נגיש לציבור. שירות מסדי נתונים יחסי של אמזון (אמזון RDS) או אמזון אורורה לשרתים יש שמות DNS שניתנים לפתרון ציבורי אך אינם נגישים. אתה יכול לקבל יישומים פנימיים מרובים כגון מסדי נתונים, מחסני נתונים או מערכות אחרות שבהן שמות DNS אינם ניתנים לפתרון ציבורי.
עם ההשקה האחרונה של תמיכת MSK Connect פרטית ב-DNS, אתה יכול להגדיר מחברים להתייחס לשמות דומיין ציבוריים או פרטיים. מחברים משתמשים בשרתי ה-DNS המוגדרים בערכת אפשרויות ה-DHCP של ה-VPC שלך כדי לפתור שמות דומיין. כעת תוכל להשתמש ב-MSK Connect כדי להתחבר באופן פרטי לבסיסי נתונים, מחסני נתונים ומשאבים אחרים ב-VPC שלך כדי לעמוד בצרכי האבטחה שלך.
אם יש לך מסד נתונים MySQL או PostgreSQL עם DNS פרטי, אתה יכול להגדיר אותו בשרת DNS מותאם אישית ולהגדיר את אפשרות ה-DHCP הספציפית ל-VPC כדי לבצע את רזולוציית ה-DNS באמצעות שרת ה-DNS המותאם אישית המקומי ל-VPC במקום להשתמש ב-DNS של השירות פתרון הבעיה.
סקירת פתרונות
ללקוח יכולות להיות אפשרויות ארכיטקטורה שונות להגדיר את MSK Connect שלו. לדוגמה, הם יכולים לקבל את אמזון MSK ו-MSK Connect באותה VPC או מערכת מקור ב-VPC1 ואמזון MSK ו-MSK Connect נמצאים ב-VPC2 או במערכת מקור, אמזון MSK ו-MSK Connect נמצאים כולם ב-VPCs שונים.
ההגדרה הבאה משתמשת בשני VPCs שונים, כאשר MySQL VPC מארח את מסד הנתונים של MySQL ו-MSK VPC מארח את Amazon MSK, MSK Connect, שרת ה-DNS ורכיבים שונים אחרים. אתה יכול להרחיב ארכיטקטורה זו כדי לתמוך בטופולוגיות פריסה אחרות באמצעות מתאים AWS זהות וניהול גישה (IAM) הרשאות ואפשרויות קישוריות.
פוסט זה מספק הוראות שלב אחר שלב להגדרת MSK Connect שבו הוא יקבל נתונים ממסד נתונים מקור של MySQL עם שם מארח DNS פרטי ב-MySQL VPC וישלח נתונים לאמזון MSK באמצעות MSK Connect ב-VPC אחר. התרשים הבא ממחיש את הארכיטקטורה ברמה גבוהה.
הוראות ההגדרה כוללות את השלבים העיקריים הבאים:
- הגדר את ה-VPCs, רשתות המשנה ורכיבי תשתית ליבה אחרים.
- התקן והגדר את שרת ה-DNS.
- העלה את הנתונים למסד הנתונים של MySQL.
- פרסו את Amazon MSK ו-MSK Connect וצרכו את רשומות לכידת נתוני השינוי (CDC).
תנאים מוקדמים
כדי לעקוב אחר המדריך בפוסט זה, אתה צריך את הדברים הבאים:
צור את התשתית הנדרשת באמצעות AWS CloudFormation
לפני הגדרת התצורה של MSK Connect, עלינו להגדיר את ה-VPCs, רשתות המשנה ורכיבי תשתית ליבה אחרים. כדי להגדיר משאבים בחשבון AWS שלך, בצע את השלבים הבאים:
- בחרו השקת ערימה להשיק את המחסנית באזור שתומך ב- Amazon MSK וב-MSK Connect.
- ציין את המפתח הפרטי שבו אתה משתמש כדי להתחבר למופעי EC2.
- עדכן את מיקום ה-SSH עם כתובת ה-IP המקומית שלך ושמור את הערכים האחרים כברירת מחדל.
- בחרו הַבָּא.
- עיין בפרטים בדף הסופי ובחר אני מאשר ש- AWS CloudFormation עשוי ליצור משאבי IAM.
- בחרו צור ערימה והמתן עד שייווצרו המשאבים הנדרשים.
תבנית CloudFormation יוצרת את משאבי המפתח הבאים בחשבון שלך:
- VPCs:
- MSK VPC
- MySQL VPC
- רשתות משנה ב-MSK VPC:
- שלוש רשתות משנה פרטיות עבור אמזון MSK
- רשת משנה פרטית לשרת DNS
- רשת משנה פרטית עבור MSKClient
- רשת משנה ציבורית עבור מארח בסטיון
- רשתות משנה ב-MySQL VPC:
- רשת משנה פרטית עבור מסד נתונים MySQL
- רשת משנה ציבורית עבור מארח בסטיון
- שער אינטרנט מחובר ל-MySQL VPC ו-MSK VPC
- שערים NAT המחוברים לרשת המשנה הציבורית של MySQL ולרשת המשנה הציבורית של MSK
- ניתוב טבלאות לתמיכה בזרימת התעבורה בין רשתות משנה שונות ב-VPC ובין VPCs
- חיבור הצצה בין ה-MySQL VPC ל-MSK VPC
- מסד נתונים ותצורות של MySQL
- שרת ה- DNS
- לקוח MSK עם ספריות בהתאמה
שים לב, אם אתה משתמש ב-VPC Peering או AWS Transit Gateway עם MSK Connect, אל תגדיר את המחבר שלך כדי להגיע למשאבי ה-VPC המצופים עם כתובות IP בטווחי CIDR. למידע נוסף, עיין ב חיבור ממחברים.
הגדר את שרת ה-DNS
השלם את השלבים הבאים כדי להגדיר את שרת ה-DNS:
- התחבר לשרת ה-DNS. ישנם שלושה קובצי תצורה זמינים בשרת ה-DNS תחת
/home/ec2-user
תיקייה:named.conf
mysql.internal.zone
kafka.us-east-1.amazonaws.com.zone
- הפעל את הפקודות הבאות כדי להתקין ולהגדיר את שרת ה-DNS שלך:
- עדכון
/etc/named.conf
.
עבור התכונה 'אפשר-העברה', עדכן את כתובת ה-IP הפנימית של שרת ה-DNS כדי לאפשר-העברה
{ localhost; <DNS Server internal IP address>; };.
אתה יכול למצוא את כתובת ה-IP של שרת ה-DNS בתבנית CloudFormation יציאות TAB.
הערות שאשכול MSK עדיין לא הוקם בשלב זה. עלינו לעדכן את שמות ה-DNS של ברוקר קפקא ואת כתובות ה-IP הפנימיות שלהם ב- /var/named/kafka.region.amazonaws.com
קובץ התצורה לאחר הגדרת אשכול MSK בהמשך פוסט זה. להנחיות, עיין כאן.
שים לב גם שהגדרות אלה מגדירים את שרת ה-DNS עבור פוסט זה. בסביבה שלך, אתה יכול להגדיר את שרת ה-DNS לפי הצרכים שלך.
- הפעל מחדש את שירות ה-DNS:
אתה אמור לראות את ההודעה הבאה:
העלה את הנתונים למסד הנתונים של MySQL
בדרך כלל, אנו יכולים להשתמש ב- Amazon RDS עבור MySQL מסד נתונים, אבל עבור פוסט זה, אנו משתמשים בשרתי מסד נתונים מותאמים אישית של MySQL. ה-DNS של Amazon RDS נגיש לציבור ו-MSK Connect תומך בו, אך הוא לא היה מסוגל לתמוך במסדי נתונים או אפליקציות עם DNS פרטי בעבר. עם האחרון שמות מארח DNS פרטיים השקת תכונה, היא יכולה לתמוך גם ב-DNS הפרטי של יישומים, לכן אנו משתמשים במסד נתונים של MySQL במופע EC2.
התקנה זו מספקת מידע על הגדרת מסד הנתונים של MySQL על מופע EC2 של צומת יחיד. אין להשתמש בזה עבור הגדרת הייצור שלך. עליך לעקוב אחר ההנחיות המתאימות להגדרה והגדרה של MySQL בחשבונך.
מסד הנתונים של MySQL כבר מוגדר באמצעות תבנית CloudFormation ומוכן לשימוש כעת. כדי להעלות את הנתונים, בצע את השלבים הבאים:
- SSH למופע MySQL EC2. להנחיות, עיין ב התחבר למופע לינוקס שלך. קובץ הנתונים
salesdb.sql
כבר הורד וזמין תחת/home/ec2-user
במדריך. - היכנס ל-mysqldb עם שם המשתמש מאסטר.
- כדי לגשת לסיסמה, נווט אל מנהל מערכות AWS ו חנות פרמטרים כרטיסייה. בחר /מסד נתונים/אישורים/מאסטר ולחץ על צפו בפרטים והעתק את הערך עבור המפתח.
- היכנס ל-MySQL באמצעות הפקודה הבאה:
- הפעל את הפקודות הבאות כדי ליצור את
salesdb
מסד נתונים וטען את הנתונים לטבלה:
פעולה זו תכניס את הרשומות בטבלאות שונות ב- salesdb
מאגר מידע.
- הפעל הצג טבלאות כדי לראות את הטבלאות הבאות ב-
salesdb
:
צור ערכת אפשרויות DHCP
ערכות אפשרויות DHCP מעניקות לך שליטה על ההיבטים הבאים של ניתוב ברשת הוירטואלית שלך:
- אתה יכול לשלוט על שרתי ה-DNS, שמות הדומיין או שרתי Network Time Protocol (NTP) המשמשים את המכשירים ב-VPC שלך.
- אתה יכול להשבית לחלוטין את רזולוציית DNS ב-VPC שלך.
כדי לתמוך ב-DNS פרטי, אתה יכול להשתמש ב- כביש אמזון 53 אזור פרטי או שרת DNS מותאם אישית משלך. אם אתה משתמש באזור פרטי של Route 53, ההגדרה תפעל אוטומטית ואין צורך לבצע שינויים כלשהם באופציית DHCP המוגדרת כברירת מחדל עבור MSK VPC. עבור שרת DNS מותאם אישית, השלם את השלבים הבאים כדי להגדיר תצורת DHCP מותאמת אישית באמצעות ענן וירטואלי פרטי של אמזון (Amazon VPC) וצרף אותו ל-MSK VPC.
תהיה אפשרות DHCP המוגדרת כברירת מחדל ב-VPC שלך המחוברת לשרת ה-DNS שסופק על ידי אמזון. בשלב זה, הבקשות יעברו לשרת ה-DNS המסופק של אמזון לצורך פתרון. עם זאת, אנו יוצרים ערכת אפשרויות DHCP חדשה מכיוון שאנו משתמשים בשרת DNS מותאם אישית.
- במסוף VPC של אמזון, בחר הגדרת אפשרות DHCP בחלונית הניווט.
- בחרו צור ערכת אפשרויות DHCP.
- בעד שם ערכת אפשרות DHCP, להיכנס
MSKConnect_Private_DHCP_OptionSet
. - בעד שם דומיין, להיכנס
mysql.internal
. - בעד שרת שם דומיין, הזן את כתובת ה-IP של שרת ה-DNS.
- בחרו צור ערכת אפשרויות DHCP.
- נווט אל MSK VPC ועל פעולות בתפריט, בחר ערוך הגדרות VPC.
- בחר את ערכת אפשרויות ה-DHCP החדשה שנוצרה ושמור אותה.
צילום המסך הבא מציג את התצורות לדוגמה. - במסוף אמזון EC2, נווט אל
privateDNS_bastion_host
. - בחרו מצב מופע ו אתחול מופע.
- המתן כמה דקות ואז רוץ
nslookup
מארח המעוז; זה אמור להיות מסוגל לפתור את זה באמצעות שרת ה-DNS המקומי שלך במקום כביש 53:
כעת מערך תשתית הבסיס שלנו מוכן לעבור לשלב הבא. כחלק מתשתית הבסיס שלנו, הגדרנו בהצלחה את מרכיבי המפתח הבאים:
- MSK ו-MySQL VPCs
- רשתות משנה
- מקרים של EC2
- הצגת VPC
- טבלאות מסלול
- שערים NAT ושערים לאינטרנט
- שרת DNS ותצורה
- קבוצות אבטחה מתאימות ו-NACLs
- מסד נתונים MySQL עם הנתונים הנדרשים
בשלב זה, שם ה-DNS של MySQL DB ניתן לפתרון באמצעות שרת DNS מותאם אישית במקום כביש 53.
הגדר את אשכול MSK ו-MSK Connect
השלב הבא הוא לפרוס את אשכול MSK ו-MSK Connect, שיביאו רשומות מה- salesdb
ולשלוח אותו ל- an שירות אחסון פשוט של אמזון דלי (Amazon S3). בסעיף זה, אנו מספקים הדרכה לשכפול מסד הנתונים של MySQL (salesdb
) לאמזון MSK באמצעות דביציום, מחבר קוד פתוח. המחבר יעקוב אחר כל שינוי במסד הנתונים וילכוד כל שינוי בטבלאות.
עם MSK Connect, אתה יכול להריץ עומסי עבודה Apache Kafka Connect מנוהלים במלואם ב-AWS. MSK Connect מספקת את המשאבים הנדרשים ומגדירה את האשכול. הוא עוקב באופן רציף אחר מצב התקינות והאספקה של המחברים, מדבק ומנהל את החומרה הבסיסית, ומשנה את המחברים באופן אוטומטי כדי להתאים לשינויים בתפוקה. כתוצאה מכך, אתה יכול למקד את המשאבים שלך בבניית יישומים במקום בניהול תשתית.
MSK Connect יעשה שימוש בשרת ה-DNS המותאם אישית ב-VPC והוא לא יהיה תלוי בכביש 53.
צור תצורת אשכול MSK
השלם את השלבים הבאים כדי ליצור אשכול MSK:
- במסוף MSK של אמזון, בחר תצורות אשכול תחת אשכולות MSK בחלונית הניווט.
- בחרו צור תצורה.
- תן שם לתצורה
mskc-tutorial-cluster-configuration
. - תַחַת מאפייני תצורה, הסר הכל והוסף את השורה
auto.create.topics.enable=true
. - בחרו צור.
צור אשכול MSK וצרף את התצורה
בשלב הבא, אנו מצרפים את התצורה הזו לאשכול. השלם את השלבים הבאים:
- במסוף MSK של אמזון, בחר אשכולות תחת אשכולות MSK בחלונית הניווט.
- בחרו צור אשכולות ו יצירה מותאמת אישית.
- עבור שם האשכול, הזן
mkc-tutorial-cluster
. - תַחַת מאפייני אשכול כללי, בחר נקבע עבור סוג האשכול והשתמש בגרסת ברירת המחדל של Apache Kafka 2.8.1.
- השתמש בכל אפשרויות ברירת המחדל עבור ברוקרים ו אחסון סעיפים.
- תַחַת תצורות, בחר תצורה מותאמת אישית.
- בחר
mskc-tutorial-cluster-configuration
עם הגרסה המתאימה ובחר הַבָּא. - תַחַת רישות, בחר ב-MSK VPC.
- בחר את אזורי הזמינות בהתאם לאזור שלך, כגון
us-east1a
,us-east1b
, וus-east1c
, ורשתות המשנה הפרטיות המתאימותMSK-Private-1
,MSK-Private-2
, וMSK-Private-3
אם אתה ב-us-east-1
אזור. גישה ציבורית למתווכים אלה צריכה להיות מושבתת. - העתק את מזהה קבוצת האבטחה ממנו קבוצות אבטחה נבחרות.
- בחרו הַבָּא.
- תַחַת שיטות בקרת גישה, בחר אימות מבוסס תפקידים של IAM.
- ב הצף סעיף, תחת בין לקוחות לברוקרים, הצפנת TLS ייבחר כברירת מחדל.
- בעד Encrנתוני ypt במנוחה, בחר השתמש במפתח מנוהל AWS.
- השתמש באפשרויות ברירת המחדל עבור ניטור ובחר ניטור בסיסי.
- בחר משלוח לאמזון CloudWatch Logs.
- תַחַת קבוצת יומן, בחר בקר בקונסולת אמזון CloudWatch Logs.
- בחרו צור קבוצת יומן.
- הזן שם קבוצת יומן ובחר צור.
- לחזור ל ניטור ותגים עמוד ומטה קבוצות יומנים, בחר בחר קבוצת יומן
- בחרו הַבָּא.
- סקור את התצורות ובחר צור אשכול. אתה מופנה לדף הפרטים של האשכול.
- תַחַת קבוצות אבטחה החלו, שים לב למזהה קבוצת האבטחה לשימוש בשלב מאוחר יותר.
יצירת אשכולות יכולה להימשך בדרך כלל 25-30 דקות. הסטטוס שלו משתנה לפעיל כאשר הוא נוצר בהצלחה.
עדכן את קובץ האזור /var/named/kafka.region.amazonaws.com
לפני שתיצור את מחבר MSK, עדכן את תצורות שרת ה-DNS עם פרטי אשכול MSK.
- כדי לקבל את רשימת ה-DNS של שרת האתחול וכתובות ה-IP המתאימות, נווט אל האשכול ובחר הצג מידע על הלקוח.
- העתק את פרטי שרת האתחול עם סוג אימות IAM.
- אתה יכול לזהות את כתובות ה-IP של המתווך באמצעות
nslookup
מהמחשב המקומי שלך והוא יספק לך את כתובת ה-IP המקומית של המתווך. נכון לעכשיו, ה-VPC שלך מצביע על ערכת אפשרויות ה-DHCP העדכנית ביותר ושרת ה-DNS שלך לא יוכל לפתור את שמות ה-DNS האלה מה-VPC שלך.
כעת אתה יכול להיכנס לשרת ה-DNS ולעדכן את הרשומות עבור מתווכים שונים וכתובות IP בהתאמה ב- /var/named/kafka.region.amazonaws.com
קובץ.
- העלה את ה-
msk-access.pem
הקובץ אלBastionHostInstance
מהמחשב המקומי שלך: - היכנס לשרת ה-DNS ופתח את
/var/named/kafka.region.amazonaws.com
קובץ ועדכן את השורות הבאות עם שמות ה-DNS הנכונים של מתווך MSK וכתובות ה-IP המתאימות:
שים לב שאתה צריך לספק את ה-DNS של המתווך כפי שהוזכר קודם לכן. לְהַסִיר .kafka.<region id>.amazonaws.com
משם ה-DNS של המתווך.
- הפעל מחדש את שירות ה-DNS:
אתה אמור לראות את ההודעה הבאה:
שרת ה-DNS המותאם אישית שלך פועל כעת ואתה אמור להיות מסוגל לפתור באמצעות שמות DNS מתווכים באמצעות שרת ה-DNS הפנימי.
עדכן את קבוצת האבטחה לקישוריות בין מסד הנתונים של MySQL ל-MSK Connect
חשוב שתהיה הקישוריות המתאימה בין MSK Connect למסד הנתונים של MySQL. השלם את השלבים הבאים:
- במסוף MSK של אמזון, נווט אל אשכול MSK ומטה הגדרות רשת, העתק את קבוצת האבטחה.
- בקונסולת אמזון EC2, בחר קבוצות אבטחה בחלונית הניווט.
- ערוך את קבוצת האבטחה
MySQL_SG
ולבחור הוסף כלל. - הוסף כלל עם MySQL/Aurora כסוג וקבוצת האבטחה MSK כמשאב הנכנס עבור המקור שלו.
- בחרו שמור חוקים.
צור את מחבר MSK
כדי ליצור את מחבר MSK שלך, בצע את השלבים הבאים:
- במסוף MSK של אמזון, בחר מחברים תחת MSK Connect בחלונית הניווט.
- בחרו צור מחבר.
- בחר צור תוסף מותאם אישית.
- הורד את תוסף מחבר MySQL עבור המהדורה היציבה האחרונה מה- דביציום אתר או הורדה Debezium.zip.
- העלה את קובץ ה-zip של מחבר MySQL לדלי S3.
- העתק את כתובת האתר של הקובץ, כגון
s3://<bucket name>/Debezium.zip
. - לחזור ל בחר תוסף מותאם אישית עמוד והזן את נתיב הקובץ S3 עבור S3 URI.
- בעד שם תוסף מותאם אישית, להיכנס
mysql-plugin
. - בחרו הַבָּא.
- בעד שם, להיכנס
mysql-connector
. - בעד תיאור, הזן תיאור של המחבר.
- בעד סוג אשכול, בחר אשכול MSK.
- בחר את האשכול הקיים מהרשימה (עבור פוסט זה,
mkc-tutorial-cluster
). - ציין את סוג האימות בתור IAM.
- השתמש בערכים הבאים עבור תצורת מחבר:
- עדכן את תצורת המחברים הבאה:
- בעד סוג קיבולת, בחר נקבע.
- בעד ספירת MCU לעובד, הזן 1.
- בעד מספר עובדים, הזן 1.
- בחר השתמש בתצורת ברירת המחדל של MSK.
- ב הרשאות גישה על החלק בחר תפקיד שירות בתפריט, בחר
MSK-Connect-PrivateDNS-MySQLConnector*
, ואז לבחור הַבָּא. - ב אבטחה סעיף, שמור על הגדרות ברירת המחדל.
- ב יומנים בחר, בחר משלוח יומני אמזון CloudWatch.
- בחרו בקר בקונסולת אמזון CloudWatch Logs.
- תַחַת יומנים בחלונית הניווט, בחר קבוצת יומן.
- בחרו צור קבוצת יומן.
- הזן את שם קבוצת היומן, הגדרות השמירה והתגים, ולאחר מכן בחר צור.
- חזור לדף יצירת המחבר ובחר עיין בקבוצת יומן הרישום.
- בחר את
AmazonMSKConnect
יומן קבוצה ולאחר מכן בחר הַבָּא. - סקור את התצורות ובחר צור מחבר.
המתן עד שתהליך יצירת המחבר יסתיים (בערך 10-15 דקות).
מחבר MSK Connect פועל כעת. אתה יכול להיכנס למסד הנתונים של MySQL באמצעות מזהה המשתמש שלך ולבצע כמה שינויים ברשומות ברשומת טבלת הלקוחות. MSK Connect יוכל לקבל רשומות CDC ועדכונים למסד הנתונים יהיו זמינים ב-MSK נוֹשֵׂא.
לצרוך הודעות מהנושא של MSK
כדי לצרוך הודעות מהנושא של MSK, הפעל את צרכן קפקא על MSK_Client
מופע EC2 זמין ב-MSK VPC.
- SSH ל
MSK_Client
מופע EC2. הMSK_Client
למופע יש את ספריות הלקוחות הנדרשות של Kafka, קובץ Amazon MSK IAM JAR,client.properties
קובץ, ופרופיל מופע המצורף אליו, יחד עם תפקיד IAM המתאים באמצעות תבנית CloudFormation. - מוסיף את
MSKClientSG
קבוצת אבטחה כמקור לקבוצת האבטחה MSK עם המאפיינים הבאים:- בעד סוּג, בחר כל התנועה.
- בעד מָקוֹר, בחר Custom ו-MSK Security Group.
עכשיו אתה מוכן לצרוך נתונים.
- כדי לרשום את הנושאים, הפעל את הפקודה הבאה:
- כדי לצרוך נתונים מה-
salesdb-server.salesdb.CUSTOMER
נושא, השתמש בפקודה הבאה:
הפעל את צרכן Kafka במחשב ה-EC2 שלך ותוכל לרשום הודעות דומות להודעות הבאות:
במהלך בדיקת היישום, רשומות עם CUST_ID 1998, 1999 ו-2000 עודכנו, ורשומות אלו זמינות ביומנים.
לנקות את
זה תמיד נוהג טוב לנקות את כל המשאבים שנוצרו כחלק מהפוסט הזה כדי למנוע כל עלות נוספת. כדי לנקות את המשאבים שלך, מחק את Cluster MSK, חיבור MSK Connect, מופעי EC2, שרת DNS, מארח bastion, דלי S3, VPC, רשתות משנה ויומני CloudWatch.
בנוסף, נקה את כל משאבי AWS האחרים שיצרת באמצעות AWS CloudFormation. אתה יכול למחוק משאבים אלה במסוף AWS CloudFormation על ידי מחיקת המחסנית.
סיכום
בפוסט זה, דנו בתהליך של הגדרת MSK Connect באמצעות DNS פרטי. תכונה זו מאפשרת לך להגדיר מחברים להתייחסות לשמות דומיין ציבוריים או פרטיים.
אנו מסוגלים לקבל את הטעינה הראשונית ורשומות CDC ממסד נתונים MySQL המתארח ב-VPC נפרד וה-DNS שלו אינו נגיש או ניתן לפתרון חיצוני. MSK Connect הצליח להתחבר למסד הנתונים של MySQL ולצרוך את הרשומות באמצעות תכונת ה-DNS הפרטית של MSK Connect. ערכת אפשרויות ה-DHCP המותאמת אישית צורפה ל-VPC, מה שהבטיח שפתרון DNS בוצע באמצעות שרת ה-DNS המקומי במקום כביש 53.
עם תכונת התמיכה הפרטית של MSK Connect ב-DNS, אתה יכול להפוך את מסדי הנתונים, מחסני הנתונים והמערכות שלך כמו מנהלי סודות שעובדים עם ה-VPC שלך לבלתי נגישים לאינטרנט ולהיות מסוגלים להתגבר על מגבלה זו ולעמוד בתנוחת האבטחה הארגונית שלך.
כדי ללמוד עוד ולהתחיל, עיין ב DNS פרטי לחיבור MSK.
על הסופר
עמר הוא אדריכל פתרונות בכיר באמזון AWS בבריטניה. הוא עובד על פני לקוחות חשמל, שירותים, ייצור ורכב על יישומים אסטרטגיים, ומתמחה בשימוש ב-AWS Streaming ופתרונות ניתוח נתונים מתקדמים, כדי להשיג תוצאות עסקיות אופטימליות.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://aws.amazon.com/blogs/big-data/resolve-private-dns-hostnames-for-amazon-msk-connect/
- :יש ל
- :הוא
- :לֹא
- :איפה
- $ למעלה
- 1
- 14
- 160
- 1998
- 1999
- 2000
- 53
- 7
- 73
- 8
- 9
- a
- יכול
- אודות
- גישה
- נגיש
- חֶשְׁבּוֹן
- הודה
- לרוחב
- פעיל
- להוסיף
- נוסף
- כתובת
- כתובות
- מתקדם
- לאחר
- תעשיות
- מאפשר
- לאורך
- כְּבָר
- תמיד
- אמזון בעברית
- אמזון
- אמזון RDS
- אמזון שירותי אינטרנט
- an
- ניתוח
- ו
- אחר
- כל
- אַפָּשׁ
- אפאצ'י קפקא
- בקשה
- יישומים
- מתאים
- ארכיטקטורה
- ARE
- AS
- היבטים
- At
- לצרף
- תודה
- אימות
- המכונית
- באופן אוטומטי
- רכב
- זמינות
- זמין
- לְהִמָנַע
- AWS
- AWS CloudFormation
- בסיס
- BE
- כי
- לפני
- בֵּין
- לאגד
- אוזן נעל
- ברוקר
- ברוקרים
- בִּניָן
- נבנה
- עסקים
- אבל
- by
- CAN
- יכולת
- ללכוד
- ה-CDC
- שינוי
- שינויים
- בחרו
- קליק
- לקוחות
- לקוחות
- אשכול
- COM
- להשלים
- לחלוטין
- להיענות
- רכיבים
- תְצוּרָה
- מוגדר
- לְחַבֵּר
- הקשר
- קישוריות
- קונסול
- לצרוך
- צרכן
- ברציפות
- לִשְׁלוֹט
- ליבה
- משותף
- לתקן
- עלות
- זוג
- לִיצוֹר
- נוצר
- יוצר
- יצירה
- כיום
- מנהג
- לקוח
- לקוחות
- נתונים
- ניתוח נתונים
- מחסני נתונים
- מסד נתונים
- מאגרי מידע
- בְּרִירַת מֶחדָל
- מוגדר
- מסירה
- מדגים
- תלוי
- תלוי
- לפרוס
- פריסה
- תיאור
- פרטים
- התקנים
- אחר
- נָדוֹן
- DNS
- do
- תחום
- שמות דומיינים
- לא
- להורדה
- נהיגה
- מוקדם יותר
- או
- לְהַבטִיחַ
- הבטיח
- זן
- סביבה
- Ether (ETH)
- הכל
- דוגמה
- קיימים
- להאריך
- מבחינה חיצונית
- מאפיין
- מעטים
- שלח
- קבצים
- סופי
- תזרים
- להתמקד
- לעקוב
- הבא
- בעד
- החל מ-
- לגמרי
- שער כניסה
- לקבל
- לתת
- Go
- טוב
- קְבוּצָה
- קבוצה
- הדרכה
- חומרה
- יש
- he
- בְּרִיאוּת
- כאן
- ברמה גבוהה
- היסטוריה
- המארח
- אירח
- מארחים
- אולם
- HTML
- http
- HTTPS
- IAM
- ID
- לזהות
- זהות
- if
- מדגים
- יישומים
- חשוב
- in
- לא נגיש
- לכלול
- כלול
- מידע
- תשתית
- בתחילה
- להתקין
- התקנה
- למשל
- מקרים
- במקום
- הוראות
- פנימי
- אינטרנט
- אל תוך
- מבוא
- IP
- כתובת IP
- כתובות IP
- IT
- שֶׁלָה
- jpg
- קפקא
- שמור
- מפתח
- מאוחר יותר
- האחרון
- לשגר
- לִלמוֹד
- ספריות
- כמו
- הגבלה
- קו
- קווים
- לינוקס
- רשימה
- לִטעוֹן
- מקומי
- מיקום
- היכנס
- מכונה
- לעשות
- הצליח
- מנהל
- מנהלים
- מצליח
- ניהול
- ייצור
- אב
- להתאים
- מאי..
- מוּזְכָּר
- תפריט
- הודעה
- הודעות
- שיטות
- יכול
- דקות
- צג
- צגים
- יותר
- המהלך
- מספר
- MySQL
- שם
- שם
- שמות
- נווט
- ניווט
- צורך
- צרכי
- רשת
- חדש
- חדש
- הבא
- לא
- הערות
- עַכשָׁיו
- of
- כבוי
- המיוחדות שלנו
- on
- רק
- לפתוח
- קוד פתוח
- אופטימלי
- אפשרות
- אפשרויות
- or
- אחר
- שלנו
- תוצאות
- יותר
- להתגבר על
- שֶׁלוֹ
- עמוד
- זגוגית
- פרמטר
- חלק
- סיסמה
- עבר
- טלאים
- נתיב
- עבור
- ביצעתי
- הרשאות
- מקום
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- חיבור
- נקודות
- פופולרי
- הודעה
- פוסטגרסל
- כּוֹחַ
- תרגול
- פְּרָטִי
- מפתח פרטי
- תהליך
- יַצרָן
- המוצר
- הפקה
- פּרוֹפִיל
- נכסים
- פרוטוקול
- לספק
- ובלבד
- מספק
- ציבורי
- בפומבי
- במקום
- הגעה
- מוכן
- סיבות
- לקבל
- לאחרונה
- שיא
- רשום
- להתייחס
- הפניה
- באזור
- לשחרר
- להסיר
- בקשות
- נדרש
- החלטה
- פתרון
- משאב
- משאבים
- אלה
- תוצאה
- שייר
- תפקיד
- מסלול
- ניתוב
- כלל
- הפעלה
- ריצה
- אותו
- שמור
- מאזניים
- סוד
- סעיף
- סעיפים
- אבטחה
- לִרְאוֹת
- קטע
- נבחר
- לשלוח
- לחצני מצוקה לפנסיונרים
- נפרד
- שרת
- שרתים
- שרות
- שירותים
- סט
- סטים
- הצבה
- הגדרות
- התקנה
- צריך
- לְהַצִיג
- הופעות
- דומה
- פָּשׁוּט
- אתר
- So
- פִּתָרוֹן
- פתרונות
- מָקוֹר
- מתמחה
- SQL
- יציב
- לערום
- התמחות
- החל
- מדינה
- מצב
- שלב
- צעדים
- עוד
- אחסון
- חנות
- חנויות
- אסטרטגי
- נהירה
- המשנה
- רשתות משנה
- בהצלחה
- כזה
- להתחנן
- תמיכה
- תומך
- מערכת
- מערכות
- שולחן
- לקחת
- משימות
- תבנית
- בדיקות
- מֵאֲשֶׁר
- זֶה
- השמיים
- המקור
- בריטניה
- שֶׁלָהֶם
- אז
- שם.
- אלה
- הֵם
- זֶה
- שְׁלוֹשָׁה
- תפוקה
- זמן
- ל
- נושא
- נושאים
- תְנוּעָה
- מעבר
- הדרכה
- שתיים
- סוג
- בדרך כלל
- Uk
- תחת
- בְּסִיסִי
- עדכון
- מְעוּדכָּן
- עדכונים
- על
- כתובת האתר
- להשתמש
- מְשׁוּמָשׁ
- משתמש
- שימושים
- באמצעות
- כלי עזר
- ערך
- ערכים
- שונים
- גרסה
- וירטואלי
- לחכות
- בהדרכה
- רוצה
- היה
- we
- אינטרנט
- שירותי אינטרנט
- טוֹב
- היו
- מתי
- אשר
- יצטרך
- עם
- תיק עבודות
- עובד
- יאמל
- אתה
- זפירנט
- רוכסן
- אזורי