في عالم اليوم الذي يعتمد على البيانات، تعد القدرة على نقل البيانات وتحليلها بسهولة عبر منصات متنوعة أمرًا ضروريًا. الأمازون AppFlow، وهي خدمة تكامل بيانات مُدارة بالكامل، كانت في طليعة تبسيط نقل البيانات بين خدمات AWS وتطبيقات البرامج كخدمة (SaaS)، والآن Google BigQuery. في منشور المدونة هذا، تستكشف الجديد موصل جوجل BigQuery في Amazon AppFlow واكتشف كيف يبسط عملية نقل البيانات من مستودع بيانات Google إلى خدمة Amazon Simple Storage (Amazon S3)، مما يوفر فوائد كبيرة لمتخصصي البيانات والمؤسسات، بما في ذلك إضفاء الطابع الديمقراطي على الوصول إلى البيانات السحابية المتعددة.
نظرة عامة على Amazon AppFlow
الأمازون AppFlow هي خدمة تكامل مُدارة بالكامل يمكنك استخدامها لنقل البيانات بشكل آمن بين تطبيقات SaaS مثل Google BigQuery وSalesforce وSAP وHubspot وServiceNow وخدمات AWS مثل Amazon S3 و الأمازون الأحمر، ببضع نقرات فقط. باستخدام Amazon AppFlow، يمكنك تشغيل تدفقات البيانات على أي نطاق تقريبًا بالتكرار الذي تختاره — وفقًا لجدول زمني، أو استجابة لحدث عمل، أو حسب الطلب. يمكنك تكوين إمكانات تحويل البيانات مثل التصفية والتحقق من الصحة لإنشاء بيانات غنية وجاهزة للاستخدام كجزء من التدفق نفسه، دون خطوات إضافية. يقوم Amazon AppFlow تلقائيًا بتشفير البيانات المتحركة، ويسمح لك بتقييد تدفق البيانات عبر الإنترنت العام لتطبيقات SaaS المدمجة مع AWS الرابط الخاص، والحد من التعرض للتهديدات الأمنية.
تقديم موصل Google BigQuery
الجديد موصل جوجل BigQuery في Amazon AppFlow يكشف عن الإمكانيات المتاحة للمؤسسات التي تسعى إلى استخدام القدرة التحليلية لمستودع بيانات Google، ولدمج البيانات من BigQuery أو تحليلها أو تخزينها أو معالجتها بشكل أكبر بسهولة، وتحويلها إلى رؤى قابلة للتنفيذ.
معمار
دعنا نراجع بنية نقل البيانات من Google BigQuery إلى Amazon S3 باستخدام Amazon AppFlow.
- حدد مصدر البيانات: في الأمازون AppFlow، حدد Google BigQuery كمصدر بياناتك. حدد الجداول أو مجموعات البيانات التي تريد استخراج البيانات منها.
- رسم الخرائط الميدانية والتحويل: قم بتكوين نقل البيانات باستخدام الواجهة المرئية البديهية لـ Amazon AppFlow. يمكنك تعيين حقول البيانات وتطبيق التحويلات حسب الحاجة لمواءمة البيانات مع متطلباتك.
- تكرار النقل: حدد عدد المرات التي تريد فيها نقل البيانات - مثل يوميًا أو أسبوعيًا أو شهريًا - مما يدعم المرونة والأتمتة.
- الوجهة: حدد حاوية S3 كوجهة لبياناتك. سوف يقوم Amazon AppFlow بنقل البيانات بكفاءة، مما يسهل الوصول إليها في وحدة تخزين Amazon S3 الخاصة بك.
- الاستهلاك: الاستخدام أمازون أثينا لتحليل البيانات في Amazon S3.
المتطلبات الأساسية المسبقة
يتم إنشاء مجموعة البيانات المستخدمة في هذا الحل بواسطة سينثيا، وهو عبارة عن محاكاة اصطناعية لسكان المرضى ومشروع مفتوح المصدر في إطار رخصة أباتشي 2.0. قم بتحميل هذه البيانات في Google BigQuery أو استخدم مجموعة البيانات الموجودة لديك.
قم بتوصيل Amazon AppFlow بحساب Google BigQuery الخاص بك
بالنسبة لهذا المنشور، تستخدم حساب Google وعميل OAuth مع الأذونات المناسبة وبيانات Google BigQuery. لتمكين الوصول إلى Google BigQuery من Amazon AppFlow، يجب عليك إعداد عميل OAuth جديد مسبقًا. للحصول على التعليمات، انظر موصل Google BigQuery لـ Amazon AppFlow.
قم بإعداد Amazon S3
يتم تخزين كل كائن في Amazon S3 في حاوية. قبل أن تتمكن من تخزين البيانات في Amazon S3، يجب عليك القيام بذلك إنشاء دلو S3 لتخزين النتائج.
قم بإنشاء حاوية S3 جديدة لنتائج Amazon AppFlow
لإنشاء حاوية S3 ، أكمل الخطوات التالية:
- على وحدة تحكم إدارة AWS لـ الأمازون S3، اختر إنشاء دلو.
- أدخل فريدًا عالميًا اسم دلو الخاص بك. فمثلا،
appflow-bq-sample
. - اختار إنشاء دلو.
قم بإنشاء حاوية S3 جديدة لنتائج Amazon Athena
لإنشاء حاوية S3 ، أكمل الخطوات التالية:
- على وحدة تحكم إدارة AWS لـ الأمازون S3، اختر إنشاء دلو.
- أدخل فريدًا عالميًا اسم دلو الخاص بك. فمثلا،
athena-results
. - اختار إنشاء دلو.
دور المستخدم (دور IAM) لـ AWS Glue Data Catalog
لفهرسة البيانات التي تنقلها مع التدفق الخاص بك، يجب أن يكون لديك دور المستخدم المناسب فيه إدارة الهوية والوصول (IAM) AWS. أنت تقدم هذا الدور إلى Amazon AppFlow لمنح الأذونات التي يحتاجها لإنشاء ملف كتالوج بيانات AWS Glueوالجداول وقواعد البيانات والأقسام.
للحصول على مثال لسياسة IAM التي لديها الأذونات المطلوبة، راجع أمثلة على السياسات القائمة على الهوية لـ Amazon AppFlow.
تجول في التصميم
الآن، دعنا نستعرض حالة الاستخدام العملي لنرى كيف يعمل موصل Amazon AppFlow Google BigQuery إلى Amazon S3. بالنسبة لحالة الاستخدام، ستستخدم Amazon AppFlow لأرشفة البيانات التاريخية من Google BigQuery إلى Amazon S3 من أجل تحليل التخزين طويل المدى.
قم بإعداد Amazon AppFlow
قم بإنشاء تدفق Amazon AppFlow جديد لنقل البيانات من Google Analytics إلى Amazon S3.
- على وحدة تحكم أمازون AppFlow، اختر خلق التدفق.
- أدخل اسمًا للتدفق الخاص بك؛ على سبيل المثال،
my-bq-flow
. - أضف ضروري علامات ; على سبيل المثال، ل القفل أدخل
env
ولل القيم أدخلdev
.
- اختار التالى.
- في حالة اسم المصدر، اختر جوجل BigQuery.
- اختار إنشاء اتصال جديد.
- أدخل OAuth الخاص بك معرف العميل و سر العميل، ثم قم بتسمية اتصالك؛ على سبيل المثال،
bq-connection
.
- في النافذة المنبثقة، اختر السماح لـ amazon.com بالوصول إلى Google BigQuery API.
- في حالة اختر كائن Google BigQuery، اختر طاولات ومكاتب .
- في حالة اختر موضوعًا فرعيًا لـ Google BigQuery، اختر اسم مشروع الاستعلام الكبير.
- في حالة اختر موضوعًا فرعيًا لـ Google BigQuery، اختر و databasename.
- في حالة اختر موضوعًا فرعيًا لـ Google BigQuery، اختر TABLENAME.
- في حالة اسم الوجهة، اختر الأمازون S3.
- في حالة تفاصيل دلو، اختر حاوية Amazon S3 التي قمت بإنشائها لتخزين نتائج Amazon AppFlow في المتطلبات الأساسية.
- أدخل
raw
ك بادئة.
- التالي، توفير كتالوج بيانات AWS Glue الإعدادات لإنشاء جدول لمزيد من التحليل.
- إختار ال دور المستخدم (دور IAM) تم إنشاؤه في المتطلبات الأساسية.
- خلق فرص عمل جديدة قاعدة بيانات على سبيل المثال،
healthcare
. - توفير بادئة الجدول الإعداد على سبيل المثال،
bq
.
- أختار تعمل حسب الطلب.
- اختار التالي.
- أختار يدويا تعيين الحقول.
- حدد الحقول الستة التالية لـ اسم الحقل المصدر من الجدول الحساسية:
- آبدأ
- المريض
- رمز
- الوصف
- النوع
- الفئة
- اختار خريطة الحقول مباشرة.
- اختار التالى.
- In إضافة عوامل التصفية القسم، اختر التالى.
- اختار خلق التدفق.
قم بتشغيل التدفق
بعد إنشاء التدفق الجديد، يمكنك تشغيله عند الطلب.
- على وحدة تحكم أمازون AppFlow، اختر
my-bq-flow
. - اختار تشغيل التدفق.
بالنسبة لهذه الإرشادات التفصيلية، اختر تشغيل المهمة عند الطلب لسهولة الفهم. ومن الناحية العملية، يمكنك اختيار مهمة مجدولة واستخراج البيانات المضافة حديثًا فقط بشكل دوري.
الاستعلام من خلال أمازون أثينا
عند تحديد إعدادات AWS Glue Data Catalog الاختيارية، يقوم Data Catalog بإنشاء كتالوج للبيانات، مما يسمح لـ Amazon Athena بتنفيذ الاستعلامات.
إذا تمت مطالبتك بتكوين موقع نتائج الاستعلام، فانتقل إلى الإعدادات علامة التبويب واختيار إدارة. تحت إدارة الإعدادات، واختر مجموعة نتائج Athena التي تم إنشاؤها في المتطلبات الأساسية ثم اختر حفظ.
- على وحدة التحكم أمازون أثينا، حدد مصدر البيانات كـ
AWSDataCatalog
. - المقبل ، حدد قاعدة البيانات as
healthcare
. - يمكنك الآن تحديد الجدول الذي أنشأه زاحف AWS Glue ومعاينته.
- يمكنك أيضًا تشغيل استعلام مخصص للعثور على أهم 10 أنواع من الحساسية كما هو موضح في الاستعلام التالي.
ملاحظات: في الاستعلام أدناه، استبدل اسم الجدول، في هذه الحالة bq_appflow_mybqflow_1693588670_latest
، باسم الجدول الذي تم إنشاؤه في حساب AWS الخاص بك.
- اختار قم بتشغيل الاستعلام.
هذه النتيجة تظهر أعلى 10 أنواع حساسية حسب عدد الحالات.
تنظيف
لتجنب تكبد الرسوم، قم بتنظيف الموارد الموجودة في حساب AWS الخاص بك عن طريق إكمال الخطوات التالية:
- في وحدة تحكم Amazon AppFlow ، اختر يطفو في جزء التنقل.
- من قائمة التدفقات ، حدد التدفق
my-bq-flow
، واحذفه. - أدخل حذف لحذف التدفق.
- اختار التواصل في جزء التنقل.
- اختار جوجل BigQuery من قائمة الموصلات ، حدد
bq-connector
، واحذفه. - أدخل حذف لحذف الموصل.
- في وحدة تحكم IAM ، اختر الأدوار في صفحة التنقل، ثم حدد الدور الذي أنشأته لزاحف AWS Glue واحذفه.
- على وحدة تحكم Amazon Athena:
- حذف الجداول التي تم إنشاؤها ضمن قاعدة البيانات
healthcare
باستخدام زاحف AWS Glue. - إسقاط قاعدة البيانات
healthcare
- حذف الجداول التي تم إنشاؤها ضمن قاعدة البيانات
- في وحدة تحكم Amazon S3، ابحث عن مجموعة نتائج Amazon AppFlow التي قمت بإنشائها، ثم اختر فارغ لحذف الكائنات ، ثم احذف الحاوية.
- في وحدة تحكم Amazon S3، ابحث عن مجموعة نتائج Amazon Athena التي قمت بإنشائها، ثم اختر فارغ لحذف الكائنات ، ثم احذف الحاوية.
- قم بتنظيف الموارد في حساب Google الخاص بك عن طريق حذف المشروع الذي يحتوي على موارد Google BigQuery. اتبع الوثائق ل تنظيف موارد جوجل.
وفي الختام
يعمل موصل Google BigQuery في Amazon AppFlow على تبسيط عملية نقل البيانات من مستودع بيانات Google إلى Amazon S3. يعمل هذا التكامل على تبسيط التحليلات والتعلم الآلي والأرشفة والتخزين على المدى الطويل، مما يوفر فوائد كبيرة لمحترفي البيانات والمؤسسات التي تسعى إلى تسخير القدرات التحليلية لكلا المنصتين.
باستخدام Amazon AppFlow، يتم التخلص من تعقيدات تكامل البيانات، مما يتيح لك التركيز على استخلاص رؤى قابلة للتنفيذ من بياناتك. سواء كنت تقوم بأرشفة البيانات التاريخية، أو إجراء تحليلات معقدة، أو إعداد البيانات للتعلم الآلي، فإن هذا الموصل يبسط العملية، مما يجعلها في متناول مجموعة واسعة من محترفي البيانات.
إذا كنت مهتمًا بمعرفة كيفية نقل البيانات من Google BigQuery إلى Amazon S3 باستخدام Amazon AppFlow، فقم بإلقاء نظرة على خطوة بخطوة الفيديو التعليمي. في هذا البرنامج التعليمي، نتناول العملية بأكملها، بدءًا من إعداد الاتصال وحتى تشغيل تدفق نقل البيانات. لمزيد من المعلومات حول Amazon AppFlow، تفضل بزيارة الأمازون AppFlow.
عن المؤلفين
كارتيكاي خاتور هو مهندس حلول في علوم الحياة العالمية في Amazon Web Services. إنه متحمس لمساعدة العملاء في رحلتهم السحابية مع التركيز على خدمات تحليلات AWS. إنه عداء متعطش ويستمتع بالمشي لمسافات طويلة.
كامين شارلاندجيف هو كبير مهندسي حلول البيانات الكبيرة وETL وخبير في Amazon AppFlow. إنه في مهمة لجعل الحياة أسهل للعملاء الذين يواجهون تحديات معقدة في تكامل البيانات. سلاحه السري؟ خدمات AWS مُدارة بالكامل ومنخفضة التعليمات البرمجية يمكنها إنجاز المهمة بأقل جهد وبدون تعليمات برمجية.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/big-data/simplify-data-transfer-google-bigquery-to-amazon-s3-using-amazon-appflow/
- :لديها
- :يكون
- $ UP
- 10
- 100
- 14
- 16
- 17
- 22
- 321
- 8
- 9
- a
- القدرة
- من نحن
- الوصول
- ادارة الوصول
- يمكن الوصول
- حسابي
- في
- تضيف
- وأضاف
- إضافي
- تقدم
- محاذاة
- الحساسية
- السماح
- السماح
- يسمح
- أيضا
- أمازون
- أمازون أثينا
- أمازون ويب سيرفيسز
- Amazon.com
- an
- تحليل
- تحليلية
- تحليلات
- تحليل
- و
- أي وقت
- API
- التطبيقات
- التقديم
- مناسب
- هندسة معمارية
- أرشيف
- هي
- AS
- At
- تلقائيا
- أتمتة
- تجنب
- AWS
- غراء AWS
- وحدة تحكم إدارة AWS
- كان
- قبل
- أقل من
- الفوائد
- ما بين
- كبير
- البيانات الكبيرة
- الاستعلام الشامل
- المدونة
- على حد سواء
- أوسع
- الأعمال
- by
- CAN
- يستطيع الحصول على
- قدرات
- قدرة
- حقيبة
- الحالات
- الأقسام
- الفئة
- التحديات
- اسعارنا محددة من قبل وزارة العمل
- اختار
- زبون
- سحابة
- البرمجة
- COM
- إكمال
- الانتهاء
- مجمع
- التعقيدات
- صلة
- كنسولات
- يحتوي
- الزاحف
- خلق
- خلق
- يخلق
- خلق
- على
- العملاء
- يوميا
- البيانات
- الوصول إلى البيانات
- تكامل البيانات
- مستودع البيانات
- تعتمد على البيانات
- قاعدة البيانات
- قواعد البيانات
- قواعد البيانات
- تقرر
- الطلب
- الدمقرطة
- وصف
- افضل الرحلات السياحية
- اكتشف
- عدة
- توثيق
- فعل
- سهولة
- أسهل
- بكفاءة
- جهد
- جهد
- اقصاء
- تمكين
- تمكين
- كامل
- أساسي
- الأثير (ETH)
- الحدث/الفعالية
- مثال
- أمثلة
- القائمة
- خبير
- اكتشف
- تعرض
- استخراج
- مواجهة
- قليل
- حقل
- مجال
- تصفية
- مرونة
- تدفق
- تدفق
- يطفو
- تركز
- اتباع
- متابعيك
- في حالة
- طليعة
- تردد
- كثيرا
- تبدأ من
- تماما
- إضافي
- توليد
- ولدت
- دولار فقط واحصل على خصم XNUMX% على جميع
- العالمية
- على الصعيد العالمي
- شراء مراجعات جوجل
- Google Analytics
- جوجل
- منح
- تجمع
- ظفيرة
- يملك
- he
- الرعاية الصحية
- مساعدة
- المشي لمسافات طويلة
- له
- تاريخي
- كيفية
- HTML
- HTTP
- HTTPS
- HubSpot
- IAM
- هوية
- إدارة الهوية والوصول
- in
- بما فيه
- معلومات
- رؤى
- تعليمات
- دمج
- المتكاملة
- التكامل
- يستفد
- السطح البيني
- Internet
- إلى
- حدسي
- IT
- نفسها
- وظيفة
- رحلة
- م
- تعلم
- حقوق الملكية الفكرية
- الحياة
- علم الحياة
- مما سيحدث
- قائمة
- تحميل
- موقع
- طويل الأجل
- بحث
- آلة
- آلة التعلم
- جعل
- القيام ب
- تمكن
- إدارة
- رسم خريطة
- رسم الخرائط
- أدنى
- الرسالة
- الأكثر من ذلك
- اقتراح
- خطوة
- يجب
- الاسم
- التنقل
- قائمة الإختيارات
- تقريبا
- ضروري
- بحاجة
- إحتياجات
- جديد
- حديثا
- لا
- الآن
- عدد
- أوث
- موضوع
- الأجسام
- of
- on
- على الطلب
- فقط
- المصادر المفتوحة
- or
- طلب
- المنظمات
- على مدى
- صفحة
- خبز
- جزء
- عاطفي
- المريض
- نفذ
- أداء
- أذونات
- منصات التداول
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- سياسة
- المنبثقة
- سكان
- إمكانيات
- منشور
- عملية
- ممارسة
- إعداد
- الشروط
- أرسال
- عملية المعالجة
- المهنيين
- تنفيذ المشاريع
- تزود
- توفير
- جمهور
- الاستفسارات
- نطاق
- تقليص
- يحل محل
- مطلوب
- المتطلبات الأساسية
- الموارد
- استجابة
- بتقييد
- نتيجة
- النتائج
- مراجعة
- النوادي الثرية
- النوع
- يجري
- عداء
- تشغيل
- ادارة العلاقات مع
- SALESFORCE
- شخص ساذج
- حجم
- جدول
- المقرر
- علوم
- بحث
- سيكريت
- القسم
- آمن
- أمن
- تهديدات أمنية
- انظر تعريف
- تسعى
- الخدمة
- الخدمة الآن
- خدماتنا
- طقم
- ضبط
- إعدادات
- أظهرت
- يظهر
- هام
- الاشارات
- تبسيط
- محاكاة
- SIX
- تطبيقات الكمبيوتر
- البرمجيات كخدمة
- حل
- الحلول
- مصدر
- خطوات
- تخزين
- متجر
- تخزين
- تبسيط
- هذه
- اصطناعي
- جدول
- أخذ
- أن
- •
- من مشاركة
- then
- التهديدات
- عبر
- إلى
- اليوم
- تيشرت
- أعلى 10
- تحويل
- نقل
- تحول
- التحولات
- تحويل
- البرنامج التعليمي
- نوع
- مع
- فهم
- فريد من نوعه
- تكشف عن
- تستخدم
- حالة الاستخدام
- مستعمل
- مستخدم
- استخدام
- التحقق من صحة
- قيمنا
- قم بزيارتنا
- سير
- تجول
- تريد
- المخزن
- we
- الويب
- خدمات ويب
- أسبوعي
- سواء
- من الذى
- سوف
- نافذة
- مع
- بدون
- أعمال
- العالم
- لصحتك!
- حل متجر العقارات الشامل الخاص بك في جورجيا
- موقع YouTube
- زفيرنت