در دنیای مبتنی بر داده امروزی، توانایی جابجایی و تجزیه و تحلیل بدون زحمت داده ها در پلتفرم های مختلف ضروری است. آمازون AppFlow، یک سرویس ادغام داده کاملاً مدیریت شده، در خط مقدم ساده سازی انتقال داده بین سرویس های AWS، نرم افزار به عنوان سرویس (SaaS) و اکنون Google BigQuery بوده است. در این پست وبلاگ، موارد جدید را بررسی می کنید رابط Google BigQuery در Amazon AppFlow و کشف کنید که چگونه فرآیند انتقال داده ها از انبار داده گوگل را ساده می کند. سرویس ذخیره سازی ساده آمازون (Amazon S3)، مزایای قابل توجهی را برای متخصصان و سازمان های داده از جمله دموکراتیک کردن دسترسی به داده های چند ابری فراهم می کند.
نمای کلی Amazon AppFlow
آمازون AppFlow یک سرویس یکپارچه سازی کاملاً مدیریت شده است که می توانید از آن برای انتقال ایمن داده ها بین برنامه های SaaS مانند Google BigQuery، Salesforce، SAP، Hubspot و ServiceNow و سرویس های AWS مانند Amazon S3 و آمازون Redshift، تنها با چند کلیک. با آمازون AppFlow، میتوانید جریانهای داده را تقریباً در هر مقیاسی با فرکانس انتخابی خود اجرا کنید - بر اساس برنامه زمانی، در پاسخ به یک رویداد تجاری یا بر اساس تقاضا. میتوانید قابلیتهای تبدیل دادهها مانند فیلتر کردن و اعتبارسنجی را برای تولید دادههای غنی و آماده بهعنوان بخشی از خود جریان، بدون مراحل اضافی، پیکربندی کنید. Amazon AppFlow به طور خودکار داده ها را در حال حرکت رمزگذاری می کند و به شما امکان می دهد جریان داده ها را از طریق اینترنت عمومی برای برنامه های SaaS که با آنها یکپارچه شده اند محدود کنید. AWS PrivateLink، کاهش قرار گرفتن در معرض تهدیدات امنیتی.
معرفی رابط Google BigQuery
جدید رابط Google BigQuery در آمازون AppFlow امکاناتی را برای سازمانهایی که به دنبال استفاده از قابلیت تحلیلی انبار دادههای Google هستند، و به راحتی ادغام، تجزیه و تحلیل، ذخیره یا پردازش بیشتر دادهها از BigQuery را ارائه میکند و آنها را به بینشهای عملی تبدیل میکند.
معماری
بیایید معماری انتقال داده از Google BigQuery به Amazon S3 را با استفاده از Amazon AppFlow مرور کنیم.
- یک منبع داده را انتخاب کنید: در آمازون AppFlow، Google BigQuery را به عنوان منبع داده خود انتخاب کنید. جداول یا مجموعه داده هایی را که می خواهید داده ها را از آنها استخراج کنید مشخص کنید.
- نقشه برداری و تبدیل میدان: انتقال داده را با استفاده از رابط بصری بصری Amazon AppFlow پیکربندی کنید. میتوانید فیلدهای داده را نقشه برداری کنید و در صورت نیاز، تغییر شکلها را اعمال کنید تا دادهها را با نیازهای خود هماهنگ کنید.
- فرکانس انتقال: تصمیم بگیرید که چقدر میخواهید دادهها را انتقال دهید - مانند روزانه، هفتگی یا ماهانه - با پشتیبانی از انعطافپذیری و اتوماسیون.
- مقصد: یک سطل S3 را به عنوان مقصد داده های خود مشخص کنید. Amazon AppFlow به طور موثر داده ها را جابجا می کند و در فضای ذخیره سازی Amazon S3 شما قابل دسترسی است.
- مصرف: استفاده آمازون آتنا برای تجزیه و تحلیل داده ها در آمازون S3.
پیش نیازها
مجموعه داده استفاده شده در این راه حل توسط سینتیا، یک شبیه ساز جمعیت بیمار مصنوعی و پروژه منبع باز تحت مجوز آپاچی 2.0. این داده ها را در Google BigQuery بارگیری کنید یا از مجموعه داده های موجود خود استفاده کنید.
Amazon AppFlow را به حساب Google BigQuery خود متصل کنید
برای این پست، از یک حساب Google، مشتری OAuth با مجوزهای مناسب و داده های Google BigQuery استفاده می کنید. برای فعال کردن دسترسی Google BigQuery از Amazon AppFlow، باید از قبل یک سرویس گیرنده OAuth جدید راه اندازی کنید. برای دستورالعمل، نگاه کنید رابط Google BigQuery برای Amazon AppFlow.
آمازون S3 را راه اندازی کنید
هر شی در آمازون S3 در یک سطل ذخیره می شود. قبل از اینکه بتوانید داده ها را در آمازون S3 ذخیره کنید، باید یک سطل S3 ایجاد کنید برای ذخیره نتایج
یک سطل S3 جدید برای نتایج Amazon AppFlow ایجاد کنید
برای ایجاد یک سطل S3، مراحل زیر را انجام دهید:
- در کنسول مدیریت AWS برای آمازون S3، انتخاب کنید سطل ایجاد کنید.
- جهانی منحصر به فرد را وارد کنید نامی برای سطل شما؛ مثلا،
appflow-bq-sample
. - را انتخاب کنید سطل ایجاد کنید.
یک سطل S3 جدید برای نتایج آمازون آتنا ایجاد کنید
برای ایجاد یک سطل S3، مراحل زیر را انجام دهید:
- در کنسول مدیریت AWS برای آمازون S3، انتخاب کنید سطل ایجاد کنید.
- جهانی منحصر به فرد را وارد کنید نامی برای سطل شما؛ مثلا،
athena-results
. - را انتخاب کنید سطل ایجاد کنید.
نقش کاربر (نقش IAM) برای کاتالوگ داده چسب AWS
برای فهرست کردن داده هایی که با جریان خود منتقل می کنید، باید نقش کاربری مناسب را در آن داشته باشید مدیریت هویت و دسترسی AWS (IAM). شما این نقش را به آمازون AppFlow میدهید تا مجوزهایی را که برای ایجاد آن نیاز دارد اعطا کند کاتالوگ داده چسب AWS، جداول، پایگاه داده ها و پارتیشن ها.
برای مثال سیاست IAM که مجوزهای لازم را دارد، نگاه کنید نمونه های سیاست مبتنی بر هویت برای Amazon AppFlow.
مروری بر طراحی
اکنون، بیایید یک مورد کاربردی عملی را مرور کنیم تا ببینیم رابط AppFlow Google BigQuery به Amazon S3 چگونه کار میکند. برای مورد استفاده، از Amazon AppFlow برای آرشیو داده های تاریخی از Google BigQuery به Amazon S3 برای ذخیره سازی طولانی مدت و تجزیه و تحلیل استفاده خواهید کرد.
Amazon AppFlow را راه اندازی کنید
برای انتقال داده ها از Google Analytics به Amazon S3 یک جریان AppFlow جدید Amazon ایجاد کنید.
- بر کنسول AppFlow آمازون، انتخاب کنید جریان ایجاد کنید.
- یک نام برای جریان خود وارد کنید. مثلا،
my-bq-flow
. - اضافه کنید لازم است گزينه ها; به عنوان مثال، برای کلید را وارد کنید
env
و برای ارزش را وارد کنیدdev
.
- را انتخاب کنید بعدی.
- برای نام منبع، انتخاب کنید Google BigQuery.
- را انتخاب کنید اتصال جدید ایجاد کنید.
- OAuth خود را وارد کنید شناسه مشتری و راز مشتری، سپس اتصال خود را نام ببرید. مثلا،
bq-connection
.
- در پنجره پاپ آپ، اجازه دسترسی amazon.com به Google BigQuery API را انتخاب کنید.
- برای شی Google BigQuery را انتخاب کنید، انتخاب کنید جدول.
- برای موضوع فرعی Google BigQuery را انتخاب کنید، انتخاب کنید BigQueryProjectName.
- برای موضوع فرعی Google BigQuery را انتخاب کنید، انتخاب کنید نام پایگاه داده.
- برای موضوع فرعی Google BigQuery را انتخاب کنید، انتخاب کنید نام جدول.
- برای نام مقصد، انتخاب کنید آمازون S3.
- برای جزئیات سطل، سطل Amazon S3 را که برای ذخیره نتایج Amazon AppFlow در پیش نیازها ایجاد کرده اید انتخاب کنید.
- وارد
raw
به عنوان یک پیشوند.
- بعد، ارائه دهید کاتالوگ داده چسب AWS تنظیمات برای ایجاد جدول برای تجزیه و تحلیل بیشتر.
- را انتخاب کنید نقش کاربر (نقش IAM) در پیش نیازها ایجاد شده است.
- ایجاد جدید پایگاه داده به عنوان مثال،
healthcare
. - ارائه یک جدول پیشوند تنظیم برای مثال،
bq
.
- انتخاب کنید اجرا بر اساس تقاضا.
- را انتخاب کنید بعدی.
- انتخاب کنید نقشه فیلدها به صورت دستی.
- شش فیلد زیر را برای آن انتخاب کنید نام فیلد منبع از جدول آلرژی:
- آغاز
- بیمار
- رمز
- توضیحات:
- نوع
- دسته بندی
- را انتخاب کنید زمینه های نقشه به طور مستقیم.
- را انتخاب کنید بعدی.
- In افزودن فیلترها بخش، را انتخاب کنید بعدی.
- را انتخاب کنید جریان ایجاد کنید.
جریان را اجرا کنید
پس از ایجاد جریان جدید، می توانید آن را در صورت تقاضا اجرا کنید.
- بر کنسول AppFlow آمازون، انتخاب کنید
my-bq-flow
. - را انتخاب کنید جریان را اجرا کنید.
برای این راهنما، اجرای کار بر اساس تقاضا را برای سهولت درک انتخاب کنید. در عمل، می توانید یک کار برنامه ریزی شده را انتخاب کنید و به صورت دوره ای فقط داده های تازه اضافه شده را استخراج کنید.
از طریق آمازون آتنا پرس و جو کنید
هنگامی که تنظیمات اختیاری AWS Glue Data Catalog را انتخاب میکنید، Data Catalog کاتالوگ دادهها را ایجاد میکند و به Amazon Athena اجازه میدهد پرسوجوها را انجام دهد.
اگر از شما خواسته شد که مکان نتایج پرس و جو را پیکربندی کنید، به مسیر بروید تنظیمات برگه را انتخاب کنید و انتخاب کنید مدیریت. زیر تنظیمات را مدیریت کنید، سطل نتایج آتنا ایجاد شده در پیش نیازها را انتخاب کنید و انتخاب کنید ذخیره.
- بر کنسول آمازون آتنا، منبع داده را به عنوان انتخاب کنید
AWSDataCatalog
. - بعد، انتخاب کنید پایگاه داده as
healthcare
. - اکنون می توانید جدول ایجاد شده توسط خزنده چسب AWS را انتخاب کرده و پیش نمایش آن را مشاهده کنید.
- شما همچنین می توانید یک پرس و جو سفارشی برای پیدا کردن 10 آلرژی برتر همانطور که در پرس و جو زیر نشان داده شده است اجرا کنید.
توجه داشته باشید: در عبارت زیر، نام جدول را جایگزین کنید bq_appflow_mybqflow_1693588670_latest
، با نام جدول ایجاد شده در حساب AWS شما.
- را انتخاب کنید پرس و جو را اجرا کنید.
این نتیجه 10 آلرژی برتر را بر اساس تعداد موارد نشان می دهد.
پاک کردن
برای جلوگیری از تحمیل هزینه، منابع موجود در حساب AWS خود را با انجام مراحل زیر تمیز کنید:
- در کنسول AppFlow آمازون، را انتخاب کنید جریانها در صفحه ناوبری
- از لیست جریان ها، جریان را انتخاب کنید
my-bq-flow
، و آن را حذف کنید. - حذف را وارد کنید تا جریان حذف شود.
- را انتخاب کنید اتصالات در صفحه ناوبری
- را انتخاب کنید Google BigQuery از لیست کانکتورها، را انتخاب کنید
bq-connector
، و آن را حذف کنید. - برای حذف کانکتور، delete را وارد کنید.
- در کنسول IAM، را انتخاب کنید نقش در صفحه ناوبری، سپس نقشی را که برای خزنده چسب AWS ایجاد کردید انتخاب کنید و آن را حذف کنید.
- در کنسول آمازون آتنا:
- جداول ایجاد شده در پایگاه داده را حذف کنید
healthcare
با استفاده از خزنده چسب AWS. - پایگاه داده را رها کنید
healthcare
- جداول ایجاد شده در پایگاه داده را حذف کنید
- در کنسول آمازون S3، سطل نتایج Amazon AppFlow را که ایجاد کردید جستجو کنید، انتخاب کنید خالی برای حذف اشیاء، سپس سطل را حذف کنید.
- در کنسول آمازون S3، سطل نتایج Amazon Athena را که ایجاد کردهاید جستجو کنید، انتخاب کنید خالی برای حذف اشیاء، سپس سطل را حذف کنید.
- با حذف پروژه ای که حاوی منابع Google BigQuery است، منابع موجود در حساب Google خود را پاک کنید. مستندات را دنبال کنید تا منابع گوگل را پاک کنید.
نتیجه
رابط Google BigQuery در Amazon AppFlow روند انتقال داده ها از انبار داده گوگل به آمازون S3 را ساده می کند. این ادغام تجزیه و تحلیل و یادگیری ماشین، بایگانی و ذخیره سازی طولانی مدت را ساده می کند و مزایای قابل توجهی را برای متخصصان داده و سازمان هایی که به دنبال استفاده از قابلیت های تحلیلی هر دو پلتفرم هستند، ارائه می دهد.
با آمازون AppFlow، پیچیدگیهای یکپارچهسازی دادهها از بین میرود و شما را قادر میسازد بر روی استخراج بینشهای عملی از دادههای خود تمرکز کنید. چه در حال آرشیو کردن دادههای تاریخی، انجام تجزیه و تحلیل پیچیده یا آمادهسازی دادهها برای یادگیری ماشینی باشید، این رابط فرآیند را ساده میکند و آن را برای طیف وسیعتری از متخصصان داده در دسترس قرار میدهد.
اگر علاقه مند به نحوه انتقال داده ها از Google BigQuery به Amazon S3 با استفاده از Amazon AppFlow هستید، به گام به گام نگاهی بیندازید. آموزش های ویدئویی. در این آموزش، کل فرآیند، از راهاندازی اتصال تا اجرای جریان انتقال داده را طی میکنیم. برای اطلاعات بیشتر در مورد Amazon AppFlow، مراجعه کنید آمازون AppFlow.
درباره نویسندگان
کارتیکای خاتور یک معمار راه حل در علوم زندگی جهانی در خدمات وب آمازون است. او مشتاق کمک به مشتریان در سفر ابری با تمرکز بر خدمات تحلیلی AWS است. او یک دونده مشتاق است و از پیاده روی لذت می برد.
کامن شارلاندجیف یک معمار Big Data و ETL Solutions Sr. و متخصص AppFlow آمازون است. او ماموریت دارد تا زندگی را برای مشتریانی که با چالشهای پیچیده یکپارچهسازی دادهها مواجه هستند، آسانتر کند. سلاح مخفی او؟ سرویسهای AWS کاملاً مدیریتشده و کمکد که میتوانند کار را با حداقل تلاش و بدون کدنویسی انجام دهند.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/big-data/simplify-data-transfer-google-bigquery-to-amazon-s3-using-amazon-appflow/
- : دارد
- :است
- $UP
- 10
- 100
- 14
- 16
- 17
- 22
- 321
- 8
- 9
- a
- توانایی
- درباره ما
- دسترسی
- مدیریت دسترسی
- در دسترس
- حساب
- در میان
- اضافه کردن
- اضافه
- اضافی
- پیشرفت
- تراز
- آلرژی
- اجازه دادن
- اجازه دادن
- اجازه می دهد تا
- همچنین
- آمازون
- آمازون آتنا
- آمازون خدمات وب
- Amazon.com
- an
- تحلیل
- تحلیلی
- علم تجزیه و تحلیل
- تحلیل
- و
- هر
- API
- برنامه های کاربردی
- درخواست
- مناسب
- معماری
- بایگانی
- هستند
- AS
- At
- بطور خودکار
- اتوماسیون
- اجتناب از
- AWS
- چسب AWS
- کنسول مدیریت AWS
- بوده
- قبل از
- در زیر
- مزایای
- میان
- بزرگ
- بزرگ داده
- بزرگ نمایی
- بلاگ
- هر دو
- گسترده تر
- کسب و کار
- by
- CAN
- می توانید دریافت کنید
- قابلیت های
- قابلیت
- مورد
- موارد
- کاتالوگ
- دسته بندی
- چالش ها
- بار
- را انتخاب کنید
- مشتری
- ابر
- برنامه نویسی
- COM
- کامل
- تکمیل
- پیچیده
- پیچیدگی ها
- ارتباط
- کنسول
- شامل
- خزنده
- ایجاد
- ایجاد شده
- ایجاد
- ایجاد
- سفارشی
- مشتریان
- روزانه
- داده ها
- دسترسی به داده ها
- یکپارچه سازی داده ها
- انبار داده
- داده محور
- پایگاه داده
- پایگاه های داده
- مجموعه داده ها
- تصمیم گیری
- تقاضا
- دموکراتیک شدن
- شرح
- مقصد
- كشف كردن
- مختلف
- مستندات
- انجام شده
- سهولت
- آسان تر
- موثر
- تلاش
- زحمت
- حذف شد
- قادر ساختن
- را قادر می سازد
- تمام
- ضروری است
- اتر (ETH)
- واقعه
- مثال
- مثال ها
- موجود
- کارشناس
- اکتشاف
- ارائه
- عصاره
- نما
- کمی از
- رشته
- زمینه
- فیلتر
- پیدا کردن
- انعطاف پذیری
- جریان
- در حال جریان
- جریانها
- تمرکز
- به دنبال
- پیروی
- برای
- خط مقدم
- فرکانس
- غالبا
- از جانب
- کاملا
- بیشتر
- تولید می کنند
- تولید
- دریافت کنید
- جهانی
- در سطح جهانی
- گوگل
- گوگل آنالیز
- گوگل
- اعطا کردن
- گروه
- دهنه
- آیا
- he
- بهداشت و درمان
- کمک
- پیاده روی
- خود را
- تاریخی
- چگونه
- HTML
- HTTP
- HTTPS
- HubSpot
- IAM
- هویت
- هویت و مدیریت دسترسی
- in
- از جمله
- اطلاعات
- بینش
- دستورالعمل
- ادغام
- یکپارچه
- ادغام
- علاقه مند
- رابط
- اینترنت
- به
- حسی
- IT
- خود
- کار
- سفر
- تنها
- یادگیری
- مجوز
- زندگی
- علم زندگی
- محدود
- فهرست
- بار
- محل
- دراز مدت
- نگاه کنيد
- دستگاه
- فراگیری ماشین
- ساخت
- ساخت
- اداره می شود
- مدیریت
- نقشه
- نقشه برداری
- حداقل
- ماموریت
- بیش
- حرکت
- حرکت
- باید
- نام
- هدایت
- جهت یابی
- تقریبا
- لازم
- ضروری
- نیازهای
- جدید
- به تازگی
- نه
- اکنون
- عدد
- اوت
- هدف
- اشیاء
- of
- on
- بر روی تقاضا
- فقط
- متن باز
- or
- سفارش
- سازمان های
- روی
- با ما
- قطعه
- بخش
- احساساتی
- بیمار
- انجام دادن
- انجام
- مجوز
- سیستم عامل
- افلاطون
- هوش داده افلاطون
- PlatoData
- سیاست
- پاپ آپ
- جمعیت
- فرصت
- پست
- عملی
- تمرین
- آماده
- پیش نیازها
- پیش نمایش
- روند
- حرفه ای
- پروژه
- ارائه
- ارائه
- عمومی
- نمایش ها
- محدوده
- کاهش
- جایگزین کردن
- ضروری
- مورد نیاز
- منابع
- پاسخ
- محدود کردن
- نتیجه
- نتایج
- این فایل نقد می نویسید:
- غنی
- نقش
- دویدن
- دونده
- در حال اجرا
- SAAS
- salesforce
- شیره
- مقیاس
- برنامه
- برنامه ریزی
- علم
- جستجو
- راز
- بخش
- ایمن
- تیم امنیت لاتاری
- تهدیدات امنیتی
- دیدن
- به دنبال
- سرویس
- ServiceNow
- خدمات
- تنظیم
- محیط
- تنظیمات
- نشان داده شده
- نشان می دهد
- قابل توجه
- ساده
- ساده کردن
- شبیه ساز
- شش
- نرم افزار
- نرم افزار به عنوان یک سرویس
- راه حل
- مزایا
- منبع
- مراحل
- ذخیره سازی
- opbevare
- ذخیره شده
- ساده
- چنین
- ترکیبی
- جدول
- گرفتن
- که
- La
- شان
- سپس
- این
- تهدید
- از طریق
- به
- امروز
- بالا
- بالا 10
- انتقال
- انتقال
- دگرگونی
- تحولات
- تبدیل شدن
- آموزش
- نوع
- زیر
- درک
- منحصر به فرد
- پرده برداری
- استفاده کنید
- مورد استفاده
- استفاده
- کاربر
- با استفاده از
- اعتبار سنجی
- ارزش
- بازدید
- راه رفتن
- خرید
- می خواهم
- انبار کالا
- we
- وب
- خدمات وب
- هفتگی
- چه
- WHO
- اراده
- پنجره
- با
- بدون
- با این نسخهها کار
- جهان
- شما
- شما
- یوتیوب
- زفیرنت