A mai adatközpontú világban elengedhetetlen az adatok könnyed mozgatása és elemzése különböző platformokon. Amazon App Flow, egy teljesen felügyelt adatintegrációs szolgáltatás, élen jár az AWS-szolgáltatások, a szoftver mint szolgáltatás (SaaS) alkalmazások és most a Google BigQuery közötti adatátvitel egyszerűsítésében. Ebben a blogbejegyzésben felfedezheti az újdonságokat Google BigQuery csatlakozási szoftver az Amazon AppFlow-ban, és fedezze fel, hogyan egyszerűsíti le az adatok átvitelét a Google adattárházából a Amazon Simple Storage Service (Amazon S3), amely jelentős előnyökkel jár az adatokkal foglalkozó szakemberek és szervezetek számára, beleértve a többfelhős adathozzáférés demokratizálódását is.
Az Amazon AppFlow áttekintése
Amazon App Flow egy teljesen felügyelt integrációs szolgáltatás, amellyel biztonságosan továbbíthat adatokat SaaS-alkalmazások, például Google BigQuery, Salesforce, SAP, Hubspot és ServiceNow, valamint AWS-szolgáltatások, például Amazon S3 és Amazon RedShift, néhány kattintással. Az Amazon AppFlow segítségével szinte bármilyen léptékben futtathat adatfolyamokat az Ön által választott gyakorisággal – ütemezetten, üzleti eseményre reagálva vagy igény szerint. Beállíthatja az adatátalakítási lehetőségeket, például a szűrést és az érvényesítést, hogy a folyamat részeként, további lépések nélkül hozzon létre gazdag, használatra kész adatokat. Az Amazon AppFlow automatikusan titkosítja a mozgásban lévő adatokat, és lehetővé teszi, hogy korlátozza az adatok nyilvános interneten keresztüli áramlását az olyan SaaS-alkalmazások esetében, amelyek integrált AWS PrivateLink, csökkentve a biztonsági fenyegetéseknek való kitettséget.
A Google BigQuery csatlakozási szoftver bemutatása
Az új Google BigQuery csatlakozási szoftver Az Amazon AppFlow bemutatja a lehetőségeket azoknak a szervezeteknek, amelyek a Google adattárházának analitikai képességét szeretnék használni, és a BigQuery adatait könnyedén integrálhatják, elemezhetik, tárolhatják vagy tovább dolgozhatják, hasznos betekintést nyerve.
Építészet
Tekintsük át a Google BigQuery-ből az Amazon S3-ba az Amazon AppFlow használatával történő adatok átviteléhez szükséges architektúrát.
- Válasszon adatforrást: In Amazon App Flow, válassza ki a Google BigQuery-t adatforrásként. Adja meg azokat a táblákat vagy adatkészleteket, amelyekből adatokat szeretne kinyerni.
- Mezőtérkép és átalakítás: Konfigurálja az adatátvitelt az Amazon AppFlow intuitív vizuális felületével. Leképezheti az adatmezőket, és szükség szerint átalakításokat alkalmazhat, hogy az adatokat az Ön igényeihez igazítsa.
- Átviteli gyakoriság: Döntse el, milyen gyakran kívánja átvinni az adatokat – például napi, heti vagy havi – a rugalmasság és az automatizálás támogatása érdekében.
- Cél: Adjon meg egy S3 tárolót az adatok rendeltetési helyeként. Az Amazon AppFlow hatékonyan mozgatja az adatokat, így elérhetővé válik az Amazon S3 tárolójában.
- Fogyasztás: Használat Amazon Athéné az Amazon S3 adatainak elemzéséhez.
Előfeltételek
A megoldásban használt adatkészletet a Synthea, egy szintetikus betegpopuláció szimulátor és nyílt forráskódú projekt a Apache licenc 2.0. Töltse be ezeket az adatokat a Google BigQuery szolgáltatásba, vagy használja a meglévő adatkészletét.
Csatlakoztassa az Amazon AppFlow-t Google BigQuery-fiókjához
Ehhez a bejegyzéshez Google-fiókot, megfelelő engedélyekkel rendelkező OAuth-klienst és Google BigQuery-adatokat használ. Ha engedélyezni szeretné a Google BigQuery-hozzáférést az Amazon AppFlow szolgáltatásból, előzetesen be kell állítania egy új OAuth-ügyfelet. Az utasításokat lásd Google BigQuery csatlakozó az Amazon AppFlow-hoz.
Állítsa be az Amazon S3-at
Az Amazon S3 minden objektuma egy vödörben van tárolva. Mielőtt adatokat tárolhatna az Amazon S3-ban, meg kell tennie hozzon létre egy S3 vödröt az eredmények tárolására.
Hozzon létre egy új S3 tárolót az Amazon AppFlow eredményeihez
S3 vödör létrehozásához hajtsa végre a következő lépéseket:
- Az AWS felügyeleti konzolján Amazon S3, választ Vödör létrehozása.
- Adjon meg egy globálisan egyedit nevet a vödörnek; például,
appflow-bq-sample
. - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Vödör létrehozása.
Hozzon létre egy új S3 gyűjtőt az Amazon Athena eredményeihez
S3 vödör létrehozásához hajtsa végre a következő lépéseket:
- Az AWS felügyeleti konzolján Amazon S3, választ Vödör létrehozása.
- Adjon meg egy globálisan egyedit nevet a vödörnek; például,
athena-results
. - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Vödör létrehozása.
Felhasználói szerepkör (IAM szerepkör) az AWS ragasztóadat-katalógushoz
A folyamattal átvitt adatok katalogizálásához rendelkeznie kell a megfelelő felhasználói szerepkörrel AWS Identity and Access Management (IAM). Ön adja meg ezt a szerepet az Amazon AppFlow számára, hogy megadja a létrehozásához szükséges engedélyeket AWS ragasztóadat-katalógus, táblák, adatbázisok és partíciók.
A szükséges engedélyekkel rendelkező IAM-házirend példáját lásd: Az Amazon AppFlow személyazonosság-alapú irányelvei.
A tervezés végigjátszása
Most pedig nézzünk meg egy gyakorlati használati esetet, hogy megtudja, hogyan működik az Amazon AppFlow Google BigQuery – Amazon S3 csatlakozó. Ebben az esetben az Amazon AppFlow segítségével archiválja a Google BigQuery és az Amazon S3 előzményadatait hosszú távú tárolás és elemzés céljából.
Állítsa be az Amazon AppFlow-t
Hozzon létre egy új Amazon AppFlow folyamatot az adatok átviteléhez a Google Analytics szolgáltatásból az Amazon S3-ba.
- A Amazon AppFlow konzol, választ Folyamat létrehozása.
- Adjon nevet a folyamatnak; például,
my-bq-flow
. - Adja hozzá a szükséges Címkék; például azért Kulcs lépj be
env
és a Érték lépj bedev
.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
- A Forrás neve, választ Google BigQuery.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Hozzon létre új kapcsolatot.
- Adja meg OAuth-ját ügyfél-azonosító és a Ügyféltitok, majd nevezze el a kapcsolatot; például,
bq-connection
.
- Az előugró ablakban válassza ki, hogy engedélyezi-e az amazon.com-nak a Google BigQuery API-hoz való hozzáférését.
- A Válassza ki a Google BigQuery objektumot, választ Táblázat.
- A Válassza a Google BigQuery alobjektumot, választ BigQueryProjectName.
- A Válassza a Google BigQuery alobjektumot, választ Adatbázis név.
- A Válassza a Google BigQuery alobjektumot, választ Táblanév.
- A Úticél neve, választ Amazon S3.
- A Vödör részletei, válassza ki az Amazon AppFlow eredmények tárolására létrehozott Amazon S3 tárolót az előfeltételek között.
- belép
raw
mint prefix.
- Ezután biztosítsa AWS ragasztóadat-katalógus beállításokat a további elemzéshez szükséges táblázat létrehozásához.
- Válassza ki a Felhasználói szerep (IAM szerepkör) az előfeltételekben létrehozott.
- Új adatbázis Például,
healthcare
. - Adja meg a táblázat-előtag beállítás pl.
bq
.
- választ Fuss igény szerint.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
- választ Mezők manuális térképezése.
- Válassza ki a következő hat mezőt Forrás mező neve a táblázatból Allergia:
- Rajt
- Beteg
- Kód
- Leírás
- típus
- Kategória
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Közvetlenül térképezze fel a mezőket.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
- In a Szűrők hozzáadása lehetőséget szakaszban válassza Következő.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Folyamat létrehozása.
Futtassa az áramlást
Az új folyamat létrehozása után igény szerint futtathatja.
- A Amazon AppFlow konzol, választ
my-bq-flow
. - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Futtassa az áramlást.
Ehhez az áttekintéshez válassza a feladat igény szerinti futtatását a könnyebb érthetőség érdekében. A gyakorlatban kiválaszthat egy ütemezett munkát, és időszakonként csak az újonnan hozzáadott adatokat vonhatja ki.
Keresés az Amazon Athénén keresztül
Ha kiválasztja az opcionális AWS Glue Data Catalog beállításait, a Data Catalog létrehozza az adatok katalógusát, lehetővé téve az Amazon Athena számára, hogy lekérdezéseket hajtson végre.
Ha a rendszer kéri, hogy konfiguráljon egy lekérdezési eredmény helyet, navigáljon a beállítások lapot és válasszon kezel. Alatt Kezelje a beállításokat, válassza ki az előfeltételek szerint létrehozott Athena eredménygyűjtőt, és válassza ki Megtakarítás.
- A Amazon Athena konzol, válassza ki az Adatforrást mint
AWSDataCatalog
. - Ezt követően válassza ki adatbázis as
healthcare
. - Most kiválaszthatja az AWS Glue bejáró által létrehozott táblázatot, és megtekintheti annak előnézetét.
- Egyéni lekérdezést is futtathat, hogy megtalálja a 10 legnépszerűbb allergiát, ahogy az a következő lekérdezésben látható.
Megjegyzések: Az alábbi lekérdezésben ebben az esetben cserélje ki a tábla nevét bq_appflow_mybqflow_1693588670_latest
, az AWS-fiókjában generált táblázat nevével.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Lekérdezés futtatása.
Ez az eredmény a 10 legjobb allergiát mutatja az esetek száma szerint.
Tisztítsuk meg
A költségek elkerülése érdekében tisztítsa meg az AWS-fiók erőforrásait a következő lépések végrehajtásával:
- Az Amazon AppFlow konzolon válassza a lehetőséget flow a navigációs ablaktáblában.
- A folyamatok listájából válassza ki a folyamatot
my-bq-flow
, és törölje. - A folyamat törléséhez írja be a delete parancsot.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a kapcsolatok a navigációs ablaktáblában.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Google BigQuery a csatlakozók listájából válassza ki a lehetőséget
bq-connector
, és törölje. - A csatlakozás törléséhez írja be a delete parancsot.
- Az IAM konzolon válassza a lehetőséget szerepek a navigációs oldalon, majd válassza ki az AWS Glue crawler számára létrehozott szerepkört, és törölje azt.
- Az Amazon Athena konzolon:
- Törölje az adatbázis alatt létrehozott táblákat
healthcare
AWS Glue bejáró használatával. - Dobd el az adatbázist
healthcare
- Törölje az adatbázis alatt létrehozott táblákat
- Az Amazon S3 konzolon keresse meg a létrehozott Amazon AppFlow eredménygyűjteményt, és válassza a lehetőséget Üres az objektumok törléséhez, majd törölje a tárolót.
- Az Amazon S3 konzolon keresse meg a létrehozott Amazon Athena találati gyűjteményt, és válassza a lehetőséget Üres az objektumok törléséhez, majd törölje a tárolót.
- Tisztítsa meg Google-fiókja erőforrásait a Google BigQuery-erőforrásokat tartalmazó projekt törlésével. Kövesse a dokumentációt tisztítsa meg a Google erőforrásait.
Következtetés
Az Amazon AppFlow Google BigQuery csatlakozási szoftvere leegyszerűsíti az adatok átvitelét a Google adattárházából az Amazon S3-ba. Ez az integráció leegyszerűsíti az elemzést és a gépi tanulást, az archiválást és a hosszú távú tárolást, jelentős előnyöket biztosítva az adatokkal foglalkozó szakemberek és szervezetek számára, akik mindkét platform elemzési képességeit szeretnék kihasználni.
Az Amazon AppFlow segítségével kiküszöbölhető az adatintegráció bonyolultsága, így Ön arra összpontosíthat, hogy az adataiból gyakorlatias betekintést nyerjen. Akár előzményadatokat archivál, akár összetett elemzéseket végez, akár adatokat készít elő gépi tanuláshoz, ez a csatlakozási szoftver leegyszerűsíti a folyamatot, és az adatszakértők szélesebb köre számára teszi elérhetővé.
Ha szeretné látni, hogyan történik az adatátvitel a Google BigQuery-ből az Amazon S3-ba az Amazon AppFlow használatával, nézze meg lépésről lépésre videó bemutató. Ebben az oktatóanyagban végigjárjuk a teljes folyamatot, a kapcsolat beállításától az adatátviteli folyamat futtatásáig. Az Amazon AppFlow-val kapcsolatos további információkért látogasson el a webhelyre Amazon App Flow.
A szerzőkről
Kartikay Khator az Amazon Web Services globális élettudományi részlegének megoldástervezője. Szenvedélyesen segíti ügyfeleit a felhőalapú utazásukban, az AWS elemzési szolgáltatásokra összpontosítva. Lelkes futó és szeret túrázni.
Kamen Sharlandjiev Sr. Big Data és ETL Solutions Architect és Amazon AppFlow szakértő. Az a küldetése, hogy megkönnyítse azoknak az ügyfeleknek az életét, akik összetett adatintegrációs kihívásokkal néznek szembe. A titkos fegyvere? Teljesen felügyelt, alacsony kódú AWS-szolgáltatások, amelyek minimális erőfeszítéssel és kódolás nélkül elvégezhetik a munkát.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/big-data/simplify-data-transfer-google-bigquery-to-amazon-s3-using-amazon-appflow/
- :van
- :is
- $ UP
- 10
- 100
- 14
- 16
- 17
- 22
- 321
- 8
- 9
- a
- képesség
- Rólunk
- hozzáférés
- jogosultság kezelés
- hozzáférhető
- Fiók
- át
- hozzá
- hozzáadott
- További
- előre
- összehangolása
- Allergia
- lehetővé
- lehetővé téve
- lehetővé teszi, hogy
- Is
- amazon
- Amazon Athéné
- Az Amazon Web Services
- Amazon.com
- an
- elemzés
- Analitikai
- analitika
- elemez
- és a
- bármilyen
- api
- alkalmazások
- alkalmaz
- megfelelő
- építészet
- Archív
- VANNAK
- AS
- At
- automatikusan
- Automatizálás
- elkerülése érdekében
- AWS
- AWS ragasztó
- AWS felügyeleti konzol
- óta
- előtt
- lent
- Előnyök
- között
- Nagy
- Big adatok
- bigquery
- Blog
- mindkét
- tágabb
- üzleti
- by
- TUD
- Kaphat
- képességek
- képesség
- eset
- esetek
- katalógus
- Kategória
- kihívások
- díjak
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- vásárló
- felhő
- Kódolás
- COM
- teljes
- kitöltésével
- bonyolult
- bonyodalmak
- kapcsolat
- Konzol
- tartalmaz
- lánctalpas
- teremt
- készítette
- teremt
- létrehozása
- szokás
- Ügyfelek
- napi
- dátum
- adat hozzáférés
- adatintegráció
- adattárház
- adatalapú
- adatbázis
- adatbázisok
- adatkészletek
- dönt
- Kereslet
- demokratizálás
- leírás
- rendeltetési hely
- felfedez
- számos
- dokumentáció
- csinált
- könnyű
- könnyebb
- eredményesen
- erőfeszítés
- erőfeszítés nélkül
- Eltüntetett
- lehetővé
- lehetővé téve
- Egész
- alapvető
- Eter (ETH)
- esemény
- példa
- példák
- létező
- szakértő
- feltárása
- Exponálás
- kivonat
- néző
- kevés
- mező
- Fields
- szűrő
- Találjon
- Rugalmasság
- áramlási
- Folyó
- flow
- Összpontosít
- következik
- következő
- A
- Forefront
- Frekvencia
- gyakran
- ból ből
- teljesen
- további
- generál
- generált
- kap
- Globális
- globálisan
- Google Analytics.
- biztosít
- Csoport
- hám
- Legyen
- he
- egészségügyi
- segít
- turisztika
- övé
- történeti
- Hogyan
- HTML
- http
- HTTPS
- HubSpot
- IAM
- Identitás
- identitás- és hozzáférés-kezelés
- in
- Beleértve
- információ
- meglátások
- utasítás
- integrálni
- integrált
- integráció
- érdekelt
- Felület
- Internet
- bele
- intuitív
- IT
- maga
- Munka
- utazás
- éppen
- tanulás
- Engedély
- élet
- Élettudományi
- LIMIT
- Lista
- kiszámításának
- elhelyezkedés
- hosszú lejáratú
- néz
- gép
- gépi tanulás
- csinál
- Gyártás
- sikerült
- vezetés
- térkép
- térképészet
- minimális
- Küldetés
- több
- mozgás
- mozog
- kell
- név
- Keresse
- Navigáció
- közel
- elengedhetetlen
- szükséges
- igények
- Új
- újonnan
- nem
- Most
- szám
- auth
- tárgy
- objektumok
- of
- on
- Igény szerint
- csak
- nyílt forráskód
- or
- érdekében
- szervezetek
- felett
- oldal
- üvegtábla
- rész
- szenvedélyes
- beteg
- teljesít
- előadó
- engedélyek
- Platformok
- Plató
- Platón adatintelligencia
- PlatoData
- politika
- pop-up
- népesség
- lehetőségek
- állás
- Gyakorlati
- gyakorlat
- előkészítése
- előfeltételek
- Preview
- folyamat
- tehetséges alkalmazottal
- program
- ad
- amely
- nyilvános
- lekérdezések
- hatótávolság
- csökkentő
- cserélni
- kötelező
- követelmények
- Tudástár
- válasz
- korlátoz
- eredményez
- Eredmények
- Kritika
- Gazdag
- Szerep
- futás
- futó
- futás
- SaaS
- értékesítési erő
- nedv
- Skála
- menetrend
- tervezett
- Tudomány
- Keresés
- Titkos
- Rész
- biztosan
- biztonság
- Biztonsági fenyegetések
- lát
- keres
- szolgáltatás
- ServiceNow
- Szolgáltatások
- készlet
- beállítás
- beállítások
- mutatott
- Műsorok
- jelentős
- Egyszerű
- egyszerűsítése
- szimulátor
- SIX
- szoftver
- szoftver mint szolgáltatás
- megoldások
- Megoldások
- forrás
- Lépései
- tárolás
- tárolni
- memorizált
- ésszerűsítése
- ilyen
- szintetikus
- táblázat
- Vesz
- hogy
- A
- azok
- akkor
- ezt
- fenyegetések
- Keresztül
- nak nek
- mai
- felső
- Top 10
- átruházás
- Átadó
- Átalakítás
- transzformációk
- transzformáló
- oktatói
- típus
- alatt
- megértés
- egyedi
- bemutatta
- használ
- használati eset
- használt
- használó
- segítségével
- érvényesítés
- érték
- Látogat
- séta
- végigjátszás
- akar
- Raktár
- we
- háló
- webes szolgáltatások
- heti
- vajon
- WHO
- lesz
- ablak
- val vel
- nélkül
- művek
- világ
- te
- A te
- youtube
- zephyrnet