Tänapäeva andmepõhises maailmas on väga oluline, et saaksime andmeid vaevata liigutada ja analüüsida erinevatel platvormidel. Amazon App FlowTäielikult hallatav andmete integreerimise teenus on olnud AWS-i teenuste, tarkvara kui teenuse (SaaS) rakenduste ja nüüd Google BigQuery vahelise andmeedastuse sujuvamaks muutmisel esirinnas. Selles blogipostituses uurite uut Google BigQuery konnektor rakenduses Amazon AppFlow ja avastage, kuidas see lihtsustab andmete ülekandmist Google'i andmelaost Amazon Simple Storage Service (Amazon S3), mis pakub andmespetsialistidele ja organisatsioonidele märkimisväärset kasu, sealhulgas mitme pilve andmetele juurdepääsu demokratiseerimisel.
Amazon AppFlow ülevaade
Amazon App Flow on täielikult hallatav integratsiooniteenus, mida saate kasutada andmete turvaliseks edastamiseks SaaS-i rakenduste (nt Google BigQuery, Salesforce, SAP, Hubspot ja ServiceNow) ning AWS-i teenuste, nagu Amazon S3 ja Amazoni punane nihe, vaid mõne klõpsuga. Amazon AppFlow abil saate käitada andmevooge peaaegu igas skaalal teie valitud sagedusega – ajakava alusel, vastusena ärisündmusele või nõudmisel. Saate konfigureerida andmete teisendusvõimalusi, nagu filtreerimine ja valideerimine, et luua rikkalikke kasutusvalmis andmeid voo enda osana ilma täiendavate sammudeta. Amazon AppFlow krüpteerib automaatselt liikuvad andmed ja võimaldab teil piirata andmete liikumist avaliku Interneti kaudu SaaS-i rakenduste jaoks, mis on integreeritud AWS PrivateLink, vähendades kokkupuudet turvaohtudega.
Tutvustame Google BigQuery konnektorit
Uus Google BigQuery konnektor Amazon AppFlow tutvustab võimalusi organisatsioonidele, kes soovivad kasutada Google'i andmelao analüüsivõimet ning BigQuery andmeid hõlpsasti integreerida, analüüsida, salvestada või täiendavalt töödelda, muutes need praktilisteks teadmisteks.
Arhitektuur
Vaatame üle arhitektuuri, mille abil andmeid Amazon AppFlow abil Google BigQueryst Amazon S3-sse üle kanda.
- Valige andmeallikas: In Amazon App Flow, valige andmeallikaks Google BigQuery. Määrake tabelid või andmekogumid, millest soovite andmeid eraldada.
- Väljade kaardistamine ja teisendamine: konfigureerige andmeedastust Amazon AppFlow intuitiivse visuaalse liidese abil. Saate andmevälju kaardistada ja vajadusel rakendada teisendusi, et viia andmed vastavusse oma nõuetega.
- Edastussagedus: otsustage, kui sageli soovite andmeid edastada (nt iga päev, kord nädalas või kuus), toetades paindlikkust ja automatiseerimist.
- Sihtkoht: määrake oma andmete sihtkohaks S3 ämber. Amazon AppFlow liigutab andmeid tõhusalt, muutes need teie Amazon S3 salvestusruumis juurdepääsetavaks.
- Tarbimine: Kasuta Amazonase Athena Amazon S3 andmete analüüsimiseks.
Eeldused
Selles lahenduses kasutatava andmestiku genereerib Synthea, sünteetiline patsientide populatsiooni simulaator ja avatud lähtekoodiga projekt Apache'i litsents 2.0. Laadige need andmed Google BigQuerysse või kasutage oma olemasolevat andmekogumit.
Ühendage Amazon AppFlow oma Google BigQuery kontoga
Selle postituse jaoks kasutate Google'i kontot, sobivate lubadega OAuthi klienti ja Google BigQuery andmeid. Google BigQuery juurdepääsu lubamiseks Amazon AppFlow kaudu peate eelnevalt seadistama uue OAuthi kliendi. Juhiseid vt Google BigQuery konnektor Amazon AppFlow jaoks.
Seadistage Amazon S3
Kõik Amazon S3 objektid on salvestatud ämbrisse. Enne kui saate Amazon S3-s andmeid salvestada, peate seda tegema luua S3 ämber tulemuste salvestamiseks.
Looge Amazon AppFlow tulemuste jaoks uus S3 ämber
S3 ämbri loomiseks toimige järgmiselt.
- AWS-i halduskonsoolil Amazon S3, vali Loo ämber.
- Sisestage globaalselt unikaalne nimi oma ämbrile; näiteks,
appflow-bq-sample
. - Vali Loo ämber.
Looge Amazon Athena tulemuste jaoks uus S3 ämber
S3 ämbri loomiseks toimige järgmiselt.
- AWS-i halduskonsoolil Amazon S3, vali Loo ämber.
- Sisestage globaalselt unikaalne nimi oma ämbrile; näiteks,
athena-results
. - Vali Loo ämber.
AWS-i liimiandmete kataloogi kasutaja roll (IAM-i roll).
Vooga ülekantavate andmete kataloogimiseks peab teil olema vastav kasutajaroll AWS-i identiteedi ja juurdepääsu haldus (IAM). Annate selle rolli Amazon AppFlow'le, et anda talle selle loomiseks vajalikud load AWS-i liimiandmete kataloog, tabelid, andmebaasid ja partitsioonid.
Nõutavate õigustega IAM-poliitika näide leiate artiklist Identiteedipõhised poliitikanäited Amazon AppFlow jaoks.
Disaini tutvustus
Nüüd vaatame läbi praktilise kasutusjuhtumi, et näha, kuidas Amazon AppFlow Google BigQuery ja Amazon S3 pistik töötab. Kasutate rakenduse Amazon AppFlow, et arhiveerida ajaloolised andmed Google BigQueryst Amazon S3-sse, et analüüsida pikaajaliselt salvestada.
Seadistage Amazon AppFlow
Andmete Google Analyticsist Amazon S3-sse ülekandmiseks looge uus Amazon AppFlow voog.
- Kohta Amazon AppFlow konsool, vali Loo voog.
- Sisestage oma voo nimi; näiteks,
my-bq-flow
. - Lisa vajalik Sildid; näiteks jaoks Võti sisestama
env
ja eest Väärtus sisestamadev
.
- Vali järgmine.
- eest Allika nimi, vali Google'i BigQuery.
- Vali Loo uus ühendus.
- Sisestage oma OAuth kliendi ID ja Kliendi saladus, seejärel nimetage oma ühendus; näiteks,
bq-connection
.
- Hüpikaknas lubage amazon.com-ile juurdepääs Google BigQuery API-le.
- eest Valige Google BigQuery objekt, vali Tabel.
- eest Valige Google BigQuery alamobjekt, vali BigQueryProjectName.
- eest Valige Google BigQuery alamobjekt, vali Andmebaasi nimi.
- eest Valige Google BigQuery alamobjekt, vali Tabeli nimi.
- eest Sihtkoha nimi, vali Amazon S3.
- eest Koppa detailid, valige eeltingimustes Amazon AppFlow tulemuste salvestamiseks loodud Amazon S3 ämber.
- sisene
raw
kui eesliide.
- Järgmiseks paku AWS-i liimiandmete kataloog seaded, et luua tabel edasiseks analüüsiks.
- Valige Kasutaja roll (IAM roll) loodud eeldustes.
- Loo uus andmebaas näiteks
healthcare
. - Esitage a tabeli eesliide seadistus näiteks,
bq
.
- valima Jookse nõudmisel.
- Vali Järgmine.
- valima Kaardista väljad käsitsi.
- Valige järgmised kuus välja Allikavälja nimi tabelist Allergia:
- Avaleht
- Patsient
- kood
- Kirjeldus
- KASUTUSALA
- Kategooria
- Vali Kaardi väljad otse.
- Vali järgmine.
- In Lisa filtreid Valige jaotises järgmine.
- Vali Loo voog.
Käivitage vool
Pärast uue voo loomist saate seda nõudmisel käivitada.
- Kohta Amazon AppFlow konsool, vali
my-bq-flow
. - Vali Käivitage vool.
Selle juhendi jaoks valige mõistmise hõlbustamiseks töö tellimine. Praktikas saate valida ajastatud töö ja perioodiliselt välja võtta ainult äsja lisatud andmeid.
Päring Amazon Athena kaudu
Kui valite valikulised AWS-i liimiandmete kataloogi sätted, loob Data Catalog andmete jaoks kataloogi, mis võimaldab Amazon Athenal teha päringuid.
Kui teil palutakse konfigureerida päringutulemuste asukoht, liikuge lehele Seaded ja valige juhtima. Alla Seadete haldamine, valige eeltingimustes loodud Athena tulemuste ämber ja valige Säästa.
- Kohta Amazon Athena konsool, valige Andmeallikas kui
AWSDataCatalog
. - Järgmine vali andmebaas as
healthcare
. - Nüüd saate valida AWS Glue roomiku loodud tabeli ja vaadata selle eelvaadet.
- Saate käivitada ka kohandatud päringu, et leida 10 parimat allergiat, nagu on näidatud järgmises päringus.
märkused: Sel juhul asendage allolevas päringus tabeli nimi bq_appflow_mybqflow_1693588670_latest
, teie AWS-i kontol loodud tabeli nimega.
- Vali Käivitage päring.
See tulemus näitab 10 parimat allergiat juhtude arvu järgi.
Koristage
Tasude vältimiseks puhastage oma AWS-i konto ressursid, toimides järgmiselt.
- Amazon AppFlow konsoolil valige Voolud navigeerimispaanil.
- Valige voogude loendist voog
my-bq-flow
ja kustutage see. - Voo kustutamiseks sisestage delete.
- Vali Side navigeerimispaanil.
- Vali Google'i BigQuery valige konnektorite loendist
bq-connector
ja kustutage see. - Ühenduse kustutamiseks sisestage delete.
- Valige IAM-konsoolil rollid navigeerimislehel, seejärel valige AWS Glue roomaja jaoks loodud roll ja kustutage see.
- Amazon Athena konsoolil:
- Kustutage andmebaasi all loodud tabelid
healthcare
kasutades AWS Glue roomajat. - Loobuge andmebaasist
healthcare
- Kustutage andmebaasi all loodud tabelid
- Otsige Amazon S3 konsoolis enda loodud Amazon AppFlow tulemuste ämbrit ja valige Tühi objektide kustutamiseks, seejärel kustutage ämber.
- Otsige Amazon S3 konsoolis loodud Amazon Athena tulemuste ämbrit ja valige Tühi objektide kustutamiseks, seejärel kustutage ämber.
- Puhastage oma Google'i konto ressursse, kustutades Google BigQuery ressursse sisaldava projekti. Järgige dokumentatsiooni puhastage Google'i ressursid.
Järeldus
Google BigQuery konnektor rakenduses Amazon AppFlow lihtsustab andmete ülekandmist Google'i andmelaost Amazon S3-sse. See integratsioon lihtsustab analüütikat ja masinõpet, arhiveerimist ja pikaajalist salvestamist, pakkudes märkimisväärset kasu andmeprofessionaalidele ja organisatsioonidele, kes soovivad kasutada mõlema platvormi analüütilisi võimalusi.
Amazon AppFlow abil on andmete integreerimise keerukus välistatud, võimaldades teil keskenduda oma andmetest kasulike teadmiste hankimisele. Olenemata sellest, kas arhiveerite ajaloolisi andmeid, teostate keerulist analüüsi või valmistate andmeid ette masinõppeks, lihtsustab see konnektor protsessi, muutes selle kättesaadavaks suuremale hulgale andmespetsialistidele.
Kui soovite näha, kuidas toimub andmete ülekandmine Google BigQueryst Amazon S3-le Amazon AppFlow abil, vaadake samm-sammult video tutorial. Selles õpetuses käime läbi kogu protsessi, alates ühenduse seadistamisest kuni andmeedastusvoo käivitamiseni. Amazon AppFlow kohta lisateabe saamiseks külastage Amazon App Flow.
Autoritest
Kartikay Khator on ülemaailmse bioteaduse lahenduste arhitekt ettevõttes Amazon Web Services. Ta soovib kirglikult aidata kliente nende pilveteekonnal, keskendudes AWS-i analüüsiteenustele. Ta on innukas jooksja ja naudib matkamist.
Kamen Sharlandjiev on vanem suurandmete ja ETL-lahenduste arhitekt ning Amazon AppFlow ekspert. Tema ülesanne on muuta nende klientide elu lihtsamaks, kes seisavad silmitsi keerukate andmete integreerimise väljakutsetega. Tema salarelv? Täielikult hallatavad madala koodiga AWS-teenused, mis saavad töö tehtud minimaalse pingutusega ja ilma kodeerimiseta.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/big-data/simplify-data-transfer-google-bigquery-to-amazon-s3-using-amazon-appflow/
- :on
- :on
- $ UP
- 10
- 100
- 14
- 16
- 17
- 22
- 321
- 8
- 9
- a
- võime
- MEIST
- juurdepääs
- juurdepääsu haldamine
- juurdepääsetav
- konto
- üle
- lisama
- lisatud
- Täiendavad lisad
- edendama
- viia
- Allergia
- võimaldama
- Lubades
- võimaldab
- Ka
- Amazon
- Amazonase Athena
- Amazon Web Services
- Amazon.com
- an
- analüüs
- Analüütiline
- analytics
- analüüsima
- ja
- mistahes
- API
- rakendused
- kehtima
- asjakohane
- arhitektuur
- Arhiiv
- OLEME
- AS
- At
- automaatselt
- Automaatika
- vältima
- AWS
- AWS liim
- AWS-i juhtimiskonsool
- olnud
- enne
- alla
- Kasu
- vahel
- Suur
- Big andmed
- suur päring
- Blogi
- mõlemad
- laiem
- äri
- by
- CAN
- Saab
- võimeid
- võime
- juhul
- juhtudel
- kataloog
- Kategooria
- väljakutseid
- koormuste
- Vali
- klient
- Cloud
- Kodeerimine
- COM
- täitma
- lõpetamist
- keeruline
- keerukust
- ühendus
- konsool
- sisaldab
- roomik
- looma
- loodud
- loob
- loomine
- tava
- Kliendid
- iga päev
- andmed
- juurdepääs andmetele
- andmete integreerimine
- andmekogus
- andmepõhistele
- andmebaas
- andmebaasid
- andmekogumid
- otsustama
- Nõudlus
- demokratiseerimine
- kirjeldus
- sihtkoht
- avastama
- mitu
- dokumentatsioon
- tehtud
- leevendada
- lihtsam
- tõhusalt
- jõupingutusi
- sundimatult
- kõrvaldatud
- võimaldama
- võimaldades
- Kogu
- oluline
- Eeter (ETH)
- sündmus
- näide
- näited
- olemasolevate
- ekspert
- uurima
- Säritus
- väljavõte
- ees
- vähe
- väli
- Valdkonnad
- filtreerimine
- leidma
- Paindlikkus
- voog
- Voolav
- Voolud
- Keskenduma
- järgima
- Järel
- eest
- esirinnas
- Sagedus
- sageli
- Alates
- täielikult
- edasi
- tekitama
- loodud
- saama
- Globaalne
- Ülemaailmselt
- Google Analytics
- anda
- Grupp
- rakmed
- Olema
- he
- tervishoid
- aidates
- matkamine
- tema
- ajalooline
- Kuidas
- HTML
- http
- HTTPS
- HubSpot
- IAM
- Identity
- identiteedi ja juurdepääsu haldamine
- in
- Kaasa arvatud
- info
- teadmisi
- juhised
- integreerima
- integreeritud
- integratsioon
- huvitatud
- Interface
- Internet
- sisse
- intuitiivne
- IT
- ise
- töö
- teekond
- lihtsalt
- õppimine
- litsents
- elu
- Eluteadus
- LIMIT
- nimekiri
- koormus
- liising
- pikaajaline
- Vaata
- masin
- masinõpe
- tegema
- Tegemine
- juhitud
- juhtimine
- kaart
- kaardistus
- minimaalne
- missioon
- rohkem
- liikumine
- liikuma
- peab
- nimi
- Navigate
- NAVIGATSIOON
- peaaegu
- vajalik
- vaja
- vajadustele
- Uus
- äsja
- ei
- nüüd
- number
- oauth
- objekt
- esemeid
- of
- on
- On-Demand
- ainult
- avatud lähtekoodiga
- or
- et
- organisatsioonid
- üle
- lehekülg
- pane
- osa
- kirglik
- patsient
- täitma
- esitades
- Õigused
- Platvormid
- Platon
- Platoni andmete intelligentsus
- PlatoData
- poliitika
- pop-up
- rahvastik
- võimalused
- post
- Praktiline
- tava
- ettevalmistamisel
- eeldused
- Eelvaade
- protsess
- spetsialistid
- projekt
- anda
- pakkudes
- avalik
- päringud
- valik
- vähendamine
- asendama
- nõutav
- Nõuded
- Vahendid
- vastus
- piirata
- kaasa
- Tulemused
- läbi
- Rikas
- Roll
- jooks
- jooksja
- jooksmine
- SaaS
- müügijõud
- mahl
- Skaala
- ajakava
- plaanitud
- teadus
- Otsing
- Saladus
- Osa
- kindlalt
- turvalisus
- Turvaohud
- vaata
- otsib
- teenus
- ServiceNow
- Teenused
- komplekt
- kehtestamine
- seaded
- näidatud
- Näitused
- märkimisväärne
- lihtne
- lihtsustama
- simulaator
- SIX
- tarkvara
- tarkvara
- lahendus
- Lahendused
- allikas
- Sammud
- ladustamine
- salvestada
- ladustatud
- Sujuvamaks muutmine
- selline
- sünteetiline
- tabel
- Võtma
- et
- .
- oma
- SIIS
- see
- ähvardused
- Läbi
- et
- tänane
- ülemine
- Top 10
- üle
- Ülekanne
- Transformation
- muundumised
- transformeerivate
- juhendaja
- tüüp
- all
- mõistmine
- ainulaadne
- Avalikustab
- kasutama
- kasutage juhtumit
- Kasutatud
- Kasutaja
- kasutamine
- kinnitamine
- väärtus
- visiit
- kõndima
- läbikäiguks
- tahan
- Ladu
- we
- web
- veebiteenused
- iga nädal
- kas
- WHO
- will
- aken
- koos
- ilma
- töötab
- maailm
- sa
- Sinu
- youtube
- sephyrnet