Nykypäivän datalähtöisessä maailmassa kyky siirtää ja analysoida tietoja vaivattomasti eri alustoilla on välttämätöntä. Amazon App Flow, täysin hallittu tietojen integrointipalvelu, on ollut edelläkävijä AWS-palvelujen, ohjelmistona palveluna (SaaS) -sovellusten ja nyt Google BigQueryn välisen tiedonsiirron virtaviivaistamisessa. Tässä blogikirjoituksessa tutustut uuteen Google BigQuery -liitin Amazon AppFlow'ssa ja selvitä, kuinka se yksinkertaistaa tietojen siirtoa Googlen tietovarastosta Amazonin yksinkertainen tallennuspalvelu (Amazon S3), joka tarjoaa merkittäviä etuja data-alan ammattilaisille ja organisaatioille, mukaan lukien monipilvitietojen käytön demokratisoiminen.
Amazon AppFlow'n yleiskatsaus
Amazon App Flow on täysin hallittu integraatiopalvelu, jonka avulla voit siirtää turvallisesti tietoja SaaS-sovellusten, kuten Google BigQuery, Salesforce, SAP, Hubspot ja ServiceNow, sekä AWS-palveluiden, kuten Amazon S3 ja Amazonin punainen siirto, muutamalla napsautuksella. Amazon AppFlown avulla voit ajaa tietovirtoja lähes missä tahansa mittakaavassa valitsemallasi taajuudella – aikataulun mukaan, vastauksena liiketapahtumaan tai pyynnöstä. Voit määrittää tietojen muunnosominaisuudet, kuten suodatuksen ja validoinnin, luomaan monipuolisia, käyttövalmiita tietoja osana itse kulkua ilman lisävaiheita. Amazon AppFlow salaa automaattisesti liikkeessä olevat tiedot ja antaa sinun rajoittaa tietojen virtaamista julkisen Internetin kautta SaaS-sovelluksille, jotka on integroitu AWS PrivateLink, vähentää altistumista turvallisuusuhkille.
Esittelyssä Google BigQuery -liitin
Uusi Google BigQuery -liitin Amazon AppFlow esittelee mahdollisuuksia organisaatioille, jotka haluavat käyttää Googlen tietovaraston analyyttistä kykyä ja integroida, analysoida, tallentaa tai edelleen käsitellä BigQueryn tietoja vaivattomasti ja muuttaa ne käyttökelpoisiksi oivalluksiksi.
arkkitehtuuri
Tarkastellaan arkkitehtuuria tietojen siirtämiseksi Google BigQuerysta Amazon S3:een Amazon AppFlow:n avulla.
- Valitse tietolähde: In Amazon App Flow, valitse tietolähteeksi Google BigQuery. Määritä taulukot tai tietojoukot, joista haluat poimia tietoja.
- Kentän kartoitus ja muunnos: Määritä tiedonsiirto Amazon AppFlown intuitiivisen visuaalisen käyttöliittymän avulla. Voit kartoittaa tietokenttiä ja käyttää muunnoksia tarpeen mukaan kohdistaaksesi tiedot vaatimuksiisi.
- Siirtotiheys: Päätä, kuinka usein haluat siirtää tietoja – kuten päivittäin, viikoittain tai kuukausittain – tukemalla joustavuutta ja automaatiota.
- Kohde: Määritä tietojesi kohteeksi S3-säilö. Amazon AppFlow siirtää tiedot tehokkaasti, jolloin ne ovat käytettävissä Amazon S3 -tallennustilassasi.
- Kulutus: Käyttö Amazon Athena analysoidaksesi tietoja Amazon S3:ssa.
Edellytykset
Tässä ratkaisussa käytettävä tietojoukko on luotu Synthea, synteettinen potilaspopulaatiosimulaattori ja avoimen lähdekoodin projekti Apache-lisenssi 2.0. Lataa nämä tiedot Google BigQueryyn tai käytä olemassa olevaa tietojoukkoasi.
Yhdistä Amazon AppFlow Google BigQuery -tiliisi
Käytät tähän viestiin Google-tiliä, OAuth-asiakasohjelmaa, jolla on asianmukaiset käyttöoikeudet, ja Google BigQuery -tietoja. Jotta voit ottaa Google BigQueryn käyttöön Amazon AppFlow'sta, sinun on määritettävä uusi OAuth-asiakas etukäteen. Katso ohjeet Google BigQuery -liitin Amazon AppFlow'lle.
Asenna Amazon S3
Jokainen Amazon S3:n esine on tallennettu ämpäriin. Ennen kuin voit tallentaa tietoja Amazon S3:ssa, sinun on luoda S3-ämpäri tallentaaksesi tulokset.
Luo uusi S3-ämpäri Amazon AppFlow -tuloksille
Luo S3-säilö suorittamalla seuraavat vaiheet:
- AWS-hallintakonsolissa Amazon S3, valitse Luo ämpäri.
- Anna maailmanlaajuisesti ainutlaatuinen nimi ämpärillesi; esimerkiksi,
appflow-bq-sample
. - Valita Luo ämpäri.
Luo uusi S3-ämpäri Amazon Athena -tuloksille
Luo S3-säilö suorittamalla seuraavat vaiheet:
- AWS-hallintakonsolissa Amazon S3, valitse Luo ämpäri.
- Anna maailmanlaajuisesti ainutlaatuinen nimi ämpärillesi; esimerkiksi,
athena-results
. - Valita Luo ämpäri.
AWS Glue Data Catalogin käyttäjärooli (IAM-rooli).
Jotta voit luetteloida työnkulun mukana siirrettävät tiedot, sinulla on oltava asianmukainen käyttäjärooli AWS-identiteetin ja käyttöoikeuksien hallinta (IAM). Annat tämän roolin Amazon AppFlow:lle, jotta se voi myöntää sen luomiseen tarvittavat luvat AWS-liimatietoluettelo, taulukot, tietokannat ja osiot.
Katso esimerkki IAM-käytännöstä, jolla on tarvittavat käyttöoikeudet Identiteettipohjaisia käytäntöjä Amazon AppFlow'lle.
Suunnittelun läpikäynti
Käydään nyt läpi käytännön käyttötapaus nähdäksesi kuinka Amazon AppFlow Google BigQuery - Amazon S3 -liitin toimii. Tässä tapauksessa käytät Amazon AppFlow'ta historiallisten tietojen arkistointiin Google BigQuerysta Amazon S3:een pitkäaikaista analyysiä varten.
Määritä Amazon AppFlow
Luo uusi Amazon AppFlow -virtaus tietojen siirtämiseksi Google Analyticsista Amazon S3:een.
- On Amazon AppFlow -konsoli, valitse Luo virtaus.
- Anna virtaukselle nimi; esimerkiksi,
my-bq-flow
. - Lisää tarpeen Tunnisteet; esimerkiksi varten avain astua
env
ja Arvo astuadev
.
- Valita seuraava.
- varten Lähteen nimi, valitse Googlen BigQuery.
- Valita Luo uusi yhteys.
- Anna OAuth Asiakastunnus ja Asiakassalaisuusja nimeä sitten yhteytesi; esimerkiksi,
bq-connection
.
- Valitse ponnahdusikkunassa, että amazon.com sallii Google BigQuery API:n käyttöoikeuden.
- varten Valitse Google BigQuery -objekti, valitse Pöytä.
- varten Valitse Google BigQuery -aliobjekti, valitse BigQueryProjectName.
- varten Valitse Google BigQuery -aliobjekti, valitse Tietokannan nimi.
- varten Valitse Google BigQuery -aliobjekti, valitse Taulukon nimi.
- varten Kohteen nimi, valitse Amazon S3.
- varten Kauhan yksityiskohdat, valitse Amazon S3 -ämpäri, jonka loit Amazon AppFlow -tulosten tallentamiseen edellytyksissä.
- enter
raw
kuten etuliite.
- Seuraavaksi tarjoa AWS-liimatietoluettelo asetukset luodaksesi taulukon lisäanalyysiä varten.
- Valitse Käyttäjän rooli (IAM-rooli) luotu edellytyksissä.
- Luo uusi tietokanta esimerkiksi,
healthcare
. - Tarjota taulukko-etuliite asetus esim.
bq
.
- valita Suorita kysyntään.
- Valita Seuraava.
- valita Kartoita kentät manuaalisesti.
- Valitse seuraavat kuusi kenttää Lähdekentän nimi taulukosta Allergiat:
- Aloita
- Potilas
- Koodi
- Kuvaus
- Tyyppi
- Kategoria
- Valita Kartoita kentät suoraan.
- Valita seuraava.
- In Lisää suodattimia osiossa, valitse seuraava.
- Valita Luo virtaus.
Suorita virtaus
Kun olet luonut uuden kulkusi, voit suorittaa sen pyynnöstä.
- On Amazon AppFlow -konsoli, valitse
my-bq-flow
. - Valita Suorita virtaus.
Valitse tätä läpikäyntiä varten Suorita työ pyynnöstä, jotta se on helppo ymmärtää. Käytännössä voit valita ajoitetun työn ja poimia ajoittain vain uudet lisätyt tiedot.
Kysely Amazon Athenen kautta
Kun valitset valinnaiset AWS Glue Data Catalog -asetukset, Data Catalog luo tiedoista luettelon, jolloin Amazon Athena voi suorittaa kyselyitä.
Jos sinua pyydetään määrittämään kyselyn tulosten sijainti, siirry kohtaan Asetukset välilehti ja valitse hoitaa. Alla Hallinnoi asetuksia, valitse edellytyksissä luotu Athena-tulosryhmä ja valitse Säästä.
- On Amazon Athena -konsoli, valitse Tietolähde nimellä
AWSDataCatalog
. - Valitse sitten tietokanta as
healthcare
. - Nyt voit valita AWS Glue -indeksointirobotin luoman taulukon ja esikatsella sitä.
- Voit myös suorittaa mukautetun kyselyn löytääksesi 10 suosituinta allergiaa seuraavan kyselyn mukaisesti.
Huomautuksia: Korvaa tässä tapauksessa taulukon nimi alla olevassa kyselyssä bq_appflow_mybqflow_1693588670_latest
, AWS-tililläsi luodun taulukon nimellä.
- Valita Suorita kysely.
Tämä tulos näyttää 10 suosituinta allergiaa tapausten lukumäärän mukaan.
Puhdistaa
Vältä maksuja puhdistamalla AWS-tilisi resurssit suorittamalla seuraavat vaiheet:
- Valitse Amazon AppFlow -konsolissa virrat navigointipaneelissa.
- Valitse kulkukulkujen luettelosta
my-bq-flow
ja poista se. - Poista kulku painamalla delete.
- Valita Liitännät navigointipaneelissa.
- Valita Googlen BigQuery valitse liitinluettelosta
bq-connector
ja poista se. - Poista liitin kirjoittamalla delete.
- Valitse IAM-konsolista Roolit navigointisivulla, valitse sitten AWS Glue -indeksointirobotille luomasi rooli ja poista se.
- Amazon Athena -konsolissa:
- Poista tietokannan alla luodut taulukot
healthcare
käyttämällä AWS Glue -indeksointityökalua. - Pudota tietokanta
healthcare
- Poista tietokannan alla luodut taulukot
- Hae Amazon S3 -konsolissa luomaasi Amazon AppFlow -tulosryhmää ja valitse Tyhjä poistaaksesi objektit, poista sitten ryhmä.
- Etsi Amazon S3 -konsolissa luomaasi Amazon Athena -tulosryhmää ja valitse Tyhjä poistaaksesi objektit, poista sitten ryhmä.
- Siivoa Google-tilisi resurssit poistamalla projekti, joka sisältää Google BigQuery -resurssit. Seuraa dokumentaatiota puhdistaa Googlen resurssit.
Yhteenveto
Amazon AppFlow'n Google BigQuery -liitin virtaviivaistaa tietojen siirtoa Googlen tietovarastosta Amazon S3:een. Tämä integrointi yksinkertaistaa analytiikkaa ja koneoppimista, arkistointia ja pitkäaikaista tallennusta tarjoamalla merkittäviä etuja data-alan ammattilaisille ja organisaatioille, jotka haluavat hyödyntää molempien alustojen analyyttisiä ominaisuuksia.
Amazon AppFlown avulla tietojen integroinnin monimutkaisuus eliminoituu, joten voit keskittyä käytännöllisten oivallusten johtamiseen tiedoistasi. Arkistoitpa historiallista dataa, suoritat monimutkaista analytiikkaa tai valmistelet tietoja koneoppimista varten, tämä liitin yksinkertaistaa prosessia ja tekee siitä laajemman data-alan ammattilaisten ulottuvilla.
Jos olet kiinnostunut näkemään, miten tiedonsiirto Google BigQuerysta Amazon S3:een Amazon AppFlow:n avulla tapahtuu, katso vaihe vaiheelta opetusvideota. Tässä opetusohjelmassa käymme läpi koko prosessin yhteyden muodostamisesta tiedonsiirtovirran suorittamiseen. Lisätietoja Amazon AppFlow'sta on osoitteessa Amazon App Flow.
Tietoja kirjoittajista
Kartikay Khator on ratkaisuarkkitehti Global Life Sciencessa Amazon Web Services -palvelussa. Hän on intohimoinen auttaa asiakkaita heidän pilvimatkallaan keskittyen AWS-analytiikkapalveluihin. Hän on innokas juoksija ja nauttii vaeltamisesta.
Kamen Sharlandjiev on vanhempi Big Data- ja ETL-ratkaisuarkkitehti ja Amazon AppFlow -asiantuntija. Hänen tehtävänsä on helpottaa asiakkaiden elämää, jotka kohtaavat monimutkaisia dataintegraatiohaasteita. Hänen salainen ase? Täysin hallitut, matalan koodin AWS-palvelut, jotka voivat tehdä työt vähällä vaivalla ja ilman koodausta.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/big-data/simplify-data-transfer-google-bigquery-to-amazon-s3-using-amazon-appflow/
- :on
- :On
- $ YLÖS
- 10
- 100
- 14
- 16
- 17
- 22
- 321
- 8
- 9
- a
- kyky
- Meistä
- pääsy
- käyttöoikeuksien hallinta
- saatavilla
- Tili
- poikki
- lisätä
- lisä-
- lisä-
- edistää
- kohdista
- Allergiat
- sallia
- Salliminen
- mahdollistaa
- Myös
- Amazon
- Amazon Athena
- Amazon Web Services
- Amazon.com
- an
- analyysi
- analyyttinen
- Analytics
- analysoida
- ja
- Kaikki
- api
- sovellukset
- käyttää
- sopiva
- arkkitehtuuri
- Archive
- OVAT
- AS
- At
- automaattisesti
- Automaatio
- välttää
- AWS
- AWS-liima
- AWS-hallintakonsoli
- ollut
- ennen
- alle
- Hyödyt
- välillä
- Iso
- Big Data
- BigQueryn
- Uutiset ja media
- sekä
- laajempaa
- liiketoiminta
- by
- CAN
- Voi saada
- kyvyt
- valmiudet
- tapaus
- tapauksissa
- luettelo
- Kategoria
- haasteet
- maksut
- Valita
- asiakas
- pilvi
- Koodaus
- KOM
- täydellinen
- Suoritettuaan
- monimutkainen
- monimutkaisuus
- liitäntä
- Console
- sisältää
- tela
- luoda
- luotu
- luo
- Luominen
- asiakassuhde
- Asiakkaat
- päivittäin
- tiedot
- tietojen käyttö
- datan integraatio
- tietovarasto
- data-driven
- tietokanta
- tietokannat
- aineistot
- päättää
- Kysyntä
- demokratisointi
- kuvaus
- määränpää
- löytää
- useat
- dokumentointi
- tehty
- helpottaa
- helpompaa
- tehokkaasti
- vaivaa
- vaivattomasti
- eliminoitu
- mahdollistaa
- mahdollistaa
- Koko
- olennainen
- Eetteri (ETH)
- tapahtuma
- esimerkki
- Esimerkit
- olemassa
- asiantuntija
- tutkia
- Valotus
- uute
- päin
- harvat
- ala
- Fields
- suodatus
- Löytää
- Joustavuus
- virtaus
- Virtaava
- virrat
- Keskittää
- seurata
- jälkeen
- varten
- eturintamassa
- Taajuus
- usein
- alkaen
- täysin
- edelleen
- tuottaa
- syntyy
- saada
- Global
- Maailmanlaajuisesti
- Google Analytics
- Googlen
- myöntää
- Ryhmä
- valjaat
- Olla
- he
- terveydenhuollon
- auttaa
- retkeily
- hänen
- historiallinen
- Miten
- HTML
- http
- HTTPS
- HubSpot
- IAM
- Identiteetti
- identiteetin ja pääsyn hallinta
- in
- Mukaan lukien
- tiedot
- oivalluksia
- ohjeet
- yhdistää
- integroitu
- integraatio
- kiinnostunut
- liitäntä
- Internet
- tulee
- intuitiivinen
- IT
- itse
- Job
- matka
- vain
- oppiminen
- Lisenssi
- elämä
- Life Science
- RAJOITA
- Lista
- kuormitus
- sijainti
- pitkän aikavälin
- katso
- kone
- koneoppiminen
- tehdä
- Tekeminen
- onnistui
- johto
- kartta
- kartoitus
- minimi
- Tehtävä
- lisää
- liike
- liikkua
- täytyy
- nimi
- Navigoida
- suunnistus
- lähes
- välttämätön
- tarvitaan
- tarpeet
- Uusi
- hiljattain
- Nro
- nyt
- numero
- OAuth
- objekti
- esineet
- of
- on
- Tarpeen vaatiessa
- vain
- opensource
- or
- tilata
- organisaatioiden
- yli
- sivulla
- lasi
- osa
- intohimoinen
- potilas
- suorittaa
- esittävä
- Oikeudet
- Platforms
- Platon
- Platonin tietotieto
- PlatonData
- politiikka
- pop-up
- väestö
- mahdollisuuksia
- Kirje
- Käytännön
- harjoitusta.
- valmistelee
- edellytyksiä
- preview
- prosessi
- ammattilaiset
- projekti
- toimittaa
- tarjoamalla
- julkinen
- kyselyt
- alue
- vähentämällä
- korvata
- tarvitaan
- vaatimukset
- Esittelymateriaalit
- vastaus
- rajoittaa
- johtua
- tulokset
- arviot
- Rikas
- Rooli
- ajaa
- juoksija
- juoksu
- SaaS
- Salesforce
- mahla
- Asteikko
- aikataulu
- suunniteltu
- tiede
- Haku
- salaisuus
- Osa
- turvallisesti
- turvallisuus
- Turvallisuusuhkia
- nähdä
- etsiä
- palvelu
- PalveluNow
- Palvelut
- setti
- asetus
- settings
- esitetty
- Näytä
- merkittävä
- Yksinkertainen
- yksinkertaistaa
- simulaattori
- SIX
- Tuotteemme
- ohjelmisto palveluna
- ratkaisu
- Ratkaisumme
- lähde
- Askeleet
- Levytila
- verkkokaupasta
- tallennettu
- virtaviivaistaminen
- niin
- synteettinen
- taulukko
- ottaa
- että
- -
- heidän
- sitten
- tätä
- uhat
- Kautta
- että
- tämän päivän
- ylin
- Top 10
- siirtää
- Siirtäminen
- Muutos
- muunnokset
- muuttamassa
- oppitunti
- tyyppi
- varten
- ymmärtäminen
- unique
- Esittelee
- käyttää
- käyttölaukku
- käytetty
- käyttäjä
- käyttämällä
- validointi
- arvo
- Vierailla
- kävellä
- läpikäynti
- haluta
- Varasto
- we
- verkko
- verkkopalvelut
- viikoittain
- onko
- KUKA
- tulee
- ikkuna
- with
- ilman
- toimii
- maailman-
- te
- Sinun
- youtube
- zephyrnet