În această postare, explorăm cum să folosim AWS Adeziv conector nativ pentru Teradata Vantage pentru a eficientiza integrările de date și pentru a debloca întregul potențial al datelor dvs.
Afacerile se bazează adesea pe Serviciul Amazon de stocare simplă (Amazon S3) pentru stocarea unor cantități mari de date din diverse surse de date într-un mod rentabil și sigur. Pentru cei care folosesc Teradata pentru analiza datelor, integrările prin conectorul nativ AWS Glue pentru Teradata Vantage deblochează noi posibilități. AWS Glue îmbunătățește flexibilitatea și eficiența gestionării datelor, permițând companiilor să-și integreze fără probleme datele, indiferent de locația lor, cu capacitățile analitice ale Teradata. Acest nou conector elimină obstacolele tehnice legate de configurare, securitate și management, permițând companiilor să-și exporte sau să importe fără efort seturile de date în Teradata Vantage. Drept urmare, companiile se pot concentra mai mult pe extragerea de informații semnificative din datele lor, decât să se ocupe de complexitățile integrării datelor.
AWS Glue este un serviciu de integrare a datelor fără server, care permite utilizatorilor de analiză să descopere, să pregătească, să mute și să integreze date din mai multe surse pentru analiză, învățare automată (ML) și dezvoltare de aplicații. Cu AWS Glue, vă puteți descoperi și vă conecta la peste 100 de surse de date diverse și vă puteți gestiona datele într-un catalog de date centralizat. Puteți crea, rula și monitoriza vizual conducte de extragere, transformare și încărcare (ETL) pentru a încărca date în lacurile dvs. de date.
Corporația Teradata este o platformă de date multi-cloud conectată lider pentru analiza întreprinderilor, axată pe a ajuta companiile să-și folosească toate datele într-o întreprindere, la scară. Ca un Competență AWS Date și Analytics partener, Teradata oferă o platformă completă de analiză și date în cloud, inclusiv pentru Machine Learning.
Vă prezentăm conectorul nativ AWS Glue pentru Teradata Vantage
AWS Glue oferă suport pentru Teradata, accesibil atât prin intermediul scripturilor AWS Glue Studio, cât și prin AWS Glue ETL. Cu AWS Glue Studio, beneficiați de o interfață vizuală care simplifică procesul de conectare la Teradata și de creare, rulare și monitorizare a joburilor AWS Glue ETL. Pentru dezvoltatorii de date, acest suport se extinde la scripturile AWS Glue ETL, unde puteți utiliza Python sau Scala pentru a crea și gestiona sarcini mai specifice de integrare și transformare a datelor.
Conectorul nativ AWS Glue pentru Teradata Vantage vă permite să citiți și să scrieți eficient date din Teradata fără a fi nevoie să instalați sau să gestionați biblioteci de conectori. Puteți adăuga Teradata atât ca sursă, cât și ca țintă în interfața vizuală fără cod a AWS Glue Studio sau să utilizați conectorul direct într-o lucrare de script AWS Glue ETL.
Prezentare generală a soluțiilor
În acest exemplu, utilizați AWS Glue Studio pentru a îmbogăți și a încărca datele stocate pe Amazon S3 în Teradata Vantage. Începeți prin a vă alătura fișierelor Eveniment și Locație din TICKIT set de date. Apoi, filtrați rezultatele într-o singură regiune geografică. În cele din urmă, încărcați datele rafinate în Teradata Vantage.
Setul de date TICKIT urmărește activitatea de vânzări pentru site-ul fictiv TICKIT, unde utilizatorii cumpără și vând bilete online pentru evenimente sportive, spectacole și concerte. În acest set de date, analiștii pot identifica mișcarea biletelor în timp, ratele de succes pentru vânzători și cele mai bine vândute evenimente, locații și sezoane.
Pentru acest exemplu, utilizați AWS Glue Studio pentru a dezvolta o conductă ETL vizuală. Această conductă va citi datele din Amazon S3, va efectua transformări și apoi va încărca datele transformate în Teradata. Următoarea diagramă ilustrează această arhitectură.
Până la sfârșitul acestei postări, jobul dvs. vizual ETL va semăna cu următoarea captură de ecran.
Cerințe preliminare
Pentru acest exemplu, ar trebui să aveți acces la un punct final al bazei de date Teradata existent cu accesibilitate la rețea de la AWS și permisiuni pentru a crea tabele și a încărca și a interoga date.
AWS Glue are nevoie de acces la rețea la Teradata pentru a citi sau scrie date. Modul în care este configurat depinde de locul în care este instalat Teradata și de configurația specifică a rețelei. Pentru Teradata implementat pe AWS, poate fi necesar să configurați Peering VPC or AWS PrivateLink, grupuri de securitate și liste de control al accesului la rețea (NACL) pentru a permite AWS Glue să comunice cu Teradata TCP deschis. Dacă Teradata se află în afara AWS, servicii de rețea, cum ar fi VPN AWS Site-to-Site or AWS Direct Connect poate fi cerut. Accesul public la internet nu este recomandat din cauza riscurilor de securitate. Dacă alegeți accesul public, este mai sigur să rulați jobul AWS Glue într-un VPC în spatele unui Gateway NAT. Această abordare vă permite să permiteți listarea unei singure adrese IP pentru traficul de intrare pe firewall-ul rețelei. Pentru mai multe informații, consultați Securitatea infrastructurii în AWS Glue.
Configurați Amazon S3
Fiecare obiect din Amazon S3 este stocat într-o găleată. Înainte de a putea stoca date în Amazon S3, trebuie creați o cupă S3 pentru a stoca rezultatele. Parcurgeți următorii pași:
- În consola Amazon S3, alegeți Cupă în panoul de navigare.
- Alege Creați găleată.
- Pentru Nume si Prenume, introduceți un nume unic la nivel global pentru compartimentul dvs.; de exemplu, tickit8530923.
- Alege Creați găleată.
- Descărcați TICKIT setul de date și dezarhivați-l.
- Creați folderul tickit în găleată S3 și încărcați fișierele allevents_pipe.txt și venue_pipe.txt.
Configurați conexiunile Teradata
Pentru a vă conecta la Teradata din AWS Glue, consultați Configurarea conexiunii Teradata.
Trebuie să creați și să stocați acreditările Teradata într-un Manager de secrete AWS secret și apoi asociați acel secret cu o conexiune Teradata AWS Glue. Vom discuta acești doi pași mai detaliat mai târziu în această postare.
Creați un rol IAM pentru jobul AWS Glue ETL
Când creați jobul AWS Glue ETL, specificați un Gestionarea identității și accesului AWS (IAM) rol de utilizat de job. Rolul trebuie să acorde acces la toate resursele utilizate de job, inclusiv Amazon S3 (pentru orice sursă, țintă, scripturi, fișiere driver și directoare temporare) și Secrets Manager. Pentru instrucțiuni, vezi Configurați un rol IAM pentru jobul dvs. ETL.
Creați un tabel în Teradata
Folosind instrumentul de bază de date preferat, conectați-vă la Teradata. Rulați următorul cod pentru a crea tabelul în Teradata unde vă veți încărca datele:
Stocați datele de conectare Teradata
An Conexiune AWS Glue este un obiect Data Catalog care stochează acreditările de conectare, șirurile URI și multe altele. Conectorul Teradata necesită Secrets Manager pentru stocarea numelui de utilizator și a parolei Teradata pe care le utilizați pentru a vă conecta la Teradata.
Pentru a stoca numele de utilizator și parola Teradata în Secrets Manager, parcurgeți următorii pași:
- Pe consola Secrets Manager, alegeți secretele în panoul de navigare.
- Alege Stocați un nou secret.
- Selectați Alt tip de secret.
- Introduceți cheia/valoarea USER și
teradata_user
, Apoi alegeți Adăugați un rând. - Introduceți PAROLA cheie/valoare și
teradata_user_password
, Apoi alegeți Pagina Următoare →.
- Pentru Numele secret, introduceți un nume descriptiv, apoi alegeți Pagina Următoare →.
- Alege Pagina Următoare → pentru a trece la pasul de revizuire, apoi alegeți Magazin.
Creați conexiunea Teradata în AWS Glue
Acum sunteți gata să creați o conexiune AWS Glue la Teradata. Parcurgeți următorii pași:
- Pe consola AWS Glue, alegeți Conexiuni în Catalog de date în panoul de navigare.
- Alege Creați conexiune.
- Pentru Nume si Prenume, introduceți un nume (de exemplu,
teradata_connection
). - Pentru Tipul conexiunii¸ alege Teradata.
- Pentru Adresa URL Teradata, introduce
jdbc:teradata://url_of_teradata/database=name_of_your_database
. - Pentru AWS Secret, alegeți secretul cu acreditările Teradata pe care le-ați creat mai devreme.
Creați o lucrare ETL vizuală AWS Glue pentru a transforma și încărca date în Teradata
Parcurgeți următorii pași pentru a vă crea jobul AWS Glue ETL:
- Pe consola AWS Glue, sub Locuri de muncă ETL în panoul de navigare, alegeți ETL vizual.
- Alege ETL vizual.
- Alegeți pictograma creion pentru a introduce un nume pentru jobul dvs.
Adaugam venue_pipe.txt
ca primul nostru set de date.
- Alege Adăugați noduri Și alegeți Amazon S3 pe Surse tab.
- Introduceți următoarele proprietăți ale sursei de date:
- Pentru Nume si Prenume, introduceți Locație.
- Pentru tip sursă S3, Selectați Locația S3.
- Pentru URL S3, introduceți calea S3 către
venue_pipe.txt
. - Pentru Format date, alege CSV.
- Pentru delimitator, alege Pipe.
- Deselectați Prima linie a fișierului sursă conține antete de coloană.
Acum adaugam allevents_pipe.txt
ca al doilea set de date.
- Alege Adăugați noduri Și alegeți Amazon S3 pe Surse tab.
- Introduceți următoarele proprietăți ale sursei de date:
- Pentru Nume si Prenume, introduceți Eveniment.
- Pentru tip sursă S3, Selectați Locația S3.
- Pentru URL S3, introduceți calea S3 către
allevents_pipe.txt
. - Pentru Format date, alege CSV.
- Pentru delimitator, alege Pipe.
- Deselectați Prima linie a fișierului sursă conține antete de coloană.
Apoi, redenumim coloanele setului de date Venue.
- Alege Adăugați noduri Și alegeți Schimbați schema pe transformări tab.
- Introduceți următoarele proprietăți de transformare:
- Pentru Nume si Prenume, introduceți datele Redenumiți locația.
- Pentru Părinții nodului, alegeți Locație.
- În Schimbați schema secțiunea, mapați cheile sursă la cheile țintă:
- col0:
venueid
- col1:
venuename
- col2:
venuecity
- col3:
venuestate
- col4:
venueseats
- col0:
Acum filtrăm setul de date Venue la o anumită regiune geografică.
- Alege Adăugați noduri Și alegeți Filtru pe transformări tab.
- Introduceți următoarele proprietăți de transformare:
- Pentru Nume si Prenume, introduceți Filtru de locație.
- Pentru Părinții nodului, alegeți Locație.
- Pentru Starea filtrului, alege
venuestate
pentru Cheie, alege meciuri pentru Ziua Operației, și introduceți DC pentru Valoare.
Acum redenumim coloanele din setul de date Eveniment.
- Alege Adăugați noduri Și alegeți Schimbați schema pe transformări tab.
- Introduceți următoarele proprietăți de transformare:
- Pentru Nume si Prenume, introduceți Redenumiți datele evenimentului.
- Pentru Părinții nodului, alegeți Eveniment.
- În Schimbați schema secțiunea, mapați cheile sursă la cheile țintă:
- col0:
eventid
- col1:
e_venueid
- col2:
catid
- col3:
dateid
- col4:
eventname
- col5:
starttime
- col0:
Apoi, ne alăturăm setului de date Venue and Event.
- Alege Adăugați noduri Și alegeți Alatura-te pe transformări tab.
- Introduceți următoarele proprietăți de transformare:
- Pentru Nume si Prenume, introduceți Alăturați-vă.
- Pentru Părinții nodului, alegeți Filtru de locație și Redenumiți datele evenimentului.
- Pentru Tipul de alăturare¸ alege Alăturare interioară.
- Pentru Condiții de alăturare, alege
venueid
pentru Filtru de locație șie_venueid
pentru Redenumiți datele evenimentului.
Acum aruncăm coloana duplicată.
- Alege Adăugați noduri Și alegeți Schimbați schema pe transformări tab.
- Introduceți următoarele proprietăți de transformare:
- Pentru Nume si Prenume, introduceți coloana Drop.
- Pentru Părinții nodului, alegeți Alăturați-vă.
- În Schimbați schema secțiune, selectați Picătură pentru
e_venueid
.
În continuare, încărcăm datele în tabelul Teradata.
- Alege Adăugați noduri Și alegeți Teradata pe Obiective tab.
- Introduceți următoarele proprietăți de colector de date:
- Pentru Nume si Prenume, introduceți Teradata.
- Pentru Părinții nodului, alegeți Drop column.
- Pentru Conexiune Teradata, alege
teradata_connection
. - Pentru Numele tabelului, introduce
schema.tablename
din tabelul pe care l-ați creat în Teradata.
În cele din urmă, rulăm jobul și încărcăm datele în Teradata.
- Alege Economisiți, Apoi alegeți Alerga.
Se va afișa un banner că lucrarea a început.
- Alege Rulează, care afișează starea lucrării.
Starea de rulare se va schimba în Reușit când lucrarea este finalizată.
- Conectați-vă la Teradata și apoi interogați tabelul în care au fost încărcate datele.
Datele filtrate și unite din cele două seturi de date vor fi în tabel.
A curăța
Pentru a evita costurile suplimentare cauzate de resursele create ca parte a acestei postări, asigurați-vă că ștergeți articolele pe care le-ați creat în contul AWS pentru această postare:
- Cheia Secrets Manager creată pentru acreditările Teradata
- Conectorul nativ AWS Glue pentru Teradata Vantage
- Datele încărcate în bucket-ul S3
- Lucrarea AWS Glue Visual ETL
Concluzie
În această postare, ați creat o conexiune la Teradata folosind AWS Glue și apoi ați creat o lucrare AWS Glue pentru a transforma și încărca date în Teradata. Conectorul nativ AWS Glue pentru Teradata Vantage împuternicește călătoria dvs. de analiză a datelor, oferind o cale perfectă și eficientă pentru integrarea datelor dvs. cu Teradata. Această nouă capacitate din AWS Glue nu numai că simplifică fluxurile de lucru pentru integrarea datelor, dar deschide și noi căi pentru inovații avansate de analiză, business intelligence și învățare automată.
Cu AWS Teradata Connector, aveți la dispoziție cel mai bun instrument pentru simplificarea sarcinilor de integrare a datelor. Indiferent dacă doriți să încărcați datele Amazon S3 în Teradata pentru analize, raportare sau informații despre afaceri, acest nou conector simplifică procesul, făcându-l mai accesibil și mai rentabil.
Pentru a începe cu AWS Glue, consultați Noțiuni introductive cu AWS Glue.
Despre Autori
Kamen Sharlandjiev este un arhitect senior în Big Data și ETL Solutions și expert în AWS Glue. El are misiunea de a ușura viața clienților care se confruntă cu provocări complexe de integrare a datelor. Arma lui secretă? Servicii AWS complet gestionate, cu cod redus, care pot face treaba cu efort minim și fără codare. Urmăriți Kamen pe LinkedIn pentru a fi la curent cu cele mai recente știri AWS Glue!
Sean Bjurstrom este manager tehnic de cont în conturi ISV la Amazon Web Services, unde este specializat în tehnologii de analiză și se bazează pe experiența sa în consultanță pentru a sprijini clienții în călătoriile lor de analiză și cloud. Sean este pasionat de a ajuta companiile să valorifice puterea datelor pentru a stimula inovația și creșterea. În afara serviciului, îi place să alerge și a participat la mai multe maratoane.
Vinod Jayendra este lider de asistență pentru întreprinderi în conturile ISV la Amazon Web Services, unde îi ajută pe clienți să-și rezolve provocările arhitecturale, operaționale și de optimizare a costurilor. Cu un accent deosebit pe tehnologiile fără server, el se bazează pe experiența sa vastă în dezvoltarea de aplicații pentru a ajuta clienții să construiască soluții de top. Dincolo de muncă, el găsește bucurie în timpul de calitate în familie, lansându-se în aventuri cu bicicleta și antrenând echipe sportive de tineret.
Doug Mbaya este un arhitect Senior Partner Solution, cu accent pe analiză și învățare automată. Doug lucrează îndeaproape cu partenerii AWS și îi ajută să-și integreze soluțiile cu soluțiile de analiză AWS și de învățare automată în cloud.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
- PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
- PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
- PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/big-data/prepare-and-load-amazon-s3-data-into-teradata-using-aws-glue-through-its-native-connector-for-teradata-vantage/
- :are
- :este
- :nu
- :Unde
- $UP
- 10
- 100
- 12
- 14
- 16
- 19
- 20
- 22
- 25
- 361
- 400
- 8
- a
- Despre Noi
- acces
- accesibil
- Cont
- Conturi
- peste
- activitate
- adăuga
- Suplimentar
- adresa
- avansat
- aventuri
- TOATE
- permite
- Permiterea
- permite
- de asemenea
- Amazon
- Amazon Web Services
- Sume
- an
- analiză
- analiști
- Analitic
- Google Analytics
- și
- Orice
- aplicație
- Dezvoltare de Aplicații
- abordare
- arhitectural
- arhitectură
- SUNT
- AS
- Avocat Colaborator
- At
- autor
- căi
- evita
- AWS
- AWS Adeziv
- fundal
- steag
- BE
- înainte
- în spatele
- beneficia
- CEL MAI BUN
- Dincolo de
- Mare
- Datele mari
- atât
- construi
- afaceri
- business intelligence
- întreprinderi
- dar
- cumpăra
- by
- CAN
- Poate obține
- capacități
- capacitate
- catalog
- cauzată
- centralizat
- provocări
- Schimbare
- taxe
- Alege
- îndeaproape
- Cloud
- coaching-ul
- cod
- Codificare
- Coloană
- Coloane
- comunica
- Companii
- Completă
- complex
- concerte
- Configuraţie
- configurat
- Conectați
- legat
- Conectarea
- conexiune
- Consoleze
- consultant
- conține
- Control
- cost-eficiente
- crea
- a creat
- scrisori de acreditare
- clienţii care
- de date
- analiza datelor
- Analiza datelor
- integrarea datelor
- management de date
- Platforma de date
- Baza de date
- seturi de date
- Data
- dc
- abuzive
- depinde de
- dislocate
- detaliu
- dezvolta
- Dezvoltatorii
- Dezvoltare
- direcționa
- direct
- directoare
- descoperi
- discuta
- Afişa
- afișează
- dispoziție
- diferit
- făcut
- Doug
- atrage
- conduce
- şofer
- Picătură
- două
- Mai devreme
- mai ușor
- eficiență
- eficient
- eficient
- efort
- efort
- elimină
- imputerniceste
- permite
- permițând
- capăt
- Punct final
- Îmbunătăţeşte
- îmbogăți
- Intrați
- Afacere
- Eter (ETH)
- eveniment
- evenimente
- exemplu
- existent
- expert
- explora
- exporturile
- extinde
- extensiv
- extrage
- cu care se confruntă
- familie
- fictiv
- Fișier
- Fişiere
- filtru
- În cele din urmă
- descoperiri
- firewall
- First
- Flexibilitate
- debit
- Concentra
- concentrat
- urma
- următor
- Pentru
- din
- Complet
- complet
- geografic
- obține
- La nivel global
- acordarea
- Grupului
- Creștere
- valorifica
- Avea
- he
- ajutor
- ajutor
- ajută
- lui
- Cum
- Cum Pentru a
- HTML
- http
- HTTPS
- obstacole
- i
- IAM
- ICON
- identifica
- Identitate
- if
- ilustrează
- import
- in
- Inclusiv
- Intrare
- index
- informații
- Inovaţie
- inovații
- perspective
- instala
- instrucțiuni
- integra
- integrarea
- integrare
- integrările
- Inteligență
- interfaţă
- Internet
- acces la internet
- în
- complexități
- IP
- Adresa IP
- isv
- IT
- articole
- ESTE
- Loc de munca
- Locuri de munca
- alătura
- alăturat
- aderarea
- călătorie
- călătoriile
- bucurie
- jpg
- A pastra
- Cheie
- chei
- lacuri
- mare
- mai tarziu
- Ultimele
- conduce
- conducere
- învăţare
- biblioteci
- Viaţă
- Linie
- Listă
- liste
- încărca
- locaţie
- log
- Logare
- cautati
- maşină
- masina de învățare
- face
- FACE
- Efectuarea
- administra
- gestionate
- administrare
- manager
- manieră
- Hartă
- Mai..
- semnificativ
- ar putea
- minim
- Misiune
- ML
- monitor
- Monitorizarea
- mai mult
- muta
- mişcare
- multiplu
- trebuie sa
- nume
- nativ
- Navigare
- Nevoie
- nevoilor
- reţea
- Acces la retea
- rețele
- Nou
- următor
- Nu.
- nod
- obiect
- of
- promoții
- de multe ori
- on
- ONE
- on-line
- afară
- deschide
- operațional
- or
- al nostru
- exterior
- peste
- Prezentare generală
- pâine
- parte
- a participat
- special
- partener
- parteneri
- pasionat
- Parolă
- cale
- cărare
- efectua
- permisiuni
- conducte
- platformă
- Plato
- Informații despre date Platon
- PlatoData
- posibilităţile de
- Post
- potenţial
- putere
- preferat
- Pregăti
- primar
- proces
- proprietăţi
- furnizează
- furnizarea
- public
- Piton
- calitate
- tarife
- mai degraba
- Citeste
- gata
- recomandat
- trimite
- rafinat
- Fără deosebire
- regiune
- legate de
- se bazează
- Raportarea
- necesar
- Necesită
- Resurse
- rezultat
- REZULTATE
- revizuiască
- Riscurile
- Rol
- Alerga
- funcţionare
- mai sigur
- de vânzări
- Scala
- Scară
- scenariu
- script-uri
- fără sudură
- perfect
- Sean
- anotimpuri
- Al doilea
- Secret
- secrete
- Secțiune
- sigur
- securitate
- riscuri de securitate
- vedea
- selecta
- vinde
- Vanzatorii
- senior
- serverless
- serviciu
- Servicii
- setări
- câteva
- să
- Emisiuni
- simplu
- Simplifică
- simplificarea
- singur
- soluţie
- soluţii
- REZOLVAREA
- Sursă
- Surse
- specializată
- specific
- Sportul
- Echipe sportive
- Începe
- început
- Stare
- Pas
- paşi
- depozitare
- stoca
- stocate
- magazine
- simplu
- simplifica
- raționalizează
- studio
- succes
- astfel de
- a sustine
- sigur
- tabel
- Ţintă
- obiective
- sarcini
- echipe
- Tehnic
- Tehnologii
- temporar
- test
- decât
- acea
- Sursa
- lor
- Lor
- apoi
- Acestea
- acest
- aceste
- Prin
- bilet
- bilete
- timp
- la
- instrument
- trafic
- Transforma
- Transformare
- transformări
- transformat
- Două
- tip
- în
- unic
- deschide
- URI
- utilizare
- utilizat
- Utilizator
- utilizatorii
- folosind
- diverse
- Locatia evenimentului
- locuri
- vizual
- vizual
- a fost
- we
- web
- servicii web
- website
- cand
- dacă
- care
- OMS
- voi
- cu
- în
- fără
- Apartamente
- fluxuri de lucru
- fabrică
- scrie
- tu
- Ta
- tineret
- zephyrnet
- Zip