AWS järve kihistu ja AWS liim Andmekataloog on lahutamatu osa andmehalduslahendusest, mis on rajatud andmejärvedele Amazoni lihtne salvestusteenus (Amazon S3) koos mitme AWS-i analüüsiteenusega, mis on nendega integreeritud. sisse 2022, rääkisime nende teenuste täiustustest. Jätkame klientide lugude kuulamist ja töötame tagasi, et lisada nende mõtted oma toodetesse. Selles postituses võtame hea meelega kokku meie 2023. aastal tehtud raske töö tulemused, et parandada ja lihtsustada klientide jaoks andmete haldamist.
Teavitasime oma uutest funktsioonidest ja võimalustest AWS re:Invent 2023 ajal, nagu meil igal aastal kombeks. Järgmised on re:Invent 2023 vestlused, mis tutvustavad Lake Formationi ja andmekataloogi võimalusi:
Jagame uued võimalused nelja kategooriasse:
- Avasta ja turvaline
- Ühendage andmete jagamisega
- Skaleerige ja optimeerige
- Audit ja jälgi
Sukeldume sügavamale ja arutame 2023. aastal kasutusele võetud uusi võimalusi.
Avasta ja turvaline
Kasutades Lake Formationit ja andmekataloogi põhiliste ehitusplokkidena, me käivitatud Amazon DataZone 2023. aasta oktoobris. DataZone on andmehaldusteenus, mis muudab AWS-is, kohapeal ja kolmandate osapoolte allikates salvestatud andmete kataloogimise, avastamise, jagamise ja haldamise kiiremaks ja lihtsamaks. DataZone'i avaldamise ja tellimise töövood parandavad teie organisatsiooni erinevate rollide vahelist koostööd ja kiirendavad teie andmetest äriülevaadete hankimiseks kuluvat aega. Tehisintellektiga abistajate abil saate andmekataloogi tehnilisi metaandmeid DataZone'i ärimetaandmeteks täiustada, muutes need hõlpsamini leitavaks. DataZone haldab automaatselt teie jagatud andmete õigusi DataZone'i projektides. DataZone'i kohta lisateabe saamiseks vaadake Kasutusjuhend. Bienvenue dans DataZone!
AWS liimi roomikud klassifitseerida andmeid, et määrata algandmete vorming, skeem ja seotud atribuudid, rühmitada andmed tabelitesse või partitsioonidesse ja kirjutada metaandmed andmekataloogi. 2023. aastal andsime AWS Glue roomikutele välja mitu värskendust. Lisasime võimaluse tuua oma JDBC draiverite kohandatud versioonid roomikutes andmeallikatest andmeskeemide eraldamiseks ja andmekataloogi täitmiseks. Sektsioonide otsimise optimeerimiseks ja päringu jõudluse parandamiseks lisasime roomajatele mõeldud funktsiooni lisada automaatselt partitsiooniindeksid äsja avastatud tabelite jaoks. Meil ka integreeritud roomikud koos Lake Formationiga, mis toetab tsentraliseeritud lubasid S3 andmejärvede kontosiseseks ja kontoüleseks roomamiseks. Need on mõned väga ihaldatud täiustused, mis lihtsustavad teie metaandmete avastamist roomajate abil. Roomajad, tervitust!
Samuti oleme näinud tohutut tõusu avatud tabelivormingute (OTF-ide) kasutuses, nagu Linux Foundation Delta Lake, Apache Jäämägija Apache Hudi. Nende populaarsete OTF-ide toetamiseks lisasime toe nende kolme tabelivormingu natiivseks roomamiseks andmekataloogi. Lisaks tegime koostööd teiste AWS-i analüüsiteenustega, nagu Amazon EMR, et lubada Lake Formationi peeneteralised load kõik kolm avatud tabelivormingut. Soovitame teil uurida milliseid Lake Formationi funktsioone OTF-tabelite puhul toetatakse. Bien intégré!
Kuna andmeallikate ja -tüüpide arv aja jooksul suureneb, on teie andmejärves varem või hiljem kindlasti pesastatud andmetüübid. Et viia andmehaldus nendele andmekogumitele neid tasandamata, lisas Lake Formation toe peeneteralistele juurdepääsukontrollidele pesastatud andmetüübid ja veerud. Lisasime ka Lake Formationi peeneteralise juurdepääsu juhtelementide toe töötamise ajal Apache Hive'i töökohad Amazon EMR-is EC2-s ja Amazon EMR stuudio. Koos Amazon EMR serverita, peeneteraline juurdepääsukontroll Lake Formationiga on nüüd olemas saadaval eelvaates. Ühendage punktid!
AWSis teeme oma klientidega väga tihedat koostööd, et mõista nende kogemusi. Saime aru, et Lake Formationi pardaleminek alates AWS-i identiteedi- ja juurdepääsuhaldus (IAM) põhinevaid õigusi Amazon S3 ja AWS-i liimiandmete kataloogi jaoks saab sujuvamaks muuta. Mõistsime, et teie kasutusjuhtumid vajavad andmete haldamisel suuremat paindlikkust. Koos hübriidjuurdepääsu režiim Lake Formationis tutvustasime mõne kasutaja ja andmebaasi jaoks Lake Formationi õiguste valikulist lisamist ilma teisi kasutajaid ja töökoormust katkestamata. Saate määratleda hübriidrežiimis kataloogitabeli ja anda juurdepääsu uutele kasutajatele, nagu andmeanalüütikud ja andmeteadlased, kes kasutavad Lake Formationit, samal ajal kui teie tootmise ekstraktimise, teisendamise ja laadimise (ETL) torujuhtmed jätkavad oma olemasolevate IAM-põhiste õiguste kasutamist. Topeltvõit!
Räägime identiteedihaldusest. Võite kasutada IAM-i põhimõtteid, Amazon Quicksight kasutajad ja rühmad ning välised kontod ja IAM-i käsundiandjad välistel kontodel, et anda juurdepääs andmekataloogi ressurssidele Lake Formationis. Aga teie ettevõtte identiteet? Kas teil on vaja luua ja säilitada mitu IAM-i rolli ning kaardistada need erinevate ettevõtte identiteetidega? Näete tabelile juurdepääsu saanud IAM-i rolli, kuid kuidas saate teada, milline kasutaja sellele juurde pääses? Nendele küsimustele vastamiseks Lake Formation on integreeritud AWS IAM-i identiteedikeskusega ja lisas usaldusväärse identiteedi levitamise funktsiooni. Selle abil saate anda oma organisatsiooni olemasoleva identiteedipakkuja identiteetidele täpseid juurdepääsuõigusi. muud AWS-i analüüsiteenused toetavad ka levitatavat kasutajaidentiteeti. Teie audiitorid näevad nüüd seda kasutajat john@anycompany.comNäiteks pääses Lake Formationi õigustega hallatavale tabelile, kasutades Amazonase Athena, Amazon EMR ja Amazonase punase nihke spekter. Integratsioon on lihtne!
Nüüd ei pea te muretsema andmete teisaldamise või andmekataloogi teise AWS-i piirkonda kopeerimise pärast, et kasutada AWS-i teenuseid andmete haldamiseks. Oleme laienenud ja teinud Lake Formation on saadaval kõigis piirkondades aastal 2023. Ja voila!
Ühendage andmete jagamisega
Lake Formation pakub lihtsat viisi andmekataloogi objektide (nt andmebaasid ja tabelid) jagamiseks sisemiste ja väliste kasutajatega. See mehhanism annab organisatsioonidele kiire ja turvalise juurdepääsu andmetele ning kiirendab nende äriotsuste langetamist. Vaatame üle 2023. aastal selle teema raames tehtud uued funktsioonid ja täiustused.
AWS-i liimiandmete kataloog on nii Lake Formationi kui ka DataZone'i andmehalduse keskne ja põhikomponent. 2023. aastal laiendasime andmekataloogi liitmise kaudu integreerida väliste Apache Hive metapoodidega ja Redshift andmejagamised. Tegime ka kättesaadavaks pistiku kood, mida saate kohandada, et ühendada andmekataloog täiendavate Apache Hive'iga ühilduvate metapoodidega. Need integratsioonid sillutavad teed rohkemate metaandmete saamiseks andmekataloogi ning võimaldavad täpset juurdepääsu juhtimist ja nende ressursside hõlpsat jagamist AWS-i kontode vahel Lake Formationi lubadega. Lisasime ka toe juurdepääsuks ühe piirkonna andmekataloogi tabelile teistest piirkondadest piirkonnaülesed ressursilingid. See täiustus lihtsustab paljusid kasutusjuhtumeid, et vältida metaandmete dubleerimist.
Koos AWS CloudTrail Lake'i föderatsioon funktsiooni abil saate CloudTrail Lake'i andmeid avastada, analüüsida, ühendada ja andmekataloogis teiste andmeallikatega jagada. CloudTrail Lake'i jaoks on Athena kaudu saadaval täpsed juurdepääsu juhtelemendid ning päringu- ja visualiseerimisvõimalused.
Laiendasime veelgi andmekataloogi võimalusi, et toetada ühtset vaated üle teie andmejärve. Saate luua vaateid, kasutades erinevaid SQL dialekte ja päringuid Athena, Redshift Spectrum ja Amazon EMR kaudu. See võimaldab teil säilitada õigusi vaate tasemel ja mitte jagada üksikuid tabeleid. Andmekataloogi vaadete funktsioon on saadaval eelvaates, kuulutati välja aadressil re:Invent 2023.
Skaleerige ja optimeerige
Kuna SQL-päringud muutuvad aja jooksul muutuvate andmete tõttu keerukamaks või neil on mitu liitumist, võib kulupõhine optimeerija (CBO) tabelites olevate andmete statistika põhjal päringuplaani optimeerimist juhtida ja kiirendada jõudlust. 2023. aastal lisasime toe Andmekataloogi tabelite veerutaseme statistika. Kliendid näevad juba Athena ja Redshift Spectrumi päringu jõudluse täiustusi, kui tabeli veergude statistika on sisse lülitatud. Suivez les chiffres!
Sildipõhine juurdepääsukontroll eemaldab vajaduse värskendada oma eeskirju iga kord, kui andmejärve lisatakse uus ressurss. Selle asemel loovad andmejärve administraatorid Lake Formation Tags (LF-sildid), et sildistada andmekataloogi objekte ja anda kasutajatele ja rühmadele nende LF-märgendite alusel juurdepääs. 2023. aastal lisasime toe LF-Tagi delegatsioon, kus Data Lake'i administraatorid saavad anda andmehalduritele ja teistele kasutajatele õigusi LF-Tags'ide haldamiseks, ilma et oleks vaja administraatoriõigusi. LF-Tagi demokratiseerimine!
Apache Icebergi vorming kasutab tabeli moodustavate andmefailide jälgimiseks metaandmeid. Tabelite muudatuste (nt lisad või värskendused) tulemuseks on uute andmefailide loomine. Kui tabeli andmefailide arv kasvab, võivad seda tabelit kasutavad päringud muutuda vähem tõhusaks. Icebergi tabelis päringu jõudluse parandamiseks peate vähendama andmefailide arvu, tihendades väiksemad muudatuste hõivamise failid suuremateks failideks. Kasutajad loovad ja käitavad tavaliselt skripte nende Icebergi tabelifailide optimeerimiseks oma serverites või AWS Glue ETL-i kaudu. Selle Icebergi laudade keeruka hoolduse leevendamiseks pöördusid kliendid meie poole parema lahenduse leidmiseks. Tutvustasime funktsiooni jaoks Apache Icebergi laudade automaatne tihendamine andmekataloogis. Pärast automaatse tihendamise sisselülitamist haldab andmekataloog automaatselt tabeli metaandmeid ja annab teile Icebergi tabelite jaoks alati optimeeritud Amazon S3 paigutuse. Lisateabe saamiseks vaadake Jäämäe laudade optimeerimine. Automaatne!
Audit ja jälgi
Andmete haldamise oluline komponent on teadmine, kellel on juurdepääs millistele andmetele. Audiitorid peavad kinnitama, et Lake Formationis ja andmekataloogis on määratud õiged metaandmed ja andmete load. Data Lake'i administraatoritel on täielik juurdepääs lubadele ja metaandmetele ning nad saavad anda juurdepääsu andmetele endale. Selleks et anda audiitoritele võimalus otsida ja vaadata metaandmete õigusi ilma lubade muutmiseks juurdepääsu andmata, tutvustasime kirjutuskaitstud administraatori roll Lake Formationis. See roll võimaldab teil auditeerida kataloogi metaandmeid ja Lake Formationi õigusi ja LF-silte, piirates samal ajal nendes muudatuste tegemist.
Järeldus
Meil oli suurepärane 2023. aasta, töötades välja tootetäiustusi, mis aitavad teil Lake Formationi ja Data Catalogi abil andmete haldamist lihtsustada ja täiustada. Kutsume teid proovima neid uusi funktsioone. Järgmine on meie käivituspostituste loend.
- Andmekataloogi ja roomaja funktsioonid:
- Lake Formation omadused:
Jätkame 2024. aastal oma klientide nimel uuenduste tegemist. Jagage oma mõtteid, kasutusjuhtumeid ja tagasisidet meie tootetäiustuste kohta kommentaaride jaotises või oma AWS-i kontomeeskondade kaudu. Soovime teile õnnelikku ja edukat 2024. aastat. Head uut aastat!
Autoritest
Aarthi Srinivasan on AWS Lake Formationi vanem suurandmete arhitekt. Talle meeldib luua andmejärve lahendusi AWS-i klientidele ja partneritele. Kui ta klaviatuuri ei kasuta, uurib ta uusimaid teaduse ja tehnoloogia suundumusi ning veedab aega oma perega.
Leon Stigter on AWS Lake Formationi vanemtehniline tootejuht. Leon keskendub sellele, et aidata arendajatel kiiremini luua andmejärvesid, kasutades sujuvat ühenduvust analüütiliste tööriistadega, et muuta andmed mängu muutvateks arusaamadeks. Leon on huvitatud andme- ja serverita tehnoloogiatest ning naudib erinevate linnade avastamist oma missioonil, et maitsta juustukooke kõikjal, kuhu ta läheb.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/big-data/aws-lake-formation-2023-year-in-review/
- :on
- :on
- :mitte
- : kus
- $ UP
- 100
- 125
- 2023
- 2024
- a
- võime
- MEIST
- juurdepääs
- Juurdepääs andmetele
- pääses
- konto
- Kontod
- üle
- lisama
- lisatud
- lisamine
- Täiendavad lisad
- administraatorid
- pärast
- Tehisintellekti toega
- Materjal: BPA ja flataatide vaba plastik
- leevendada
- võimaldama
- võimaldab
- juba
- Ka
- hämmastav
- Amazon
- Amazon EMR
- Amazon Web Services
- an
- Analüütikud
- Analüütiline
- analytics
- analüüsima
- ja
- teatas
- Teine
- vastus
- mistahes
- Apache
- OLEME
- AS
- assistendid
- seotud
- At
- audit
- audiitorid
- Automaatne
- automaatselt
- saadaval
- vältima
- AWS
- AWS liim
- AWS järve kihistu
- AWS re: leiutada
- põhineb
- BE
- muutuma
- nimel
- on
- Parem
- vahel
- Suur
- Big andmed
- suurem
- Plokid
- mõlemad
- seotud
- tooma
- ehitama
- Ehitus
- ehitatud
- äri
- kuid
- by
- tuli
- CAN
- võimeid
- lüüa
- juhtudel
- kataloog
- kategooriad
- kesk-
- tsentraliseeritud
- muutma
- Vaidluste lahendamine
- kontrollima
- Linnad
- Klassifitseerige
- lähedalt
- koostöö
- Veerg
- COM
- kommentaarid
- keeruline
- komponent
- Võta meiega ühendust
- Side
- jätkama
- kontrollida
- kontrolli
- kopeerimine
- Korporatiivne
- võiks
- roomik
- looma
- loodud
- kriitiline
- tava
- klient
- Kliendid
- kohandada
- andmed
- andmejärv
- andmehaldus
- andmebaasid
- andmekogumid
- Otsuse tegemine
- sügavam
- määratlema
- Delta
- kõrvalekalle
- Määrama
- Arendajad
- arenev
- erinev
- avastama
- avastasin
- avastus
- arutama
- sukelduma
- do
- tehtud
- Ära
- ajam
- draiverid
- ajal
- kergesti
- tõhus
- sundimatult
- annab volitusi
- võimaldama
- julgustama
- suurendama
- Lisaseade
- lisaseadmed
- Eeter (ETH)
- Iga
- kõikjal
- näide
- olemasolevate
- laiendatud
- kogemus
- uurima
- uurib
- Avastades
- pikendatud
- väline
- väljavõte
- pere
- kiiremini
- tunnusjoon
- FUNKTSIOONID
- Föderatsioon
- tagasiside
- Faile
- leidma
- Paindlikkus
- Keskenduma
- Järel
- eest
- vorm
- formaat
- moodustamine
- Sihtasutus
- Sihtasutus
- neli
- Alates
- täis
- edasi
- Pealegi
- saama
- Andma
- annab
- Goes
- valitsevad
- valitsemistava
- anda
- andmine
- Grupp
- Grupi omad
- Kasvab
- olnud
- õnnelik
- Raske
- raske töö
- Olema
- he
- aitama
- aidates
- siin
- tema
- Mesilaspere
- Kuidas
- HTML
- HTTPS
- hübriid
- IAM
- identiteedid
- Identity
- identiteedi haldamine
- parandama
- parandusi
- in
- lisada
- Suurendama
- eraldi
- uuendama
- Lisab
- teadmisi
- selle asemel
- lahutamatu
- integreeritud
- Integreerimine
- integratsioon
- huvitatud
- sisemine
- sisse
- sisse
- kutsuma
- IT
- ise
- Tööturg
- liituma
- Liita
- hoidma
- järv
- järved
- pärast
- hiljemalt
- algatama
- Layout
- viima
- Õppida
- vähem
- Tase
- nagu
- meeldib
- Linux
- Linuxi sihtasutus
- nimekiri
- koormus
- tehtud
- säilitada
- hooldus
- tegema
- TEEB
- Tegemine
- juhtima
- juhitud
- juhtimine
- juht
- haldab
- palju
- kaart
- mehhanism
- Metaandmed
- missioon
- viis
- rohkem
- liikuv
- palju
- mitmekordne
- Vajadus
- Uus
- Uued funktsioonid
- uusi kasutajaid
- äsja
- nüüd
- number
- esemeid
- oktoober
- of
- on
- Pardal
- ONE
- avatud
- optimeerimine
- optimeerima
- valik
- or
- organisatsioon
- organisatsioonid
- Muu
- meie
- välja
- üle
- enda
- osa
- partnerid
- sillutama
- täitma
- jõudlus
- Õigused
- kava
- Platon
- Platoni andmete intelligentsus
- PlatoData
- palun
- Poliitika
- populaarne
- post
- Postitusi
- direktorid
- privileegid
- Toode
- tootejuht
- Produktsioon
- Toodet
- projektid
- paljundamine
- omadused
- jõukas
- anda
- tarnija
- annab
- Kirjastamine
- päringud
- Küsimused
- Kiire
- Töötlemata
- algandmed
- RE
- realiseeritud
- vähendama
- viitama
- viide
- piirkond
- piirkondades
- vabastatud
- eemaldab
- ressurss
- Vahendid
- piirav
- kaasa
- Tulemused
- otsing
- läbi
- õige
- Tõusma
- Roll
- rollid
- jooks
- jooksmine
- teadus
- Teadus ja tehnoloogia
- teadlased
- skripte
- sujuv
- Otsing
- Osa
- kindlustama
- vaata
- nägemine
- nähtud
- selektiivne
- vanem
- Serverita
- serverid
- teenus
- Teenused
- komplekt
- mitu
- Jaga
- jagatud
- jagamine
- ta
- esitlus
- lihtne
- lihtsustab
- lihtsustama
- väiksem
- lahendus
- Lahendused
- mõned
- Allikad
- spekter
- kiirus
- kiirused
- SQL
- statistika
- ladustamine
- ladustatud
- Lood
- lihtne
- Sujuvamaks
- tellimine
- selline
- Kokku võtta
- toetama
- Toetatud
- Toetamine
- tabel
- TAG
- rääkima
- Läbirääkimised
- maitse
- meeskonnad
- Tehniline
- Tehnoloogiad
- Tehnoloogia
- et
- .
- oma
- Neile
- teema
- Need
- kolmanda osapoole
- see
- kolm
- Läbi
- aeg
- et
- töövahendid
- jälgida
- Muutma
- tohutu
- Trends
- Usaldatud
- püüdma
- Pöörake
- Pöördunud
- liigid
- tüüpiliselt
- all
- mõistma
- Värskendused
- Uudised
- us
- Kasutus
- kasutama
- Kasutaja
- Kasutajad
- kasutusalad
- kasutamine
- KINNITAGE
- eri
- väga
- vaade
- vaated
- Tee..
- we
- web
- veebiteenused
- M
- millal
- mis
- kuigi
- WHO
- will
- koos
- ilma
- Töö
- töötas
- Töövoogud
- muretsema
- kirjutama
- aasta
- sa
- Sinu
- sephyrnet