AWS-tó formáció és a AWS ragasztó Az adatkatalógus szerves részét képezi az adattókra épülő adatkezelési megoldásnak Amazon egyszerű tárolási szolgáltatás (Amazon S3) több AWS elemző szolgáltatással integrálva. Ban ben 2022, beszéltünk azokról a fejlesztésekről, amelyeket ezeken a szolgáltatásokon tettünk. Továbbra is hallgatjuk az ügyfelek történeteit, és visszafelé dolgozunk, hogy gondolataikat beépítsük termékeinkbe. Ebben a bejegyzésben örömmel foglaljuk össze 2023-ban az adatkezelés javítása és egyszerűsítése érdekében végzett kemény munkánk eredményeit az ügyfelek számára.
Az AWS re:Invent 2023 során jelentettük be új funkcióinkat és képességeinket, ahogy az minden évben megszokott. A következők a re:Invent 2023 beszélgetések, amelyek bemutatják a Lake Formation és Data Catalog képességeit:
Az új képességeket négy kategóriába soroljuk:
- Fedezze fel és biztosítsa
- Csatlakozzon az adatmegosztáshoz
- Méretezd és optimalizáld
- Audit és monitorozás
Merüljünk el mélyebben, és beszéljük meg a 2023-ban bevezetett új képességeket.
Fedezze fel és biztosítsa
A Lake Formation és az Adatkatalógus alapvető építőelemként való felhasználásával mi indított Amazon DataZone 2023 októberében. A DataZone egy adatkezelési szolgáltatás, amely gyorsabbá és egyszerűbbé teszi az AWS-ben, a helyszínen és harmadik féltől származó forrásokban tárolt adatok katalogizálását, felfedezését, megosztását és kezelését. A DataZone közzétételi és előfizetési munkafolyamatai javítják a szervezet különböző szerepkörei közötti együttműködést, és felgyorsítják az adatokból az üzleti ismeretek levonását. Az AI-alapú asszisztensek segítségével az adatkatalógus technikai metaadatait a DataZone üzleti metaadataivá bővítheti, így könnyebben felfedezhető. A DataZone automatikusan kezeli a megosztott adatok engedélyeit a DataZone projektekben. Ha többet szeretne megtudni a DataZone-ról, tekintse meg a Használati útmutató. Bienvenue dans DataZone!
AWS ragasztó lánctalpas osztályozhatja az adatokat a nyers adatok formátumának, sémájának és kapcsolódó tulajdonságainak meghatározásához, az adatokat táblákba vagy partíciókba csoportosíthatja, és metaadatokat írhat az adatkatalógusba. 2023-ban számos frissítést adtunk ki az AWS Glue bejárókhoz. Hozzáadtuk a lehetőséget, hogy elhozza a sajátját JDBC illesztőprogramok egyéni verziói bejárókban adatsémák kinyeréséhez az adatforrásokból, és feltöltheti az adatkatalógust. A partíciók lekérésének optimalizálása és a lekérdezések teljesítményének javítása érdekében hozzáadtuk a bejáróknak szóló funkciót partícióindexek automatikus hozzáadása újonnan felfedezett táblákhoz. Mi is integrált lánctalpas a Lake Formation segítségével, amely támogatja az S3 adatforrások fiókon belüli és fiókok közötti feltérképezésének központosított engedélyeit. Ezek néhány nagyon keresett fejlesztés, amelyek leegyszerűsítik a metaadatok feltérképezését a robotok használatával. Csúszómászók, üdv!
Óriási növekedést tapasztaltunk az olyan nyílt táblázatformátumok (OTF) használatában is, mint a Linux Foundation Delta Lake, Apache jéghegyés Apache Hudi. E népszerű OTF-ek támogatása érdekében hozzáadtuk a három táblázatformátum adatkatalógusba való natív feltérképezésének támogatását. Továbbá együttműködtünk más AWS-elemző szolgáltatásokkal, mint pl Amazon EMR, hogy engedélyezze a Lake Formation finomszemcsés engedélyeit mindhárom nyitott táblázatformátum. Javasoljuk, hogy fedezze fel A Lake Formation mely szolgáltatásai támogatottak az OTF-táblázatoknál. Bien intégré!
Mivel az adatforrások és -típusok idővel növekszenek, előbb-utóbb beágyazott adattípusok lesznek az adattóban. Annak érdekében, hogy ezekhez az adatkészletekhez adatkezelést biztosítson anélkül, hogy kiegyenlítené őket, a Lake Formation támogatást nyújtott a finomszemcsés hozzáférés-vezérlésekhez beágyazott adattípusok és oszlopok. Támogatást adtunk a Lake Formation finomszemcsés hozzáférés-vezérléséhez is futás közben Apache Hive munkák az Amazon EMR-en az EC2-n és Amazon EMR Studio. A Amazon EMR szerver nélküli, finomszemcsés hozzáférés-szabályozás a Lake Formation segítségével most előnézetben elérhető. Csatlakoztassa a pontokat!
Az AWS-nél nagyon szorosan együttműködünk ügyfeleinkkel, hogy megértsük tapasztalataikat. Megértettük, hogy a Lake Formation-be való beszálláskor AWS Identity and Access Management Az Amazon S3 és az AWS Glue Data Catalog (IAM) alapú engedélyei egyszerűsíthetők. Felismertük, hogy az Ön használati esetei nagyobb rugalmasságot igényelnek az adatkezelésben. A ... val hibrid hozzáférési mód a Lake Formationben bevezettük a Lake Formation engedélyek szelektív hozzáadását egyes felhasználókhoz és adatbázisokhoz anélkül, hogy megszakítanánk a többi felhasználót és a munkaterhelést. Meghatározhat egy katalógustáblát hibrid módban, és hozzáférést biztosíthat új felhasználóknak, például adatelemzőknek és adattudósoknak a Lake Formation használatával, miközben a termelési kivonat, átalakítás és betöltés (ETL) folyamatai továbbra is a meglévő IAM-alapú engedélyeiket használják. Dupla győzelem!
Beszéljünk az identitáskezelésről. Használhat IAM-elnevezéseket, Amazon Quicksight felhasználók és csoportok, valamint külső fiókok és IAM-tagok a külső fiókokban, hogy hozzáférést biztosítsanak a Lake Formation adatkatalógus-erőforrásaihoz. Mi a helyzet a vállalati identitásoddal? Több IAM-szerepet kell létrehoznia és karbantartania, és hozzá kell rendelnie azokat különböző vállalati identitásokhoz? Látható volt az IAM-szerep, amely hozzáfért a táblához, de hogyan tudhatta meg, hogy melyik felhasználó érte el? Hogy ezekre a kérdésekre válaszoljak, A Lake Formation integrálva az AWS IAM Identity Centerrel és hozzáadta a megbízható identitásterjesztés funkciót. Ezzel pontos hozzáférési engedélyeket adhat a szervezete meglévő identitásszolgáltatójától származó identitásokhoz. Egyéb AWS analitikai szolgáltatások támogatják a terjesztendő felhasználói identitást is. Az auditorok most láthatják, hogy a felhasználó john@anycompany.compéldául elérte a Lake Formation engedélyei által kezelt táblát a használatával Amazon Athéné, Amazon EMR és Amazon Red Shift Spectrum. Az integráció egyszerű!
Most már nem kell aggódnia az adatok áthelyezése vagy az adatkatalógus másik AWS-régióba másolása miatt, hogy az AWS-szolgáltatásokat adatkezelésre használhassa. Bővítettük és elkészítettük A Lake Formation minden régióban elérhető A 2023. És voila!
Csatlakozzon az adatmegosztáshoz
A Lake Formation egyszerű módot kínál az adatkatalógus-objektumok, például adatbázisok és táblák belső és külső felhasználókkal való megosztására. Ez a mechanizmus feljogosítja a szervezeteket az adatokhoz való gyors és biztonságos hozzáféréshez, és felgyorsítja üzleti döntéshozatalukat. Tekintsük át a 2023-ban e témakörben végrehajtott új funkciókat és fejlesztéseket.
Az AWS Glue Data Catalog a Lake Formation és a DataZone adatkezelésének központi és alapvető összetevője. 2023-ban az adatkatalógust az összevonáson keresztül kiterjesztettük erre integrálható külső Apache Hive metastore-okkal és a Redshift adatmegosztások. Mi is elérhetővé tettük a csatlakozó kódja, amelyet testre szabhat az adatkatalógus további Apache Hive-kompatibilis metastore-okkal való összekapcsolásához. Ezek az integrációk megnyitják az utat, hogy több metaadat kerüljön be az adatkatalógusba, és lehetővé teszik a pontos hozzáférés-szabályozást és ezeknek az erőforrásoknak az AWS-fiókok közötti könnyű megosztását Lake Formation engedélyekkel. Támogatást adtunk egy régió adatkatalógus-táblázatának más régiókból való eléréséhez is régiók közötti erőforrás-hivatkozások. Ez a továbbfejlesztés számos használati esetet leegyszerűsít a metaadatok megkettőzésének elkerülése érdekében.
Aktivitáskövető AWS CloudTrail Lake szövetség funkcióval felfedezheti, elemezheti, összekapcsolhatja és megoszthatja a CloudTrail Lake-adatokat más adatforrásokkal az adatkatalógusban. A CloudTrail Lake esetében az Athénán keresztül elérhetők az aprólékos hozzáférés-vezérlők, valamint a lekérdezési és megjelenítési lehetőségek.
Tovább bővítettük az Adatkatalógus képességeit az egységes támogatása érdekében nézetek az adattavon keresztül. Nézeteket hozhat létre különböző SQL dialektusok és az Athena, Redshift Spectrum és Amazon EMR lekérdezések használatával. Ez lehetővé teszi az engedélyek fenntartását a nézet szintjén, és nem oszthatja meg az egyes táblákat. Az adatkatalógus nézetek szolgáltatása az előnézetben elérhető, bejelentette: re:Invent 2023.
Méretezd és optimalizáld
Mivel az SQL-lekérdezések bonyolultabbá válnak az idő múlásával járó adatváltozásokkal vagy több csatlakozással, a költségalapú optimalizáló (CBO) a táblázatokban található adatok statisztikái alapján optimalizálhatja a lekérdezési tervet, és gyorsabb teljesítményt eredményezhet. 2023-ban hozzáadtuk a támogatást oszlop szintű statisztikát az adatkatalógus tábláihoz. Az ügyfelek már látják a lekérdezések teljesítményének javulását az Athena és a Redshift Spectrum szolgáltatásban, miközben a táblázatoszlop statisztikák be vannak kapcsolva. Suivez les chiffres!
A címkealapú hozzáférés-vezérlés szükségtelenné teszi a házirendek frissítését minden alkalommal, amikor új erőforrást adnak az adattóhoz. Ehelyett a Data Lake adminisztrátorai Lake formációs címkéket (LF-címkéket) hoznak létre az adatkatalógus-objektumok címkézéséhez, és ezen LF-címkék alapján hozzáférést biztosítanak a felhasználóknak és csoportoknak. 2023-ban hozzáadtuk a támogatást LF-Tag delegáció, ahol a Data Lake rendszergazdái engedélyt adhatnak az adatkezelőknek és más felhasználóknak az LF-Tag kezelésére anélkül, hogy rendszergazdai jogosultságra lenne szükségük. LF-Tag demokratizálódás!
Az Apache Iceberg formátum metaadatokat használ a táblázatot alkotó adatfájlok nyomon követésére. A táblázatok módosításai, például a beszúrások vagy frissítések új adatfájlok létrehozását eredményezik. Ahogy a táblákhoz tartozó adatfájlok száma növekszik, az adott táblát használó lekérdezések kevésbé hatékonyak. Az Iceberg tábla lekérdezési teljesítményének javítása érdekében csökkentenie kell az adatfájlok számát a kisebb változásrögzítési fájlok nagyobb fájlokba tömörítésével. A felhasználók általában szkripteket hoznak létre és futtatnak ezen Iceberg-táblafájlok optimalizálásához saját szervereiken vagy az AWS Glue ETL-n keresztül. Az Iceberg asztalok komplex karbantartásának enyhítésére ügyfeleink megkerestek minket egy jobb megoldás érdekében. Bemutattuk a funkciót Apache Iceberg asztalok automatikus tömörítése az Adatkatalógusban. Az automatikus tömörítés bekapcsolása után az adatkatalógus automatikusan kezeli a táblázat metaadatait, és mindig optimalizált Amazon S3 elrendezést biztosít az Iceberg táblákhoz. Ha többet szeretne megtudni, nézze meg Az Iceberg asztalok optimalizálása. Automatikus!
Audit és monitorozás
Az adatkezelés kritikus eleme annak ismerete, hogy ki milyen adatokhoz fér hozzá. Az auditoroknak ellenőrizniük kell, hogy a megfelelő metaadatok és adatengedélyek vannak-e beállítva a Lake Formationben és az adatkatalógusban. A Data Lake rendszergazdái teljes hozzáféréssel rendelkeznek az engedélyekhez és a metaadatokhoz, és hozzáférést biztosíthatnak magukhoz az adatokhoz. Annak érdekében, hogy az auditorok lehetőséget biztosítsanak a metaadat-engedélyek keresésére és áttekintésére anélkül, hogy hozzáférést biztosítanánk számukra az engedélyek módosításához, bevezettük a csak olvasható rendszergazdai szerepkör a Lake Formációban. Ez a szerepkör lehetővé teszi a katalógus-metaadatok, a Lake Formation engedélyek és az LF-címkék naplózását, miközben korlátozza a módosításokat.
Következtetés
Csodálatos 2023-ban volt részünk, és olyan termékfejlesztéseket fejlesztettünk ki, amelyek segítségével egyszerűsítheti és javíthatja adatkezelését a Lake Formation és Data Catalog segítségével. Meghívjuk Önt, hogy próbálja ki ezeket az új funkciókat. Az alábbi lista az induló bejegyzéseinket szolgálja referenciaként:
- Az adatkatalógus és a bejáró funkciók:
- A Lake Formation jellemzői:
2024-ben is folytatjuk az innovációt ügyfeleink érdekében. Kérjük, ossza meg gondolatait, használati eseteit és termékfejlesztéseinkkel kapcsolatos visszajelzéseit a megjegyzések részben vagy az AWS-fiók csapatain keresztül. Boldog és sikerekben gazdag 2024-et kívánunk. Boldog új évet!
A szerzőkről
Aarthi Srinivasan az AWS Lake Formation vezető Big Data építésze. Szereti az AWS-ügyfelek és -partnerek számára Data Lake megoldásokat építeni. Amikor nem a billentyűzeten dolgozik, felfedezi a legújabb tudományos és technológiai trendeket, és családjával tölt időt.
Leon Stigter az AWS Lake Formation vezető műszaki termékmenedzsere. A Leon arra törekszik, hogy segítse a fejlesztőket abban, hogy az elemző eszközökhöz való zökkenőmentes csatlakozással gyorsabban építsenek adatforrásokat, hogy az adatokat a játékot megváltoztató betekintésekké alakítsák át. Leon érdeklődik az adatok és a szerver nélküli technológiák iránt, és szívesen fedez fel különböző városokat küldetése során, hogy bárhol megkóstolhassa a sajttortát.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/big-data/aws-lake-formation-2023-year-in-review/
- :van
- :is
- :nem
- :ahol
- $ UP
- 100
- 125
- 2023
- 2024
- a
- képesség
- Rólunk
- hozzáférés
- Az adatokhoz való hozzáférés
- igénybe vett
- Fiók
- Fiókok
- át
- hozzá
- hozzáadott
- mellett
- További
- adminisztrátorok
- Után
- AI-hajtású
- Minden termék
- enyhít
- lehetővé
- lehetővé teszi, hogy
- már
- Is
- elképesztő
- amazon
- Amazon EMR
- Az Amazon Web Services
- an
- Az elemzők
- Analitikai
- analitika
- elemez
- és a
- bejelentés
- Másik
- válasz
- bármilyen
- Apache
- VANNAK
- AS
- asszisztensek
- társult
- At
- könyvvizsgálat
- könyvvizsgálók
- Automatikus
- automatikusan
- elérhető
- elkerülése érdekében
- AWS
- AWS ragasztó
- AWS-tó formáció
- AWS re:Invent
- alapján
- BE
- válik
- nevében
- hogy
- Jobb
- között
- Nagy
- Big adatok
- nagyobb
- Blocks
- mindkét
- köteles
- hoz
- épít
- Épület
- épült
- üzleti
- de
- by
- jött
- TUD
- képességek
- elfog
- esetek
- katalógus
- kategóriák
- központi
- központosított
- változik
- Változások
- ellenőrizze
- városok
- osztályoz
- szorosan
- együttműködés
- Oszlop
- COM
- Hozzászólások
- bonyolult
- összetevő
- Csatlakozás
- Connectivity
- folytatódik
- ellenőrzés
- ellenőrzések
- másolás
- Társasági
- tudott
- lánctalpas
- teremt
- készítette
- kritikai
- szokás
- vevő
- Ügyfelek
- testre
- dátum
- adattó
- adatkezelés
- adatbázisok
- adatkészletek
- Döntéshozatal
- mélyebb
- meghatározott
- Delta
- származik
- Határozzuk meg
- fejlesztők
- fejlesztése
- különböző
- felfedez
- felfedezett
- felfedezés
- megvitatni
- merülés
- do
- csinált
- ne
- hajtás
- illesztőprogramok
- alatt
- könnyen
- hatékony
- erőfeszítés nélkül
- felhatalmazza
- lehetővé
- ösztönzése
- növelése
- fokozás
- fejlesztések
- Eter (ETH)
- Minden
- mindenhol
- példa
- létező
- kiterjesztett
- tapasztalat
- feltárása
- feltárja
- Feltárása
- kiterjedt
- külső
- kivonat
- család
- gyorsabb
- Funkció
- Jellemzők
- államszövetség
- Visszacsatolás
- Fájlok
- Találjon
- Rugalmasság
- Összpontosít
- következő
- A
- forma
- formátum
- képződés
- Alapítvány
- Alapítványi
- négy
- ból ből
- Tele
- további
- Továbbá
- kap
- Ad
- ad
- Goes
- kormányoz
- kormányzás
- biztosít
- nyújtó
- Csoport
- Csoportok
- növekszik
- kellett
- boldog
- Kemény
- kemény munka
- Legyen
- he
- segít
- segít
- neki
- övé
- Kaptár
- Hogyan
- HTML
- HTTPS
- hibrid
- IAM
- identitások
- Identitás
- identitás menedzsment
- javul
- fejlesztések
- in
- bele
- Növelje
- egyéni
- újít
- Betétek
- meglátások
- helyette
- szerves
- integrált
- integrálása
- integrációk
- érdekelt
- belső
- bele
- Bevezetett
- meghívni
- IT
- maga
- Állások
- csatlakozik
- csatlakozik
- Tart
- tó
- tavak
- a későbbiekben
- legutolsó
- indít
- elrendezés
- vezet
- TANUL
- kevesebb
- szint
- mint
- Kedvencek
- linux
- linux alapítvány
- Lista
- kiszámításának
- készült
- fenntartása
- karbantartás
- csinál
- KÉSZÍT
- Gyártás
- kezelése
- sikerült
- vezetés
- menedzser
- kezeli
- sok
- térkép
- mechanizmus
- Metaadatok
- Küldetés
- Mód
- több
- mozgó
- sok
- többszörös
- Szükség
- Új
- Új funkciók
- új felhasználó
- újonnan
- Most
- szám
- objektumok
- október
- of
- on
- Beszállás
- ONE
- nyitva
- optimalizálás
- Optimalizálja
- opció
- or
- szervezet
- szervezetek
- Más
- mi
- ki
- felett
- saját
- rész
- partnerek
- egyengetni
- teljesít
- teljesítmény
- engedélyek
- terv
- Plató
- Platón adatintelligencia
- PlatoData
- kérem
- Politikák
- Népszerű
- állás
- Hozzászólások
- megbízók
- kiváltságok
- Termékek
- termék menedzser
- Termelés
- Termékek
- projektek
- szaporítás
- ingatlanait
- virágzó
- ad
- ellátó
- biztosít
- Kiadás
- lekérdezések
- Kérdések
- Quick
- Nyers
- nyers adatok
- RE
- realizált
- csökkenteni
- utal
- referencia
- vidék
- régiók
- felszabaduló
- elmozdít
- forrás
- Tudástár
- korlátozó
- eredményez
- Eredmények
- visszakeresés
- Kritika
- jobb
- Emelkedik
- Szerep
- szerepek
- futás
- futás
- Tudomány
- Tudomány és technológia
- tudósok
- szkriptek
- zökkenőmentes
- Keresés
- Rész
- biztonság
- lát
- látás
- látott
- szelektív
- idősebb
- vagy szerver
- szerverek
- szolgáltatás
- Szolgáltatások
- készlet
- számos
- Megosztás
- megosztott
- megosztás
- ő
- kirakatba
- Egyszerű
- egyszerűsíti
- egyszerűsítése
- kisebb
- megoldások
- Megoldások
- néhány
- Források
- Spektrum
- sebesség
- sebesség
- SQL
- statisztika
- tárolás
- memorizált
- TÖRTÉNETEK
- egyértelmű
- áramvonalas
- előfizetés
- ilyen
- összegez
- támogatás
- Támogatott
- Támogató
- táblázat
- TAG
- Beszél
- Talks
- íz
- csapat
- Műszaki
- Technologies
- Technológia
- hogy
- A
- azok
- Őket
- téma
- Ezek
- harmadik fél
- ezt
- három
- Keresztül
- idő
- nak nek
- szerszámok
- vágány
- Átalakítás
- borzasztó
- Trends
- Megbízható
- megpróbál
- FORDULAT
- Fordult
- típusok
- jellemzően
- alatt
- megért
- Frissítések
- Frissítés
- us
- Használat
- használ
- használó
- Felhasználók
- használ
- segítségével
- ÉRVÉNYESÍT
- különféle
- nagyon
- Megnézem
- nézetek
- Út..
- we
- háló
- webes szolgáltatások
- Mit
- amikor
- ami
- míg
- WHO
- lesz
- val vel
- nélkül
- Munka
- dolgozott
- munkafolyamatok
- aggódik
- ír
- év
- te
- A te
- zephyrnet