Apache Hudi egy nyílt táblaformátum, amely adatbázis- és adattárház-képességeket biztosít az adattókhoz. Az Apache Hudi segít az adatmérnököknek az összetett kihívások kezelésében, például a folyamatosan fejlődő adatkészletek tranzakciókkal történő kezelésében, miközben megőrzi a lekérdezési teljesítményt. Az adatmérnökök az Apache Hudit használják a munkaterhelések streamelésére, valamint hatékony növekményes adatfolyamok létrehozására. Hudi biztosítja asztalok, tranzakciók, hatékony fel- és törlések, fejlett indexek, streaming feldolgozási szolgáltatások, adatok csoportosítás és a tömörödés optimalizálás és párhuzamosság ellenőrzése, miközben adatait nyílt forráskódú fájlformátumban tárolja. A Hudi fejlett teljesítményoptimalizálásai felgyorsítják az analitikai munkaterhelést bármely népszerű lekérdezőmotorral, beleértve az Apache Sparkot, a Presto-t, a Trino-t, a Hive-t és így tovább.
Sok AWS-ügyfél alkalmazta az Apache Hudi-t az Amazon S3-ra épülő adatforrásaira AWS ragasztó, egy szerver nélküli adatintegrációs szolgáltatás, amely megkönnyíti a több forrásból származó adatok felfedezését, előkészítését, mozgatását és integrálását elemzési, gépi tanulási (ML) és alkalmazásfejlesztési célokra. AWS ragasztó lánctalpas az AWS Glue egyik összetevője, amely lehetővé teszi a táblázat metaadatainak automatikus létrehozását az adattartalomból anélkül, hogy a metaadatokat manuálisan kellene meghatározni.
Az AWS Glue bejárók mostantól támogatják az Apache Hudi táblázatokat, elfogadásának egyszerűsítése AWS ragasztóadat-katalógus mint a Hudi táblázatok katalógusa. Az egyik tipikus felhasználási eset a Hudi táblák regisztrálása, amelyhez nem tartozik katalógustábla definíció. Egy másik tipikus felhasználási eset a más Hudi-katalógusokból, például a Hive metastore-ból való migráció. Más Hudi-katalógusokból való áttelepítéskor létrehozhat és ütemezhet egy AWS Glue bejárót, és megadhat egy vagy több Amazon S3 elérési utat, ahol a Hudi-táblafájlok találhatók. Lehetősége van megadni az Amazon S3 útvonalak maximális mélységét, amelyen az AWS Glue bejáró áthaladhat. Az AWS Glue bejárói minden egyes futtatáskor kibontják a séma- és partícióinformációkat, és frissítik az AWS Glue Data Catalog-ját a séma- és partícióváltozásokkal. Az AWS Glue bejárói frissítik az AWS Glue Data Catalog legfrissebb metaadat-fájl helyét, amelyet az AWS elemzőmotorok közvetlenül használhatnak.
Ezzel az indítással létrehozhat és ütemezhet egy AWS Glue bejárót, hogy regisztrálja a Hudi táblázatokat az AWS ragasztóadat-katalógusban. Ezután megadhat egy vagy több Amazon S3 útvonalat, ahol a Hudi táblák találhatók. Lehetősége van megadni az Amazon S3 útvonalak maximális mélységét, amelyet a bejárók be tudnak járni. Minden bejáró futtatásakor a bejáró minden S3-útvonalat megvizsgál, és katalógusba veszi a sémainformációkat, például az új táblákat, a törléseket és a sémák frissítéseit az AWS ragasztóadat-katalógusában. A bejárók megvizsgálják a partícióinformációkat, és újonnan hozzáadott partíciókat adnak hozzá az AWS ragasztóadat-katalógusához. A bejárók frissítik az AWS ragasztóadat-katalógusában található legújabb metaadat-fájl helyét is, amelyet az AWS elemzőmotorok közvetlenül használhatnak.
Ez a bejegyzés bemutatja, hogyan működik ez az új képesség a Hudi-táblák feltérképezésére.
Hogyan működik az AWS Glue bejáró Hudi asztalokkal
A Hudi tábláknak két kategóriája van, amelyek mindegyikéhez sajátos vonatkozásúak tartoznak:
- Másolás írásra (CoW) – Az adatok oszlopos formátumban (Parquet) vannak tárolva, és minden frissítés a fájlok új verzióját hozza létre az írás során.
- Merge on read (MoR) – Az adatok tárolása oszlopos (Parquet) és soralapú (Avro) formátumok kombinációjával történik. A frissítések soralapú naplózásra kerülnek
delta
fájlokat, és szükség szerint tömörítik az oszlopos fájlok új verzióinak létrehozásához.
A CoW adatkészletekkel minden alkalommal, amikor egy rekord frissítése történik, a rekordot tartalmazó fájl újraírásra kerül a frissített értékekkel. A MoR adatkészlettel minden frissítéskor a Hudi csak a módosított rekord sorát írja ki. A MoR jobban megfelel az írási vagy változtatási igényű, kevesebb olvasási terhelésű munkaterhelésekhez. A CoW jobban megfelel a ritkábban változó adatok nagy olvasási terheléseihez.
A Hudi három lekérdezési típust biztosít az adatok eléréséhez:
- Pillanatkép-lekérdezések – Lekérdezések, amelyek a tábla legfrissebb pillanatképét látják egy adott véglegesítési vagy tömörítési műveletként. A MoR táblák esetében a pillanatfelvétel-lekérdezések a tábla legfrissebb állapotát fedik fel azáltal, hogy összevonják a lekérdezés időpontjában a legutóbbi fájlszelet alap- és deltafájljait.
- Növekményes lekérdezések – A lekérdezések csak a táblába írt új adatokat látják egy adott véglegesítés vagy tömörítés óta. Ez hatékonyan biztosítja a változási folyamokat a növekményes adatfolyamok engedélyezéséhez.
- Olvassa el az optimalizált lekérdezéseket – A MoR táblák esetében a lekérdezések a legfrissebb adatokat tömörítve látják. A CoW táblák esetében a lekérdezések a legfrissebb rögzített adatokat tekintik meg.
Írás-másolás táblázatok esetén a bejárók egyetlen táblázatot hoznak létre az AWS ragasztóadat-katalógusában a ReadOptimized Serde segítségével org.apache.hudi.hadoop.HoodieParquetInputFormat
.
Olvasáskor egyesíthető táblázatok esetén a bejárók két táblát hoznak létre az AWS ragasztóadat-katalógusban ugyanarra a táblahelyre:
- Egy táblázat utótaggal
_ro
, amely a ReadOptimized Serde-t használjaorg.apache.hudi.hadoop.HoodieParquetInputFormat
- Egy táblázat utótaggal
_rt
, amely a RealTime Serde-t használja, amely lehetővé teszi a pillanatkép lekérdezéseket:org.apache.hudi.hadoop.realtime.HoodieParquetRealtimeInputFormat
Minden egyes feltérképezés során minden megadott Hudi-útvonalhoz a bejárók Amazon S3 lista API-hívást hajtanak végre, a .hoodie
mappákat, és keresse meg a legfrissebb metaadatfájlt a Hudi tábla metaadatmappájában.
Feltérképezhető egy Hudi CoW asztal az AWS Glue bejáróval
Ebben a részben nézzük meg, hogyan kell feltérképezni a Hudi CoW-t az AWS Glue bejárókkal.
Előfeltételek
Íme az oktatóanyag előfeltételei:
- Telepítse és konfigurálja AWS parancssori interfész (AWS CLI).
- Ha nem rendelkezik vele, hozza létre az S3 vödröt.
- Hozza létre IAM-szerepét az AWS Glue számára ha nincs meg. Szükséged van
s3:GetObject
merts3://your_s3_bucket/data/sample_hudi_cow_table/
. - Futtassa a következő parancsot a Hudi-minta tábla S3 tárolójába másolásához. (Cserélje ki
your_s3_bucket
az S3 gyűjtőhely nevével.)
Ez az utasítás a mintaadatok másolásához vezet, de az AWS Glue segítségével könnyedén létrehozhat bármilyen Hudi-táblát. Tudjon meg többet itt Az Apache Hudi, a Delta Lake és az Apache Iceberg natív támogatásának bemutatása az AWS Glue for Apache Spark-on, 2. rész: AWS Glue Studio Visual Editor.
Hozzon létre egy Hudi bejárót
Ebben az utasításban hozza létre a bejárót a konzolon keresztül. Hajtsa végre a következő lépéseket Hudi bejáró létrehozásához:
- Az AWS Glue konzolon válassza a lehetőséget Bejárók.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Bejáró létrehozása.
- A Név, belép
hudi_cow_crawler
. Válaszd ki Következő. - Alatt Adatforrás konfigurációja, választ Adatforrás hozzáadása.
- A Adatforrás, választ Hudi.
- A Tartalmazza a hudi tábla elérési útjait, belép
s3://your_s3_bucket/data/sample_hudi_cow_table/
. (Cserélje kiyour_s3_bucket
az S3 gyűjtőhely nevével.) - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Hudi adatforrás hozzáadása.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
- A Meglévő IAM-szerep, válassza ki az IAM-szerepet, majd válasszon Következő.
- A Cél adatbázis, választ Adatbázis hozzáadása, aztán a Adatbázis hozzáadása párbeszédablak jelenik meg. Mert Adatbázis név, belép
hudi_crawler_blog
, majd válassza ki Teremt. Válaszd ki Következő. - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Bejáró létrehozása.
Sikeresen létrehoztunk egy új Hudi bejárót. A bejáró a konzolon vagy az SDK-n vagy az AWS CLI-n keresztül aktiválható a StartCrawl
API. A konzolon keresztül is ütemezhető, hogy meghatározott időpontokban aktiválja a bejárókat. Ebben az utasításban futtassa a bejárót a konzolon keresztül.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Futtassa a bejárót.
- Várja meg, amíg a bejáró befejeződik.
A bejáró lefutása után láthatja a Hudi táblázat definícióját az AWS Glue konzolon:
Sikeresen feltérképezte az Amazon S3 adatait tartalmazó Hudi CoR táblát, és létrehozott egy AWS Glue Data Catalog táblát a kitöltött sémával. Miután létrehozta a táblázatdefiníciót az AWS ragasztóadat-katalógusban, az AWS-elemző szolgáltatások, például az Amazon Athena lekérdezhetik a Hudi táblát.
Hajtsa végre a következő lépéseket a lekérdezések elindításához az Athénában:
- Nyissa meg az Amazon Athena konzolt.
- Futtassa a következő lekérdezést.
A következő képernyőkép a kimenetünket mutatja:
Hudi MoR táblázat feltérképezése az AWS Glue bejáróval AWS Lake Formation adatengedélyekkel
Ebben a részben nézzük meg, hogyan lehet feltérképezni egy Hudi MoR táblázatot az AWS Glue segítségével. Ezúttal az AWS Lake Formation adatengedélyt használja az Amazon S3 adatforrások feltérképezéséhez az IAM és az Amazon S3 engedélyek helyett. Ez nem kötelező, de leegyszerűsíti az engedélykonfigurációt, ha az adattót az AWS Lake Formation engedélyei kezelik.
Előfeltételek
Íme az oktatóanyag előfeltételei:
- Telepítse és konfigurálja AWS parancssori interfész (AWS CLI).
- Ha nem rendelkezik vele, hozza létre az S3 vödröt.
- Hozza létre IAM-szerepét az AWS Glue számára ha nincs meg. Szükséged van
lakeformation:GetDataAccess
. De nem kells3:GetObject
merts3://your_s3_bucket/data/sample_hudi_mor_table/
mert Lake Formation adatengedélyt használunk a fájlok eléréséhez. - Futtassa a következő parancsot a Hudi-minta tábla S3 tárolójába másolásához. (Cserélje ki
your_s3_bucket
az S3 gyűjtőhely nevével.)
A feldolgozási lépéseken kívül hajtsa végre a következő lépéseket az AWS ragasztóadat-katalógus beállításainak frissítéséhez, hogy az IAM-alapú hozzáférés-vezérlés helyett a Lake Formation engedélyeket használja a katalóguserőforrások vezérlésére:
- Jelentkezzen be a Lake Formation konzolba Data Lake rendszergazdaként.
- Ha ez az első alkalom, hogy hozzáfér a Lake Formation konzolhoz, vegye fel magát a Data Lake rendszergazdájaként.
- Alatt Adminisztráció, választ Adatkatalógus beállításai.
- A Alapértelmezett engedélyek az újonnan létrehozott adatbázisokhoz és táblákhoz, törölje a kijelölést Az új adatbázisokhoz csak IAM hozzáférés-vezérlést használjon és a Csak IAM hozzáférés-vezérlést használjon az új adatbázisok új tábláihoz.
- A A fiókok közötti verzió beállítása, választ változat 3.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Megtakarítás.
A következő lépés az S3 kanál regisztrálása a Lake Formation adattó helyein:
- A Lake Formation konzolon válassza a lehetőséget Data tó helyei, és válasszon Regisztrálja a helyet.
- A Amazon S3 elérési út, belép
s3://your_s3_bucket/
. (Cserélje kiyour_s3_bucket
az S3 gyűjtőhely nevével.) - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Regisztrálja a helyet.
Ezután adjon hozzáférést a Glue bejárói szerepkörhöz az adatok helyéhez, hogy a bejáró Lake Formation engedélyt használhasson az adatok eléréséhez és táblák létrehozásához a helyen:
- A Lake Formation konzolon válassza a lehetőséget Adathelyek És válasszon Grant.
- A IAM felhasználók és szerepkörök, válassza ki a bejáróhoz használt IAM-szerepet.
- A Tárolási hely, belép
s3://your_s3_bucket/data
/. (Cserélje kiyour_s3_bucket
az S3 gyűjtőhely nevével.) - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Grant.
Ezután adjon bejáró szerepkört táblák létrehozásához az adatbázisban hudi_crawler_blog
:
- A Lake Formation konzolon válassza a lehetőséget Data Lake engedélyek.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Grant.
- A Vezetőinek, választ IAM felhasználók és szerepkörök, és válassza ki a bejáró szerepkört.
- A LF-címkék vagy katalógus-források, választ Elnevezett adatkatalógus-források.
- A adatbázis, válassza ki az adatbázist
hudi_crawler_blog
. - Alatt Adatbázis engedélyekválassza Táblázat létrehozása.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Grant.
Hozzon létre egy Hudi bejárót Lake Formation adatengedéllyel
Hajtsa végre a következő lépéseket Hudi bejáró létrehozásához:
- Az AWS Glue konzolon válassza a lehetőséget Bejárók.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Bejáró létrehozása.
- A Név, belép
hudi_mor_crawler
. Válaszd ki Következő. - Alatt Adatforrás konfigurációja, választ Adatforrás hozzáadása.
- A Adatforrás, választ Hudi.
- A Tartalmazza a hudi tábla elérési útjait, belép
s3://your_s3_bucket/data/sample_hudi_mor_table
/. (Cserélje kiyour_s3_bucket
az S3 gyűjtőhely nevével.) - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Hudi adatforrás hozzáadása.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
- A Meglévő IAM-szerep, válassza ki IAM-szerepét.
- Alatt Lake Formation konfiguráció – opcionálisválassza Használja a Lake Formation hitelesítő adatait az S3 adatforrás feltérképezéséhez.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
- A Cél adatbázis, választ
hudi_crawler_blog
. Válaszd ki Következő. - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Bejáró létrehozása.
Sikeresen létrehoztunk egy új Hudi bejárót. A bejáró a Lake Formation hitelesítő adatait használja az Amazon S3 fájlok feltérképezéséhez. Futtassuk az új bejárót:
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Futtassa a bejárót.
- Várja meg, amíg a bejáró befejeződik.
A bejáró futtatása után a Hudi tábladefiníció két táblázata látható az AWS Glue konzolon:
sample_hudi_mor_table_ro
(Olvassa el az optimalizált táblázatot)sample_hudi_mor_table_rt
(valós idejű táblázat)
Regisztrálta az adattó-gyűjtőt a Lake Formationnél, és engedélyezte a feltérképezési hozzáférést az adattóhoz a Lake Formation engedélyeivel. Sikeresen feltérképezte az Amazon S3 adatait tartalmazó Hudi MoR táblát, és létrehozott egy AWS ragasztóadat-katalógus táblát a kitöltött sémával. Miután létrehozta a táblázatdefiníciókat az AWS ragasztóadat-katalógusban, az AWS-analitikai szolgáltatások, például az Amazon Athena lekérdezhetik a Hudi táblát.
Hajtsa végre a következő lépéseket a lekérdezések elindításához az Athénában:
- Nyissa meg az Amazon Athena konzolt.
- Futtassa a következő lekérdezést.
A következő képernyőkép a kimenetünket mutatja:
- Futtassa a következő lekérdezést.
A következő képernyőkép a kimenetünket mutatja:
Finom szemcsés hozzáférés-vezérlés az AWS Lake Formation engedélyekkel
A Hudi tábla finomszemcsés hozzáférés-szabályozásának alkalmazásához az AWS Lake Formation engedélyeiből részesülhet. A Lake Formation engedélyei lehetővé teszik, hogy korlátozza a hozzáférést bizonyos táblákhoz, oszlopokhoz vagy sorokhoz, majd lekérdezze a Hudi táblákat az Amazon Athena szolgáltatáson keresztül, finomszemcsés hozzáférés-vezérléssel. Állítsuk be a Lake Formation engedélyt a Hudi MoR táblához.
Előfeltételek
Íme az oktatóanyag előfeltételei:
- Töltse ki az előző részt Hudi MoR táblázat feltérképezése az AWS Glue bejáróval AWS Lake Formation adatengedélyekkel.
- Hozzon létre egy DataAnalyst IAM-felhasználót, aki rendelkezik AWS által felügyelt házirenddel AmazonAthenaFullAccess.
Hozzon létre egy Lake Formation adatcellaszűrőt
Először állítsunk be egy szűrőt a MoR olvasásra optimalizált táblázathoz.
- Jelentkezzen be a Lake Formation konzolba Data Lake rendszergazdaként.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Adatszűrők.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Hozzon létre új szűrőt.
- A Adatszűrő neve, belép
exclude_product_price
. - A Cél adatbázis, válassza ki az adatbázist
hudi_crawler_blog
. - A Céltábla, válassza ki az asztalt
sample_hudi_mor_table_ro
. - A Oszlopszintű eléréséhez, válassza ki Oszlopok kizárása, és válassza ki az oszlop árát.
- A Sorszűrő kifejezés, belép
true
. - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Hozzon létre szűrőt.
Adjon Lake Formation engedélyeket a DataAnalyst felhasználónak
Hajtsa végre a következő lépéseket a Lake Formation engedélyének megadásához DataAnalyst
használó
- A Lake Formation konzolon válassza a lehetőséget Data Lake engedélyek.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Grant.
- A Vezetőinek, választ IAM felhasználók és szerepkörök, és válassza ki a felhasználót
DataAnalyst
. - A LF-címkék vagy katalógus-források, választ Elnevezett adatkatalógus-források.
- A adatbázis, válassza ki az adatbázist
hudi_crawler_blog
. - A Táblázat – nem kötelező, válassza ki az asztalt
sample_hudi_mor_table_ro
. - A Adatszűrők – opcionális, válassza ki
exclude_product_price
. - A Adatszűrő engedélyekválassza választ.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Grant.
Ön megadta a Lake Formation engedélyét az adatbázishoz hudi_crawler_blog
és az asztal sample_hudi_mor_table_ro
, kivéve az oszlopot price
a DataAnalyst felhasználónak. Most ellenőrizzük a felhasználói hozzáférést az adatokhoz az Athena segítségével.
- Jelentkezzen be az Athena konzolba DataAnalyst felhasználóként.
- A lekérdezésszerkesztőben futtassa a következő lekérdezést:
A következő képernyőkép a kimenetünket mutatja:
Most érvényesítette az oszlopot price
nem látható, hanem a többi oszlop product_id
, product_name
, update_at
és category
látható.
Tisztítsuk meg
Az AWS-fiókja nem kívánt terheléseinek elkerülése érdekében törölje a következő AWS-forrásokat:
- Az AWS Glue adatbázis törlése
hudi_crawler_blog
. - Törölje az AWS Glue bejárókat
hudi_cow_crawler
és ahudi_mor_crawler
. - Törölje az Amazon S3 fájlokat az alatt
s3://your_s3_bucket/data/sample_hudi_cow_table/
és as3://your_s3_bucket/data/sample_hudi_mor_table/
.
Következtetés
Ez a bejegyzés bemutatta, hogyan működnek az AWS Glue bejárók a Hudi asztaloknál. A Hudi bejáró támogatásával gyorsan áttérhet az AWS Glue Data Catalog használatára elsődleges Hudi-táblakatalógusként. Elkezdheti építeni a kiszolgáló nélküli tranzakciós adatforrást a Hudi használatával az AWS-en, az AWS Glue, az AWS Glue Data Catalog és a Lake Formation finomszemcsés hozzáférés-vezérlőivel az AWS elemzőmotorok által támogatott táblázatokhoz és formátumokhoz.
A szerzőkről
Noritaka Sekiyama az AWS Glue csapatának vezető Big Data építésze. Székhelye Tokió, Japán. Ő felelős az ügyfeleket segítő szoftvertermékek létrehozásáért. Szabadidejében szívesen biciklizik országúti kerékpárjával.
Kyle Duong az AWS Glue and Lake Formation csapatának szoftverfejlesztő mérnöke. Szenvedélye a big data technológiák és az elosztott rendszerek építése.
Sandeep Adwankar az AWS vezető műszaki termékmenedzsere. A kaliforniai öböl térségében található, és világszerte együttműködik ügyfeleivel, hogy az üzleti és műszaki követelményeket olyan termékekké alakítsa át, amelyek lehetővé teszik az ügyfelek számára, hogy javítsák az adatok kezelését, biztonságát és hozzáférését.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/big-data/introducing-apache-hudi-support-with-aws-glue-crawlers/
- :van
- :is
- :nem
- :ahol
- $ UP
- 10
- 100
- 11
- 13
- 17
- 67
- 7
- 8
- 9
- a
- Képes
- Rólunk
- hozzáférés
- Az adatokhoz való hozzáférés
- Hozzáférés
- Fiók
- Akció
- hozzá
- hozzáadott
- mellett
- fogadott
- Örökbefogadás
- fejlett
- Után
- Minden termék
- lehetővé
- lehetővé téve
- lehetővé teszi, hogy
- Is
- amazon
- Amazon Athéné
- Az Amazon Web Services
- an
- Analitikai
- analitika
- és a
- Másik
- bármilyen
- Apache
- Apache Spark
- api
- Megjelenik
- Alkalmazás
- Application Development
- alkalmaz
- VANNAK
- TERÜLET
- körül
- AS
- At
- automatikusan
- elkerülése érdekében
- AWS
- AWS ragasztó
- AWS-tó formáció
- bázis
- alapján
- öböl
- BE
- mert
- óta
- haszon
- Jobb
- Nagy
- Big adatok
- Bring
- Épület
- épült
- üzleti
- de
- by
- Kalifornia
- hívás
- TUD
- képességek
- képesség
- eset
- katalógus
- katalógusok
- kategóriák
- sejt
- kihívások
- változik
- megváltozott
- Változások
- díjak
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- Oszlop
- Oszlopok
- kombináció
- elkövetni
- elkötelezett
- teljes
- bonyolult
- összetevő
- Configuration
- Konzol
- tartalmaz
- tartalom
- folyamatosan
- ellenőrzés
- ellenőrzések
- tudott
- lánctalpas
- teremt
- készítette
- teremt
- Hitelesítő adatok
- Ügyfelek
- dátum
- adatintegráció
- adattó
- adattárház
- adatbázis
- adatbázisok
- adatkészletek
- definíció
- definíciók
- Delta
- igazolták
- mutatja
- mélység
- Fejlesztés
- közvetlenül
- felfedez
- megosztott
- elosztott rendszerek
- do
- nem
- alatt
- minden
- könnyebb
- könnyen
- szerkesztő
- hatékonyan
- hatékony
- lehetővé
- engedélyezve
- mérnök
- Mérnökök
- Motorok
- belép
- Eter (ETH)
- fejlődik
- kizárás
- kivonat
- gyorsabb
- kevesebb
- filé
- Fájlok
- szűrő
- Szűrők
- Találjon
- vezetéknév
- első
- következő
- A
- formátum
- képződés
- gyakran
- ból ből
- adott
- földgolyó
- Go
- biztosít
- megadott
- Útmutatók
- Hadoop
- Legyen
- he
- segít
- segít
- övé
- Kaptár
- Hogyan
- How To
- HTML
- HTTPS
- IAM
- if
- következményei
- javul
- in
- Beleértve
- járulékos
- információ
- helyette
- integrálni
- integráció
- Felület
- bele
- bevezetéséről
- IT
- Japán
- jpg
- tartás
- tó
- tavak
- legutolsó
- indít
- TANUL
- tanulás
- kevesebb
- LIMIT
- vonal
- Lista
- található
- elhelyezkedés
- helyszínek
- bejelentkezve
- gép
- gépi tanulás
- fenntartása
- csinál
- KÉSZÍT
- kezelése
- sikerült
- menedzser
- kezelése
- kézikönyv
- maximális
- egyesülő
- Metaadatok
- vándorló
- elvándorlás
- ML
- több
- a legtöbb
- mozog
- többszörös
- név
- bennszülött
- Szükség
- szükséges
- Új
- újonnan
- következő
- Most
- of
- on
- ONE
- csak
- nyitva
- nyílt forráskódú
- optimalizált
- opció
- or
- Más
- mi
- teljesítmény
- rész
- szenvedélyes
- ösvény
- utak
- teljesítmény
- engedély
- engedélyek
- Plató
- Platón adatintelligencia
- PlatoData
- Népszerű
- benépesített
- állás
- Készít
- előfeltételek
- előző
- ár
- elsődleges
- Fő
- feldolgozás
- Termékek
- termék menedzser
- Termékek
- ad
- feltéve,
- biztosít
- lekérdezések
- gyorsan
- Olvass
- igazi
- real-time
- realtime
- új
- rekord
- Regisztráció
- nyilvántartott
- cserélni
- követelmények
- Tudástár
- felelős
- korlátoz
- út
- Szerep
- SOR
- futás
- azonos
- menetrend
- tervezett
- sdk
- Rész
- biztonság
- lát
- válasszuk
- idősebb
- vagy szerver
- szolgáltatás
- Szolgáltatások
- készlet
- beállítások
- mutatott
- Műsorok
- egyszerűsíti
- óta
- egyetlen
- Szelet
- Pillanatkép
- So
- szoftver
- szoftverfejlesztés
- forrás
- Források
- Szikra
- különleges
- kezdet
- Állami
- Lépés
- Lépései
- memorizált
- folyó
- patakok
- stúdió
- sikeresen
- ilyen
- támogatás
- Támogatott
- szinkronizál.
- Systems
- táblázat
- csapat
- Műszaki
- Technologies
- hogy
- A
- azok
- akkor
- Ott.
- ők
- ezt
- három
- Keresztül
- idő
- alkalommal
- nak nek
- tokyo
- felső
- ügyleti
- Tranzakciók
- fordít
- áthalad
- kiváltó
- váltott
- oktatói
- kettő
- típusok
- tipikus
- alatt
- felesleges
- Frissítések
- frissítve
- Frissítés
- használ
- használati eset
- használt
- használó
- Felhasználók
- használ
- segítségével
- ÉRVÉNYESÍT
- érvényesített
- Értékek
- változat
- vizuális
- Raktár
- we
- háló
- webes szolgáltatások
- JÓL
- amikor
- ami
- míg
- WHO
- lesz
- val vel
- nélkül
- Munka
- művek
- ír
- írott
- te
- A te
- magad
- zephyrnet