Tänasel digiajastul on andmed iga organisatsiooni edu keskmes. Üks kõige sagedamini kasutatavaid andmevahetuse vorminguid on XML. XML-failide analüüsimine on mitmel põhjusel ülioluline. Esiteks kasutatakse XML-faile paljudes tööstusharudes, sealhulgas rahanduses, tervishoius ja valitsussektoris. XML-failide analüüsimine võib aidata organisatsioonidel saada oma andmetest ülevaadet, võimaldades neil teha paremaid otsuseid ja parandada oma tegevust. XML-failide analüüsimine võib aidata ka andmete integreerimisel, sest paljud rakendused ja süsteemid kasutavad XML-i standardse andmevorminguna. XML-faile analüüsides saavad organisatsioonid hõlpsasti integreerida erinevatest allikatest pärit andmeid ja tagada oma süsteemide järjepidevuse, kuid XML-failid sisaldavad poolstruktureeritud, väga pesastatud andmeid, mis muudab teabele juurdepääsu ja analüüsimise keeruliseks, eriti kui fail on suur ja sellel on keeruline, väga pesastatud skeem.
XML-failid sobivad rakenduste jaoks hästi, kuid need ei pruugi olla analüüsimootorite jaoks optimaalsed. Päringu jõudluse parandamiseks ja lihtsa juurdepääsu võimaldamiseks järgnevates analüütikamootorites, näiteks Amazonase Athena, on ülioluline XML-failide eeltöötlemine veeruvormingusse, näiteks Parkett. See teisendus võimaldab parandada analüütika töövoogude tõhusust ja kasutatavust. Selles postituses näitame, kuidas töödelda XML-andmeid kasutades AWS liim ja Ateena.
Lahenduse ülevaade
Uurime kahte erinevat tehnikat, mis võivad teie XML-failide töötlemise töövoogu sujuvamaks muuta.
- 1. meetod: kasutage AWS Glue roomajat ja AWS Glue visuaalset redaktorit – Saate kasutada AWS Glue kasutajaliidest koos roomajaga, et määrata oma XML-failide tabeli struktuur. See lähenemisviis pakub kasutajasõbralikku liidest ja sobib eriti inimestele, kes eelistavad oma andmete haldamisel graafilist lähenemist.
- 2. meetod: kasutage tuletatud ja fikseeritud skeemidega AWS Glue DynamicFrame'i – Roomajal on piirang, kui tegemist on suuremate XML-failide ühe rea töötlemisega 1 MB. Selle piirangu ületamiseks kasutame AWS Glue'i koostamiseks sülearvutit AWS Glue
DynamicFrames
, kasutades nii tuletatud kui ka fikseeritud skeeme. See meetod tagab üle 1 MB suuruste ridadega XML-failide tõhusa käsitlemise.
Mõlema lähenemisviisi puhul on meie lõppeesmärk teisendada XML-failid Apache Parquet-vormingusse, muutes need Athena abil päringute tegemiseks hõlpsasti kättesaadavaks. Nende tehnikate abil saate suurendada oma XML-andmete töötlemise kiirust ja juurdepääsetavust, võimaldades teil hõlpsalt väärtuslikke teadmisi hankida.
Eeldused
Enne selle õpetuse alustamist täitke järgmised eeltingimused (need kehtivad mõlema tehnika kohta):
- Laadige alla XML-failid tehnika1.xml ja tehnika2.xml.
- Laadige failid üles an Amazoni lihtne salvestusteenus (Amazon S3) kopp. Saate need üles laadida samasse S3 ämbrisse erinevatesse kaustadesse või erinevatesse S3 ämbritesse.
- Loo AWS-i identiteedi- ja juurdepääsuhaldus (IAM) rolli teie ETL-töö või märkmiku jaoks vastavalt juhistele Seadistage AWS Glue Studio jaoks IAM-load.
- Lisage oma rollile sisemine poliitika rakendusega iam:PassRole tegevus:
- Lisage oma S3 ämbrile juurdepääsuga rollile õigusteeskirjad.
Nüüd, kui oleme eeltingimustega valmis, jätkame esimese tehnika rakendamisega.
1. meetod: kasutage AWS Glue roomajat ja visuaalset redaktorit
Järgmine diagramm illustreerib lihtsat arhitektuuri, mida saate lahenduse rakendamiseks kasutada.
Amazon S3-sse salvestatud XML-failide analüüsimiseks AWS Glue'i ja Athena abil teeme järgmised kõrgetasemelised sammud.
- Looge AWS-i liimiroomaja XML-metaandmete eraldamiseks ja looge tabel AWS-i liimiandmete kataloogis.
- Töödelge ja teisendage XML-andmeid Athena jaoks sobivasse vormingusse (nagu Parkett), kasutades AWS-i liimi ekstraktimise, teisendamise ja laadimise (ETL) tööd.
- Seadistage ja käivitage AWS-liimi töö AWS-liimi konsooli või seadme kaudu AWS-i käsurea liides (AWS CLI).
- Kasutage töödeldud andmeid (Parquet-vormingus) Athena tabelitega, võimaldades SQL-päringuid.
- Kasutage Athena kasutajasõbralikku liidest, et analüüsida XML-andmeid SQL-päringute abil oma Amazon S3-sse salvestatud andmetes.
See arhitektuur on skaleeritav ja kulutõhus lahendus Amazon S3 XML-andmete analüüsimiseks, kasutades AWS Glue'i ja Athena. Saate analüüsida suuri andmekogumeid ilma keeruka infrastruktuurihalduseta.
Kasutame XML-faili metaandmete ekstraktimiseks AWS Glue roomajat. Üldotstarbelise XML-klassifikatsiooni jaoks saate valida AWS-liimi vaikeklassifikaatori. See tuvastab automaatselt XML-i andmestruktuuri ja skeemi, mis on tavaliste vormingute puhul kasulik.
Selles lahenduses kasutame ka kohandatud XML-klassifikaatorit. See on loodud konkreetsete XML-skeemide või -vormingute jaoks, võimaldades täpset metaandmete ekstraheerimist. See sobib ideaalselt mittestandardsete XML-vormingute jaoks või siis, kui vajate üksikasjalikku kontrolli klassifitseerimise üle. Kohandatud klassifikaator tagab, et ekstraheeritakse ainult vajalikud metaandmed, lihtsustades järgnevaid töötlemis- ja analüüsiülesandeid. See lähenemisviis optimeerib teie XML-failide kasutamist.
Järgmisel ekraanipildil on näide siltidega XML-failist.
Loo kohandatud klassifikaator
Selles etapis loote XML-failist metaandmete eraldamiseks kohandatud AWS-liimi klassifikaatori. Tehke järgmised sammud.
- AWS Glue konsoolil, all Indekserid valige navigeerimispaanil Klassifikaatorid.
- Vali Lisage klassifikaator.
- valima XML klassifikaatori tüübina.
- Sisestage klassifikaatori nimi, näiteks
blog-glue-xml-contact
. - eest Rea silt, sisestage metaandmeid sisaldava juurmärgendi nimi (näiteks
metadata
). - Vali Looma.
Looge xml-faili roomamiseks AWS-i liimiroomaja
Selles jaotises loome liimiroomaja, et ekstraheerida metaandmed XML-failist, kasutades eelmises etapis loodud kliendiklassifikaatorit.
Looge andmebaas
- Mine AWS liimikonsool, vali Andmebaasid navigeerimispaanil.
- Klõpsake Lisa andmebaas.
- Esitage nimi, näiteks
blog_glue_xml
- Vali Looma andmebaas
Looge roomaja
Esimese roomaja loomiseks tehke järgmised toimingud.
- Valige AWS Glue konsoolil Indekserid navigeerimispaanil.
- Vali Loo roomaja.
- Kohta Määrake roomaja atribuudid lehele, andke uuele roomajale nimi (nt
blog-glue-parquet
), seejärel valige järgmine. - Kohta Valige andmeallikad ja klassifikaatorid leht, valige Mitte veel all Andmeallika konfiguratsioon.
- Vali Lisage andmesalv.
- eest S3 tee, sirvige
s3://${BUCKET_NAME}/input/geologicalsurvey/
.
Valige kindlasti XML-kaust, mitte kausta sees olev fail.
- Jätke ülejäänud valikud vaikevalikuks ja valige Lisage S3 andmeallikas.
- Laiendama Kohandatud klassifikaatorid – valikuline, valige blog-glue-xml-contact ja seejärel valige järgmine ja säilita ülejäänud suvandid vaikeväärtusena.
- Valige oma IAM-i roll või valige Looge uus IAM-i roll, lisage järelliide
glue-xml-contact
(näiteks,AWSGlueServiceNotebookRoleBlog
) ja valige järgmine. - Kohta Määrake väljund ja ajakava leht, all Väljundi konfiguratsioon, vali
blog_glue_xml
eest Sihtandmebaas. - sisene
console_
tabelitele lisatud eesliitena (valikuline) ja alla Roomaja ajakava, hoidke sagedus seadistatud Nõudlusel. - Vali järgmine.
- Vaadake üle kõik parameetrid ja valige Loo roomaja.
Käivitage roomaja
Pärast roomaja loomist tehke selle käitamiseks järgmised toimingud.
- Valige AWS Glue konsoolil Indekserid navigeerimispaanil.
- Avage loodud roomaja ja valige jooks.
Roomaja valmimiseks kulub 1–2 minutit.
- Kui roomaja on valmis, valige Andmebaasid navigeerimispaanil.
- Valige indekseerija eraldatud skeemi vaatamiseks komplekteeritud andmebaas ja tabeli nimi.
Looge AWS-liimi töö, et teisendada XML-i parketivormingusse
Selles etapis loote AWS Glue Studio töö, et teisendada XML-fail Parketi failiks. Tehke järgmised sammud.
- Valige AWS Glue konsoolil Tööturg navigeerimispaanil.
- alla Loo töökohtvalige Visuaal tühja lõuendiga.
- Vali Looma.
- Nimetage töö ümber
blog_glue_xml_job
.
Nüüd on teil tühi AWS Glue Studio visuaalne tööredaktor. Redaktori ülaosas on vahekaardid erinevate vaadete jaoks.
- Vali Script vahekaarti, et näha AWS Glue ETL skripti tühja kesta.
Kui lisame visuaalsesse redaktorisse uusi samme, värskendatakse skripti automaatselt.
- Vali Töö üksikasjad vahekaarti, et näha kõiki töö konfiguratsioone.
- eest IAM roll, vali
AWSGlueServiceNotebookRoleBlog
. - eest Liimi versioon, vali Liim 4.0 – tugi Spark 3.3, Scala 2, Python 3.
- komplekt Soovitud töötajate arv kuni 2.
- komplekt Korduskatsete arv kuni 0.
- Vali Visuaalne visuaalsesse redaktorisse naasmiseks vahekaarti.
- Kohta allikas rippmenüüst valige AWS-i liimiandmete kataloog.
- Kohta Andmeallika atribuudid – andmekataloog vahekaardil esitage järgmine teave:
- eest andmebaas, vali
blog_glue_xml
. - eest Tabel, valige tabel, mis algab roomaja loodud nimega console_ (näiteks
console_geologicalsurvey
).
- eest andmebaas, vali
- Kohta Sõlme omadused vahekaardil esitage järgmine teave:
- Muutma Nimi et
geologicalsurvey
andmestik. - Vali tegevus ja transformatsioon Muuda skeemi (Rakenda vastendus).
- Vali Sõlme omadused ja muutke teisenduse nimeks Muuda skeemi (Rakenda vastendus) nimeks
ApplyMapping
. - Kohta sihtmärk menüüst valige S3.
- Muutma Nimi et
- Kohta Andmeallika omadused – S3 vahekaardil esitage järgmine teave:
- eest vormingvalige Parkett.
- eest Kompressiooni tüüpvalige Tihendamata.
- eest S3 allika tüüpvalige S3 asukoht.
- eest S3 URL, sisenema
s3://${BUCKET_NAME}/output/parquet/
. - Vali Sõlme omadused ja muutke nimeks
Output
.
- Vali Säästa töö päästmiseks.
- Vali jooks tööd juhtida.
Järgmine ekraanipilt näitab tööd visuaalses redaktoris.
Parketi faili roomamiseks looge AWS Gue Crawler
Selles etapis loote AWS Glue roomaja, et eraldada metaandmed AWS Glue Studio tööga loodud Parquet-failist. Seekord kasutate vaikeklassifikaatorit. Tehke järgmised sammud.
- Valige AWS Glue konsoolil Indekserid navigeerimispaanil.
- Vali Loo roomaja.
- Kohta Määrake roomaja atribuudid lehele, sisestage uuele roomajale nimi, nt blogi-liim-parkett-kontakt, ja seejärel valige järgmine.
- Kohta Valige andmeallikad ja klassifikaatorid leht, valige Mitte veel eest Andmeallika konfiguratsioon.
- Vali Lisage andmesalv.
- eest S3 tee, sirvige
s3://${BUCKET_NAME}/output/parquet/
.
Valige kindlasti parquet
kausta, mitte kaustas oleva faili.
- Valige eeltingimuste jaotises loodud IAM-i roll või valige Looge uus IAM-i roll (näiteks,
AWSGlueServiceNotebookRoleBlog
) ja valige järgmine. - Kohta Määrake väljund ja ajakava leht, all Väljundi konfiguratsioon, vali
blog_glue_xml
eest andmebaas. - sisene
parquet_
tabelitele lisatud eesliitena (valikuline) ja alla Roomaja ajakava, hoidke sagedus seadistatud Nõudlusel. - Vali järgmine.
- Vaadake üle kõik parameetrid ja valige Loo roomaja.
Nüüd saate roomaja käivitada, mis võtab aega 1–2 minutit.
Parquet-faili vastloodud skeemi eelvaadet saate vaadata AWS-i liimiandmete kataloogis, mis sarnaneb XML-faili skeemiga.
Nüüd on meil andmed, mis sobivad Athenaga kasutamiseks. Järgmises jaotises teostame Athena abil andmepäringuid.
Esitage Athena abil päring Parketi failist
Athena ei toeta päringute esitamist XML-failivorming, mistõttu teisendasite XML-faili parketiks, et andmepäring ja -kasutus oleks tõhusam punktitähistus keeruliste tüüpide ja pesastatud struktuuride päringute tegemiseks.
Järgmine näitekood kasutab pesastatud andmete päringu tegemiseks punktimärki:
Nüüd, kui oleme 1. tehnika lõpetanud, jätkame 2. tehnika õppimisega.
2. meetod: kasutage tuletatud ja fikseeritud skeemidega AWS Glue DynamicFrame'i
Eelmises jaotises käsitlesime väikese XML-faili haldamise protsessi, kasutades tabeli loomiseks AWS-i liimiroomajat, AWS-i liimitööd faili Parketi vormingusse teisendamiseks ja Athenat Parketi andmetele juurdepääsuks. Kuid roomajal on piiranguid, kui tegemist on XML-failide töötlemisega, mis ületab 1 MB suurune. Selles jaotises käsitleme suuremate XML-failide paketttöötlemise teemat, mis nõuab üksikute sündmuste eraldamiseks ja Athena abil analüüsi tegemiseks täiendavat sõelumist.
Meie lähenemisviis hõlmab XML-failide lugemist AWS Glue'i kaudu Dünaamilised raamid, mis kasutab nii tuletatud kui ka fikseeritud skeeme. Seejärel eraldame üksikud sündmused Parketi formaadis, kasutades suhteliseks muutma teisendus, mis võimaldab meil Athena abil neid sujuvalt päringuid teha ja analüüsida.
Selle lahenduse rakendamiseks peate tegema järgmised kõrgetasemelised sammud.
- Looge XML-faili lugemiseks ja analüüsimiseks AWS Glue'i märkmik.
- Kasutama
DynamicFrames
koosInferSchema
XML-faili lugemiseks. - Massiivide eemaldamiseks kasutage relatsioonifunktsiooni.
- Teisendage andmed parketi vormingusse.
- Küsige Athena abil Parketi andmeid.
- Korrake eelmisi samme, kuid seekord edastage skeem
DynamicFrames
kasutamise asemelInferSchema
.
Elektrisõidukite populatsiooni andmete XML-failis on a response
sildi juurtasemel. See silt sisaldab massiivi row
sildid, mis on selle sees pesastatud. Rea silt on massiiv, mis sisaldab teiste reamärgendite komplekti, mis annavad teavet sõiduki kohta, sealhulgas selle margi, mudeli ja muude asjakohaste üksikasjade kohta. Järgmine ekraanipilt näitab näidet.
Looge AWS-i liimimärkmik
AWS Glue märkmiku loomiseks toimige järgmiselt.
- avage AWS liimistuudio konsool, vali Tööturg navigeerimispaanil.
- valima Jupyteri sülearvuti Ja vali Looma.
- Sisestage oma AWS-liimitööle nimi, näiteks
blog_glue_xml_job_Jupyter
. - Valige eeltingimustes loodud roll (
AWSGlueServiceNotebookRoleBlog
).
AWS Glue sülearvutiga on kaasas juba olemasolev näide, mis näitab, kuidas andmebaasist päringuid teha ja väljund Amazon S3-sse kirjutada.
- Reguleerige ajalõpu (minutites), nagu on näidatud järgmisel ekraanipildil, ja käivitage lahter, et luua AWS Glue interaktiivne seanss.
Looge põhimuutujad
Pärast interaktiivse seansi loomist looge märkmiku lõpus uus lahter järgmiste muutujatega (sisestage oma ämbri nimi):
Lugege skeemi järeldavat XML-faili
Kui te skeemi ei edasta DynamicFrame
, järeldab see failide skeemi. Andmete lugemiseks dünaamilise kaadri abil saate kasutada järgmist käsku:
Printige DynamicFrame'i skeem
Printige skeem järgmise koodiga:
Skeem näitab pesastatud struktuuri koos a row
mitut elementi sisaldav massiiv. Selle struktuuri joonteks eraldamiseks võite kasutada AWS-liimi suhteliseks muutma muutumine:
Meid huvitab ainult ridamassiivis sisalduv teave ja saame skeemi vaadata järgmise käsu abil:
Veergude nimed sisaldavad row.row
, mis vastavad andmestiku massiivi struktuurile ja massiivi veerule. Me ei nimeta selle postituse veerge ümber; juhiste saamiseks vaadake Automatiseerige andmefailides veergude nimede dünaamiline kaardistamine ja ümbernimetamine, kasutades AWS-liimi: 1. osa. Seejärel saate teisendada andmed Parketi vormingusse ja luua AWS-liimi tabeli, kasutades järgmist käsku:
AWS liim DynamicFrame
pakub funktsioone, mida saate kasutada oma ETL-skriptis andmekataloogis skeemi loomiseks ja värskendamiseks. Me kasutame updateBehavior
parameeter, et luua tabel otse andmekataloogis. Selle lähenemisviisi korral ei pea me pärast AWS-i liimitöö lõpetamist AWS-i liimi roomajat käivitama.
Lugege XML-faili, määrates skeemi
Alternatiivne viis faili lugemiseks on skeemi eeldefineerimine. Selleks toimige järgmiselt.
- Importige AWS-liimi andmetüübid:
- Looge XML-faili jaoks skeem:
- XML-faili lugemisel edastage skeem:
- Vabastage andmekogum nagu varem:
- Teisendage andmestik parketiks ja looge AWS-i liimitabel:
Küsige tabeleid kasutades Athena
Nüüd, kui oleme mõlemad tabelid loonud, saame tabelite kohta Athena abil päringuid teha. Näiteks saame kasutada järgmist päringut:
Clean Up
Selles postituses lõime IAM-rolli, AWS Glue Jupyteri märkmiku ja kaks tabelit AWS-i liimiandmete kataloogis. Samuti laadisime mõned failid üles S3 ämbrisse. Nende objektide puhastamiseks toimige järgmiselt.
- Kustutage IAM-konsoolis loodud roll.
- Kustutage AWS Glue Studio konsoolil kohandatud klassifikaator, roomaja, ETL-tööd ja Jupyteri märkmik.
- Liikuge AWS-i liimiandmete kataloogi ja kustutage loodud tabelid.
- Navigeerige Amazon S3 konsoolis loodud ämbrisse ja kustutage nimega kaustad
temp
,infer_schema
jano_infer_schema
.
Võtme tagasivõtmine
AWS Glue'is on funktsioon nimega InferSchema
AWS Glue'is DynamicFrames
. See arvutab automaatselt välja andmeraami struktuuri selles sisalduvate andmete põhjal. Seevastu skeemi määratlemine tähendab selgesõnalist väljaütlemist, milline peaks olema andmeraami struktuur enne andmete laadimist.
XML, mis on tekstipõhine vorming, ei piira selle veergude andmetüüpe. See võib põhjustada probleeme InferSchema funktsiooniga. Näiteks esimesel käivitamisel annab veeru A väärtusega fail 2 tulemuseks Parketi faili, mille veerg A on täisarv. Teisel käivitamisel on uuel failil veerg A väärtusega C, mis viib Parketi failini, mille string on veerg A. Nüüd on S3-s kaks faili, millest igaühel on erinevat tüüpi andmetüüpide veerg A, mis võivad allavoolu probleeme tekitada.
Sama juhtub keeruliste andmetüüpidega, nagu pesastatud struktuurid või massiivid. Näiteks kui failil on üks märgendi kirje transaction
, on see tuletatud struktuurina. Kui aga teisel failil on sama silt, järeldatakse see massiivina
Vaatamata nendele andmetüübi probleemidele, InferSchema
on kasulik, kui te skeemi ei tea või selle käsitsi määratlemine on ebapraktiline. Kuid see pole ideaalne suurte või pidevalt muutuvate andmekogumite jaoks. Skeemi määratlemine on täpsem, eriti keeruliste andmetüüpide puhul, kuid sellel on oma probleemid, näiteks käsitsi pingutuse nõudmine ja andmemuudatuste suhtes paindumatu.
InferSchema
sellel on piirangud, nagu vale andmetüübi järeldus ja probleemid nullväärtuste käsitlemisel. Skeemi määratlemisel on ka piiranguid, nagu käsitsi pingutus ja võimalikud vead.
Skeemi järeldamise ja määratlemise vahel valik sõltub projekti vajadustest. InferSchema on suurepärane väikeste andmekogumite kiireks uurimiseks, samas kui skeemi määratlemine on parem suuremate ja keeruliste andmekogumite jaoks, mis nõuavad täpsust ja järjepidevust. Kaaluge iga meetodi kompromisse ja piiranguid, et valida, mis teie projektile kõige paremini sobib.
Järeldus
Selles postituses uurisime kahte tehnikat XML-andmete haldamiseks AWS-liimi abil, millest igaüks on kohandatud konkreetsete vajaduste ja väljakutsetega, millega võite kokku puutuda.
Tehnika 1 pakub kasutajasõbralikku teed neile, kes eelistavad graafilist liidest. Saate kasutada AWS Glue roomajat ja visuaalset redaktorit, et hõlpsasti määratleda oma XML-failide tabeli struktuur. Selline lähenemine lihtsustab andmehaldusprotsessi ja on eriti ahvatlev neile, kes otsivad otsest viisi oma andmete käsitlemiseks.
Siiski mõistame, et roomajal on oma piirangud, eriti kui tegemist on XML-failidega, mille read on suuremad kui 1 MB. Siin tuleb appi tehnika 2. Kasutades AWS-liimi DynamicFrames
nii tuletatud kui ka fikseeritud skeemidega ja AWS Glue sülearvuti abil saate tõhusalt hallata mis tahes suurusega XML-faile. See meetod pakub tugevat lahendust, mis tagab sujuva töötlemise isegi XML-failide puhul, mille read ületavad 1 MB piirangut.
Andmehalduse maailmas navigeerides võimaldab nende tehnikate kasutamine teie tööriistakomplektis teha teadlikke otsuseid, mis põhinevad teie projekti erinõuetel. Olenemata sellest, kas eelistate tehnika 1 lihtsust või tehnika 2 skaleeritavust, pakub AWS Glue XML-andmete tõhusaks käsitlemiseks vajalikku paindlikkust.
Autoritest
Navnit Shuklatöötab AWS-i spetsialisti lahenduste arhitektina, keskendudes Analyticsile. Tal on suur entusiasm, et aidata klientidel oma andmetest väärtuslikke teadmisi leida. Tänu oma teadmistele loob ta uuenduslikke lahendusi, mis võimaldavad ettevõtetel teha teadlikke ja andmepõhiseid valikuid. Eelkõige on Navnit Shukla raamatu pealkirjaga „Data Wrangling on AWS.
Patrick Muller töötab AWS-is andmelabori vanemarhitektina. Tema peamine ülesanne on aidata klientidel muuta oma ideed tootmisvalmis andmetooteks. Vabal ajal naudib Patrick jalgpalli mängimist, filmide vaatamist ja reisimist.
Amogh Gaikwad on Amazon Web Servicesi vanemlahenduste arendaja. Ta aitab globaalsetel klientidel luua ja juurutada AWS-is AI/ML-lahendusi. Tema töö keskendub peamiselt arvutinägemisele ja loomuliku keele töötlemisele ning klientide abistamisele AI/ML töökoormuse optimeerimisel jätkusuutlikkuse nimel. Amogh on saanud arvutiteaduse magistrikraadi, mis on spetsialiseerunud masinõppele.
Sheela Sonone on AWS-i vanemresident arhitekt. Ta aitab AWS-i klientidel teha teadlikke valikuid ja kompromisse andmete, analüüsi ning AI/ML töökoormuse ja juurutuste kiirendamise osas. Vabal ajal veedab ta meelsasti perega aega – tavaliselt tenniseväljakutel.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/big-data/process-and-analyze-highly-nested-and-large-xml-files-using-aws-glue-and-amazon-athena/
- :on
- :on
- :mitte
- : kus
- $ UP
- 1
- 10
- 100
- 12
- 121
- 13
- 14
- 1994
- 250
- 26
- 53
- 7
- 8
- 9
- a
- MEIST
- ABSTRACT
- kiirendades
- juurdepääs
- kättesaadavus
- saavutatud
- täpsus
- üle
- tegevus
- lisama
- lisatud
- Täiendavad lisad
- aadress
- pärast
- vanus
- AI / ML
- Materjal: BPA ja flataatide vaba plastik
- võimaldama
- Lubades
- võimaldab
- Ka
- alternatiiv
- Amazon
- Amazonase Athena
- Amazon Web Services
- an
- analüüs
- analytics
- analüüsima
- analüüsides
- ja
- Teine
- mistahes
- Apache
- ahvatlev
- rakendused
- kehtima
- lähenemine
- lähenemisviisid
- arhitektuur
- OLEME
- Array
- AS
- abistama
- abistamine
- At
- autor
- automaatselt
- saadaval
- AWS
- AWS liim
- tagasi
- põhineb
- põhiline
- BE
- sest
- enne
- alustama
- on
- BEST
- Parem
- vahel
- tühi
- raamat
- mõlemad
- ehitama
- ettevõtted
- kuid
- by
- kutsutud
- CAN
- kataloog
- Põhjus
- rakk
- väljakutseid
- muutma
- Vaidluste lahendamine
- muutuv
- valikuid
- Vali
- Linn
- klassifikatsioon
- kliendid
- kood
- Veerg
- Veerud
- COM
- tuleb
- ühine
- tavaliselt
- täitma
- Lõpetatud
- keeruline
- arvuti
- Arvutiteadus
- Arvuti visioon
- seisund
- Läbi viima
- koos
- Arvestama
- konsool
- pidevalt
- piiranguid
- ehitama
- sisaldama
- sisaldub
- sisaldab
- kontrast
- kontrollida
- muutma
- ümber
- kuluefektiivne
- kulutõhus lahendus
- maakond
- Kohtud
- kaetud
- roomik
- looma
- loodud
- loomine
- otsustav
- tava
- klient
- Kliendid
- andmed
- andmete integreerimine
- andmehaldus
- andmepõhistele
- andmebaas
- andmekogumid
- tegelema
- otsused
- vaikimisi
- määratlema
- määratlemisel
- süvenema
- näitab
- sõltub
- juurutada
- kavandatud
- üksikasjalik
- detailid
- arendaja
- erinev
- raske
- digitaalne
- digitaalajastul
- otse
- avastades
- eristatav
- do
- Ei tee
- tehtud
- Ära
- DOT
- ajal
- dünaamiline
- iga
- leevendada
- kergesti
- lihtne
- toimetaja
- mõju
- tõhusalt
- efektiivsus
- tõhus
- tõhusalt
- jõupingutusi
- sundimatult
- Starter
- elektriauto
- elemendid
- tööle
- volitama
- annab volitusi
- tühi
- võimaldama
- võimaldades
- kohtumine
- lõpp
- Mootorid
- suurendama
- tagama
- tagab
- sisene
- entusiasm
- kanne
- vead
- eriti
- Eeter (ETH)
- Isegi
- sündmused
- Iga
- näide
- ületama
- vahetamine
- teadmised
- uurimine
- uurima
- uurida
- väljavõte
- kaevandamine
- pere
- tunnusjoon
- FUNKTSIOONID
- arvandmed
- fail
- Faile
- rahastama
- esimene
- fikseeritud
- Paindlikkus
- Keskenduma
- keskendunud
- Järel
- eest
- formaat
- FRAME
- tasuta
- Sagedus
- Alates
- funktsioon
- kasu
- Üldine otstarve
- tekitama
- Globaalne
- Go
- eesmärk
- Valitsus
- suur
- käepide
- Käsitsemine
- juhtub
- Kasutamine
- Olema
- võttes
- he
- tervishoid
- süda
- aitama
- aidates
- aitab
- siin
- kõrgetasemeline
- kõrgelt
- tema
- Kuidas
- Kuidas
- aga
- HTML
- http
- HTTPS
- IAM
- ideaalne
- ideid
- Identity
- if
- illustreerib
- rakendada
- rakendused
- rakendamisel
- import
- parandama
- paranenud
- in
- Kaasa arvatud
- eraldi
- inimesed
- tööstusharudes
- info
- teavitatakse
- Infrastruktuur
- uuenduslik
- sees
- teadmisi
- selle asemel
- juhised
- integreerima
- integratsioon
- interaktiivne
- huvitatud
- Interface
- sisse
- hõlmab
- küsimustes
- IT
- ITS
- töö
- Tööturg
- jpg
- Json
- Jupyteri sülearvuti
- hoidma
- Teadma
- labor
- keel
- suur
- suurem
- juhtivate
- Õppida
- õppimine
- Tase
- nagu
- LIMIT
- piiramine
- piirangud
- joon
- liinid
- koormus
- laadimine
- loogika
- otsin
- masin
- masinõpe
- põhiline
- peamiselt
- tegema
- Tegemine
- juhtimine
- juhtiv
- käsiraamat
- käsitsi
- palju
- kaardistus
- meistrid
- mai..
- vahendid
- menüü
- Metaandmed
- meetod
- protokoll
- mudel
- rohkem
- tõhusam
- kõige
- liikuma
- Filmid
- mitmekordne
- nimi
- Nimega
- nimed
- Natural
- Loomulik keel
- Natural Language Processing
- Navigate
- NAVIGATSIOON
- vajalik
- Vajadus
- vajadustele
- Uus
- äsja
- järgmine
- eelkõige
- märkmik
- nüüd
- number
- esemeid
- of
- Pakkumised
- on
- ONE
- ainult
- Operations
- optimaalselt
- optimeerima
- Optimeerib
- Valikud
- or
- et
- organisatsioonid
- päritolu
- Muu
- meie
- välja
- väljund
- üle
- Ületada
- enda
- lehekülg
- pane
- parameeter
- parameetrid
- osa
- eriti
- sooritama
- tee
- Patrick
- täitma
- jõudlus
- Õigused
- valima
- Platon
- Platoni andmete intelligentsus
- PlatoData
- mängimine
- poliitika
- rahvastik
- omama
- post
- potentsiaal
- vajadus
- eelistama
- eeldused
- Eelvaade
- eelmine
- probleeme
- protsess
- töödeldud
- töötlemine
- Toode
- projekt
- projektid
- omadused
- anda
- annab
- avaldama
- eesmärk
- Python
- päringud
- Kiire
- pigem
- Lugenud
- kergesti
- Lugemine
- põhjustel
- saadud
- tunnistama
- viitama
- asjakohane
- Nõuded
- päästma
- ressurss
- vastus
- vastutus
- REST
- piirata
- piirang
- Tulemused
- jõuline
- Roll
- juur
- ROW
- jooks
- sama
- Säästa
- Scala
- Skaalautuvus
- skaalautuvia
- teadus
- käsikiri
- sujuv
- sujuvalt
- Teine
- Osa
- vaata
- vanem
- Teenused
- istung
- komplekt
- kehtestamine
- mitu
- ta
- Shell
- peaks
- näitama
- näidatud
- Näitused
- sarnane
- lihtne
- lihtsus
- lihtsustamine
- ühekordne
- SUURUS
- väike
- So
- jalgpall
- lahendus
- Lahendused
- mõned
- allikas
- Allikad
- Säde
- spetsialist
- spetsialiseerunud
- konkreetse
- eriti
- kiirus
- Kulutused
- SQL
- standard
- algab
- riik
- väljavõte
- märkides
- Samm
- Sammud
- ladustamine
- ladustatud
- lihtne
- kiirendama
- nöör
- tugev
- struktuur
- struktuuride
- stuudio
- edu
- selline
- sobiv
- toetama
- kindel
- Jätkusuutlikkus
- süsteemid
- tabel
- TAG
- kohandatud
- Võtma
- võtab
- ülesanded
- tehnikat
- tennis
- kui
- et
- .
- teave
- maailm
- oma
- Neile
- SIIS
- Seal.
- Need
- nad
- see
- need
- Läbi
- aeg
- Kapslid
- pealkirjaga
- et
- tänane
- Käsiraamat
- ülemine
- teema
- Muutma
- Transformation
- Reisimine
- Pööramine
- juhendaja
- kaks
- tüüp
- liigid
- lõplik
- all
- Värskendused
- ajakohastatud
- laetud
- us
- kasutatavus
- kasutama
- Kasutatud
- Kasutaja
- Kasutajaliides
- kasutajasõbralik
- kasutusalad
- kasutamine
- tavaliselt
- kasutades
- väärtuslik
- väärtus
- Väärtused
- sõiduk
- versioon
- kaudu
- vaade
- vaated
- nägemus
- vaadates
- Tee..
- we
- web
- veebiteenused
- M
- millal
- samas kui
- kas
- mis
- WHO
- miks
- will
- koos
- jooksul
- ilma
- Töö
- töövoog
- Töövoogud
- töötab
- maailm
- kirjutama
- XML
- sa
- Sinu
- sephyrnet