Automatizált adatelemzés (ADA) az AWS-en egy AWS-megoldás, amely lehetővé teszi, hogy néhány perc alatt értelmes betekintést nyerjen az adatokból egy egyszerű és intuitív felhasználói felületen keresztül. Az ADA egy AWS-natív adatelemző platformot kínál, amely készen áll arra, hogy az adatelemzők már a dobozból is felhasználhassák a különféle felhasználási esetekben. Az ADA segítségével a csapatok különféle adatkészleteket foglalhatnak be, alakíthatnak át, irányíthatnak és lekérdezhetnek különféle adatforrásokból anélkül, hogy speciális műszaki ismeretekre lenne szükségük. Az ADA egy sor előre beépített csatlakozók sokféle forrásból származó adatok feldolgozása, beleértve Amazon egyszerű tárolási szolgáltatás (Amazon S3), Amazon Kinesis adatfolyamok, amazonfelhőóra, Amazon CloudTrailés Amazon DynamoDB valamint sok más.
Az ADA olyan alapplatformot biztosít, amelyet az adatelemzők sokféle felhasználási területen használhatnak, beleértve az IT-t, a pénzügyet, a marketinget, az értékesítést és a biztonságot. Az ADA beépített CloudWatch adatösszekötője lehetővé teszi az adatok feldolgozását a CloudWatch-naplókból ugyanabban az AWS-fiókban, amelyben az ADA-t telepítették, vagy egy másik AWS-fiókból.
Ebben a bejegyzésben bemutatjuk, hogy egy alkalmazásfejlesztő vagy alkalmazástesztelő hogyan tudja használni az ADA-t, hogy működési betekintést nyerjen az AWS-ben futó alkalmazásokról. Azt is bemutatjuk, hogyan használhatja az ADA megoldást az AWS különböző adatforrásaihoz való csatlakozáshoz. Mi először telepítse az ADA megoldást egy AWS fiókba és állítsa be az ADA megoldást létrehozásával adattermékek adatcsatlakozók segítségével. Ezután az ADA Query Workbench segítségével egyesítjük a különálló adatkészleteket, és lekérdezzük a korrelált adatokat az ismert strukturált lekérdezési nyelv (SQL) használatával, hogy betekintést nyerjünk. Azt is bemutatjuk, hogy az ADA hogyan integrálható üzleti intelligencia (BI) eszközökkel, például a Tableau-val az adatok megjelenítéséhez és jelentések készítéséhez.
Megoldás áttekintése
Ebben a részben bemutatjuk a demó megoldás architektúráját, és elmagyarázzuk a munkafolyamatot. A szemléltetés céljából az egyedi alkalmazás szimulációja egy AWS Lambda bejelentkezést kibocsátó funkció Apache naplóformátum segítségével előre beállított időközönként Amazon EventBridge. Ezt a szabványos formátumot számos különböző webszerver állíthatja elő, és számos naplóelemző program is elolvashatja. Az alkalmazás (Lambda funkció) naplói egy CloudWatch naplócsoportba kerülnek. Az alkalmazástörténeti naplókat referencia és lekérdezés céljából egy S3 tárolóban tároljuk. Egy keresőtábla a listával HTTP állapotkódok a leírásokkal együtt egy DynamoDB táblában van tárolva. Ez a három szolgál olyan forrásként, amelyből az adatok bekerülnek az ADA-ba korreláció, lekérdezés és elemzés céljából. Mi telepítse az ADA megoldást egy AWS fiókba és állítsa be az ADA-t. Ezután létrehozzuk a adattermékek az ADA-n belül a CloudWatch naplócsoport, S3 vödörés DynamoDB. Az adattermékek konfigurálása során az ADA adatfolyamokat hoz létre az adatok forrásokból való feldolgozásához. Az ADA Query Workbench segítségével egyszerű SQL-lel lekérdezheti a bevitt adatokat az alkalmazások hibaelhárításához vagy a probléma diagnosztizálásához.
A következő diagram áttekintést nyújt az ADA használatának architektúrájáról és munkafolyamatáról, hogy betekintést nyerjen az alkalmazásnaplókba.
A munkafolyamat a következő lépéseket tartalmazza:
- Az EventBridge használatával a tervek szerint 2 perces időközönként aktiválódik egy lambda funkció.
- A Lambda funkció naplókat bocsát ki, amelyek egy meghatározott CloudWatch naplócsoportban vannak tárolva
/aws/lambda/CdkStack-AdaLogGenLambdaFunction
. Az alkalmazásnaplók az Apache Log Format séma használatával jönnek létre, de a CloudWatch naplócsoportban tárolódnak JSON formátumban. - A CloudWatch, Amazon S3 és DynamoDB adattermékei az ADA-ban jönnek létre. A CloudWatch adattermék csatlakozik a CloudWatch naplócsoporthoz, ahol az alkalmazás (Lambda funkció) naplóit tárolják. Az Amazon S3 csatlakozó egy S3 vödör mappához csatlakozik, ahol az előzménynaplókat tárolják. A DynamoDB-összekötő egy DynamoDB-táblához csatlakozik, ahol az alkalmazás által hivatkozott állapotkódok és az előzménynaplók tárolódnak.
- Az ADA mindegyik adattermékhez az adatfolyam-infrastruktúrát telepíti, hogy feldolgozza az adatokat a forrásokból. Amikor az adatfeldolgozás befejeződött, lekérdezéseket írhat SQL használatával az ADA Query Workbench segítségével.
- Bejelentkezhet az ADA-portálra, és SQL-lekérdezéseket írhat össze a Query Workbenchből, hogy betekintést nyerjen az alkalmazásnaplókba. Opcionálisan mentheti a lekérdezést, és megoszthatja a lekérdezést más ADA-felhasználókkal ugyanabban a tartományban. Az ADA lekérdezési szolgáltatást a Amazon Athéné, amely egy szerver nélküli, interaktív analitikai szolgáltatás, amely egyszerűsített, rugalmas módot kínál petabájtnyi adat elemzésére.
- A Tableau úgy van konfigurálva, hogy az ADA-adattermékeket ADA kimeneti végpontokon keresztül érje el. Ezután hozzon létre egy irányítópultot két diagrammal. Az első diagram egy hőtérkép, amely az alkalmazás API-végpontjaival korrelált HTTP-hibakódok gyakoriságát mutatja. A második diagram egy oszlopdiagram, amely a 10 legnépszerűbb alkalmazási API-t mutatja a HTTP-hibakódok teljes számával az előzményadatokból.
Előfeltételek
Ehhez a bejegyzéshez a következő előfeltételeket kell teljesítenie:
- Telepítse a AWS parancssori interfész (AWS CLI), AWS Cloud Development Kit (AWS CDK) előfeltételek, TypeScript-specifikus előfeltételekés csoportos it.
- Telepítése az ADA megoldást az AWS-fiókjában a
us-east-1
Vidék.- Adjon meg egy adminisztrátori e-mailt az ADA indításakor AWS felhőképződés Kazal. Ez szükséges ahhoz, hogy az ADA elküldje a root felhasználó jelszavát. Adminisztrátori telefonszám szükséges az egyszeri jelszóüzenet fogadásához, ha a többtényezős hitelesítés (MFA) engedélyezett. Ennél a bemutatónál az MFA nincs engedélyezve.
- Készítse el és telepítse a minta alkalmazást (elérhető a GitHub repo) megoldást, hogy a következő erőforrások biztosíthatók legyenek fiókjában a
us-east-1
Régió:- Egy lambda-függvény, amely szimulálja a naplózó alkalmazást, és egy EventBridge-szabály, amely 2 perces időközönként meghívja az alkalmazás függvényét.
- Egy S3-csoport a megfelelő gyűjtőkör-házirendekkel és egy CSV-fájl, amely tartalmazza az alkalmazásnaplókat.
- Egy DynamoDB tábla a keresési adatokkal.
- jelentő AWS Identity and Access Management A szolgáltatásokhoz szükséges (IAM) szerepkörök és engedélyek.
- Opcionálisan telepítse Asztal asztali, egy harmadik fél BI-szolgáltató. Ehhez a bejegyzéshez a Tableau Desktop 2021.2-es verzióját használjuk. A Tableau Desktop alkalmazás licencelt verziójának használata költséggel jár. További részletekért lásd a Tableau engedélyezése információkat.
Telepítse és állítsa be az ADA-t
Az ADA sikeres telepítése után megteheti jelentkezzen be a telepítés során megadott admin e-mail cím használatával. Ezután létrehozza a domain nevezett CW_Domain
. A tartomány adattermékek felhasználó által meghatározott gyűjteménye. Például egy domain lehet egy csapat vagy egy projekt. A tartományok strukturált módot biztosítanak a felhasználók számára adattermékeik rendszerezésére és hozzáférési engedélyek kezelésére.
- Az ADA konzolon válassza a lehetőséget Domains a navigációs ablaktáblában.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Domain létrehozása.
- Írjon be egy nevet (
CW_Domain
) és leírást, majd válasszon Küld.
Állítsa be a példaalkalmazás-infrastruktúrát az AWS CDK használatával
A demóalkalmazást telepítő AWS CDK-megoldás a webhelyen található GitHub. A repo klónozásának és az AWS CDK projekt beállításának lépéseit ebben a részben részletezzük. Mielőtt futtatná ezeket a parancsokat, győződjön meg róla configure az Ön AWS hitelesítő adatait. Hozzon létre egy mappát, nyissa meg a terminált, és keresse meg azt a mappát, ahová az AWS CDK megoldást telepíteni kell. Futtassa a következő kódot:
Ezek a lépések a következő műveleteket hajtják végre:
- Telepítse a könyvtárfüggőségeket
- Építsd meg a projektet
- Hozzon létre egy érvényes CloudFormation-sablont
- Telepítse a veremet az AWS CloudFormation segítségével az AWS-fiókjában
A telepítés körülbelül 1–2 percet vesz igénybe, és létrehozza a DynamoDB keresési táblát, a Lambda függvényt és az S3 tárolót, amely kimenetként tartalmazza az előzménynaplófájlokat. Másolja ezeket az értékeket egy szövegszerkesztő alkalmazásba, például a Jegyzettömbbe.
ADA adattermékek létrehozása
Három különböző adatterméket hozunk létre ehhez a bemutatóhoz, egyet minden adatforráshoz, amelyet le kell kérdezni, hogy működési betekintést nyerjen. Az adattermék egy adatkészlet (adatgyűjtemény, például tábla vagy CSV-fájl), amelyet sikeresen importáltak az ADA-ba, és amely lekérdezhető.
Hozzon létre egy CloudWatch adatterméket
Először is létrehozunk egy adatterméket az alkalmazásnaplókhoz úgy, hogy beállítjuk az ADA-t, hogy feldolgozza a mintaalkalmazás CloudWatch naplócsoportját (Lambda funkció). Használja a CdkStack.LambdaFunction
kimenetet az ARN Lambda függvény lekéréséhez, és keresse meg a megfelelő CloudWatch naplócsoport ARN-t a CloudWatch konzolon.
Ezután hajtsa végre a következő lépéseket:
- Az ADA konzolon navigáljon az ADA tartományhoz, és hozzon létre egy CloudWatch adatterméket.
- A Név¸ írjon be egy nevet.
- A Forrás típus, választani amazonfelhőóra.
- Kikapcsolja Automatikus személyazonosító adatok.
Az ADA rendelkezik egy olyan funkcióval, amely automatikusan észleli a személyazonosításra alkalmas információkat (PII) az importálás során, és amely alapértelmezés szerint engedélyezett. Ennél a demónál letiltjuk ezt a beállítást az adatterméknél, mert a személyazonosításra alkalmas adatok feltárása nem tartozik a bemutató hatókörébe.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
- Keresse meg és válassza ki az előző lépésből másolt CloudWatch naplócsoport ARN-t.
- Másolja az ARN naplócsoportot.
- Az adattermék oldalon adja meg az ARN naplócsoportot.
- A CloudWatch lekérdezés, írjon be egy lekérdezést, amelyet az ADA-nak a naplócsoportból szeretne megkapni.
Ebben a demóban az @üzenet mezőt kérdezzük le, mert szeretnénk az alkalmazásnaplókat a naplócsoportból lekérni.
- Válassza ki, hogy az adatfrissítések hogyan induljanak el a kezdeti importálás után.
Az ADA beállítható úgy, hogy rugalmas időközönként (legfeljebb 15 perccel vagy később) vagy igény szerint feldolgozza az adatokat a forrásból. A demó esetében az adatfrissítéseket óránkénti futtatásra állítottuk be.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
Ezután az ADA csatlakozik a naplócsoporthoz, és lekérdezi a sémát. Mivel a naplók Apache naplóformátumúak, a naplókat külön mezőkké alakítjuk, hogy lekérdezéseket tudjunk futtatni az adott naplómezőkön. Az ADA négyet biztosít alapértelmezett átalakításokat és támogatja az egyéni átalakításokat Python-szkripten keresztül. Ebben a demóban egyéni Python-szkriptet futtatunk, hogy a JSON-üzenetmezőt Apache naplóformátum mezőkké alakítsuk át.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Átalakítási séma.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Új transzformáció létrehozása.
- Töltse fel a
apache-log-extractor-transform.py
forgatókönyv a/asset/transform_logs/
mappát. - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Küld.
Az ADA a szkript segítségével átalakítja a CloudWatch-naplókat, és bemutatja a feldolgozott sémát.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
- Az utolsó lépésben tekintse át a lépéseket, és válasszon Küld.
Az ADA elindítja az adatfeldolgozást, létrehozza az adatfolyamokat, és előkészíti a CloudWatch naplócsoportokat a Query Workbenchből való lekérdezéshez. Ez a folyamat néhány percet vesz igénybe, és megjelenik az ADA konzolon a alatt Adatok Termékek.
Hozzon létre egy Amazon S3 adatterméket
Megismételjük a lépéseket az Amazon S3 adatforrás előzménynaplóinak hozzáadásához, és a referenciaadatok kikereséséhez a DynamoDB táblából. Ehhez a két adatforráshoz nem hozunk létre egyéni átalakításokat, mert az adatformátumok CSV formátumban vannak (előzménynaplókhoz) és kulcsattribútumok (referencia-keresési adatokhoz).
- Az ADA-konzolon hozzon létre egy új adatterméket.
- Írjon be egy nevet (
hist_logs
) és válassza Amazon S3. - Másolja az Amazon S3 URI-t (az utána lévő szöveget
arn:aws:s3:::
) tólCdkStack.S3
kimeneti változót, és navigáljon az Amazon S3 konzolra. - A keresőmezőbe írja be a másolt szöveget, nyissa meg az S3 tárolót, válassza ki a
/logs
mappát, és válassza az S3 URI másolása lehetőséget.
A történelmi naplók ezen az útvonalon tárolódnak.
- Navigáljon vissza az ADA konzolhoz, és adja meg a másolt S3 URI-t S3 hely.
- A Frissítse a triggertválassza Igény szerint mert az előzménynaplók nem meghatározott gyakorisággal frissülnek.
- A Irányelv frissítéseválassza mellékel az újonnan importált adatok hozzáfűzéséhez a meglévő adatokhoz.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
Az ADA feldolgozza a kiválasztott mappa elérési útjában lévő fájlok sémáját. Mivel a naplók CSV formátumúak, az ADA további átalakítások nélkül is képes olvasni az oszlopneveket. Azonban az oszlopok status_code
és a request_size
hosszú típusra következtet az ADA. Szeretnénk az adattermékek között konzisztens oszlopadattípusokat tartani, hogy az adattáblákat összekapcsolhassuk és az adatokat lekérdezhessük. Az oszlop status_code
az adattáblázatok összekapcsolására szolgál.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Átalakítási séma hogy a két oszlop adattípusát karakterlánc adattípusra módosítsa.
Jegyezze fel a kiemelt oszlopneveket a Séma előnézete ablaktáblát az adattípus-átalakítások alkalmazása előtt.
- A Átalakítási terv panel alatt Beépített transzformációk, választ Leképezés alkalmazása.
Ezzel az opcióval módosíthatja az adattípust egyik típusról a másikra.
- A Leképezés alkalmazása szakaszban törölje a kijelölést Dobd el a többi mezőt.
Ha ez az opció nincs letiltva, csak az átalakított oszlopok maradnak meg, és az összes többi oszlop el lesz veszve. Mivel meg akarjuk tartani az összes oszlopot, letiltjuk ezt a lehetőséget.
- Alatt Mezőleképezések¸ számára Régi név és a Új név, belép
status_code
és a Új típus, belépstring
. - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Elem hozzáadása.
- A Régi név és a Új név¸ írja be a request_size és a for értéket Új adattípus, írja be a karakterláncot.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Küld.
Az ADA alkalmazza a leképezési átalakítást az Amazon S3 adatforráson. Vegye figyelembe az oszloptípusokat a Séma előnézete ablaktábla.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Minta megtekintése az alkalmazott transzformációval rendelkező adatok előnézetéhez.
Az ADA megjeleníti a személyazonosításra alkalmas adatok visszaigazolását annak biztosítására, hogy vagy csak a jogosult felhasználók tekinthessék meg az adatokat, vagy hogy az adatkészlet ne tartalmazzon személyazonosításra alkalmas adatokat.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Egyetért a mintaadatok megtekintéséhez.
Vegye figyelembe, hogy a séma megegyezik a CloudWatch naplócsoportsémával, mert mind az aktuális alkalmazásnaplók, mind a korábbi alkalmazásnaplók Apache naplóformátumban vannak.
- Az utolsó lépésben tekintse át a konfigurációt, és válassza ki Küld.
Az ADA megkezdi az Amazon S3 forrásból származó adatok feldolgozását, létrehozza a háttérinfrastruktúrát, és előkészíti az adatterméket. Ez a folyamat az adatok méretétől függően néhány percig tart.
Hozzon létre egy DynamoDB adatterméket
Végül létrehozunk egy DynamoDB adatterméket. Hajtsa végre a következő lépéseket:
- Az ADA-konzolon hozzon létre egy új adatterméket.
- Írjon be egy nevet (
lookup
) és válassza Amazon DynamoDB. - Lépjen be a
Cdk.DynamoDBTable
kimeneti változó a számára DynamoDB ARN tábla.
Ez a tábla olyan kulcsattribútumokat tartalmaz, amelyek ebben a bemutatóban keresőtáblaként lesznek használva. A keresési adatokhoz a HTTP kódokat, valamint a kódok hosszú és rövid leírását használjuk. Alternatívaként használhat PostgreSQL-t, MySQL-t vagy CSV-fájlforrást.
- A Frissítse a triggertválassza Igény szerint.
A frissítések igény szerintiek lesznek, mert a keresés többnyire referencia célt szolgál lekérdezés közben, és a keresési adatok bármely frissítése frissíthető az ADA-ban igény szerinti triggerek használatával.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
Az ADA beolvassa a sémát az alapul szolgáló DynamoDB sémából, és megadja az oszlop nevét és típusát az opcionális átalakításhoz. Folytatjuk az alapértelmezett sémaválasztást, mert az oszloptípusok összhangban vannak a CloudWatch naplócsoport és az Amazon S3 CSV adatforrás típusaival. Az adatforrásokban konzisztens adattípusok lehetővé teszik számunkra, hogy lekérdezéseket írjunk a rekordok lekéréséhez a táblák oszlopmezők használatával történő összekapcsolásával. Például az oszlop key
a DynamoDB sémában megfelel a status_code
az Amazon S3 és a CloudWatch adattermékekben. Olyan lekérdezéseket írhatunk, amelyek az oszlopnév segítségével összekapcsolhatják a három táblát key
. Egy példa látható a következő részben.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Folytassa a jelenlegi sémával.
- Tekintse át a konfigurációt, és válassza ki Küld.
Az ADA feldolgozza a DynamoDB tábla adatforrásából származó adatokat, és elkészíti az adatterméket. Az adatok méretétől függően ez a folyamat néhány percet vesz igénybe.
Most már mindhárom adatterméket az ADA dolgozza fel, és elérhető a lekérdezések futtatásához.
Használja a Query Workbench-et az adatok lekérdezéséhez
Az ADA lehetővé teszi lekérdezések futtatását az adattermékek ellen, miközben az adatforrást elvonatkoztatja, és SQL (Structured Query Language) segítségével elérhetővé teszi. Lekérdezéseket írhat és összekapcsolhatja a táblákat ugyanúgy, mint egy relációs adatbázisban lévő táblák lekérdezését. Az ADA lekérdezési képességét két felhasználói forgatókönyv segítségével mutatjuk be. Mindkét forgatókönyvben egy alkalmazásnapló-adatkészletet kapcsolunk a hibakód-keresési táblázathoz. Az első használat során lekérdezzük az aktuális alkalmazásnaplókat, hogy azonosítsuk a 10 leggyakrabban használt alkalmazásvégpontot a megfelelő HTTP-állapotkódokkal együtt:
A második példában lekérdezzük az előzménynapló-táblázatot, hogy megkapjuk a 10 legtöbb hibával rendelkező alkalmazásvégpontot, hogy megértsük a végponthívási mintát:
A lekérdezés mellett opcionálisan elmentheti a lekérdezést, és megoszthatja az elmentett lekérdezést az azonos tartomány többi felhasználójával. A megosztott lekérdezések közvetlenül elérhetők a Query Workbenchből. A lekérdezés eredménye CSV formátumba is exportálható.
Vizualizálja az ADA-adattermékeket a Tableau-ban
Az ADA lehetőséget kínál arra connect harmadik féltől származó BI-eszközökhöz az adatok megjelenítéséhez és az ADA adattermékekből származó jelentések létrehozásához. Ebben a bemutatóban az ADA és a Tableau natív integrációját használjuk a korábban konfigurált három adattermék adatainak megjelenítéséhez. A Tableau Athena csatlakozójának használatával és a lépések követésével Tableau konfiguráció, beállíthatja az ADA-t adatforrásként a Tableauban. Miután sikeresen létrejött a kapcsolat Tableau és az ADA között, a Tableau feltölti a három adatterméket a Tableau katalógusba. cw_domain
.
Ezután kapcsolatot létesítünk a három adatbázis között, a HTTP állapotkódot használva csatlakozási oszlopként, amint az a következő képernyőképen látható. A Tableau lehetővé teszi, hogy online és offline módban dolgozzunk az adatforrásokkal. Online módban a Tableau csatlakozik az ADA-hoz, és élőben lekérdezi az adattermékeket. Offline módban használhatjuk a kivonat lehetőség az adatok ADA-ból való kinyerésére és az adatok Tableau-ba való importálására. Ebben a bemutatóban az adatokat a Tableau-ba importáljuk, hogy a lekérdezést reagálóbbá tegyük. Ezután elmentjük a Tableau munkafüzetet. Az adatforrásokból származó adatokat az adatbázis és az adatbázis kiválasztásával tudjuk ellenőrizni Frissítse most.
Az adatforrás-konfigurációkkal a Tableauban egyéni jelentéseket, diagramokat és vizualizációkat hozhatunk létre az ADA adattermékeken. Tekintsünk két használati esetet a vizualizációkhoz.
Amint az a következő ábrán látható, a HTTP-hibák gyakoriságát alkalmazásvégpontok szerint vizualizáltuk a Tableau beépített programjával. hőtérkép diagram. Kiszűrtük a HTTP állapotkódokat, hogy csak a 4xx és 5xx tartományba tartozó hibakódokat tartalmazzák.
Létrehoztunk egy oszlopdiagramot is, amely a HTTP hibakódok száma szerint rendezett előzménynaplókból ábrázolja az alkalmazás végpontjait. Ezen a diagramon láthatjuk, hogy a /v1/server/admin
végpont generálta a legtöbb HTTP hibaállapotkódot.
Tisztítsuk meg
A mintaalkalmazás-infrastruktúra tisztítása kétlépéses folyamat. Először is, a bemutató céljaira biztosított infrastruktúra eltávolításához futtassa a következő parancsot a terminálon:
A következő kérdéshez írja be az y értéket, és az AWS CDK törli a demóhoz telepített erőforrásokat:
Alternatív megoldásként eltávolíthatja az erőforrásokat az AWS CloudFormation konzolon keresztül úgy, hogy navigál a CdkStack veremhez, és válassza a töröl.
A második lépés az ADA eltávolítása. Az utasításokat lásd: Távolítsa el a megoldást.
Következtetés
Ebben a bejegyzésben bemutattuk, hogyan használható az ADA megoldás két különböző adatforrásban tárolt alkalmazásnaplókból való betekintéshez. Bemutattuk, hogyan kell telepíteni az ADA-t AWS-fiókra, és telepíteni a demókomponenseket az AWS CDK használatával. Adattermékeket hoztunk létre az ADA-ban, és konfiguráltuk az adattermékeket a megfelelő adatforrásokkal az ADA beépített adatcsatlakozói segítségével. Bemutattuk, hogyan lehet lekérdezni az adattermékeket szabványos SQL lekérdezések segítségével, és hogyan lehet betekintést nyerni a naplóadatokba. A Tableau Desktop klienst, egy harmadik féltől származó BI-terméket is összekapcsoltuk az ADA-val, és bemutattuk, hogyan építhetünk vizualizációkat az adattermékekhez.
Az ADA automatizálja a különféle adatkészletek feldolgozásának, átalakításának, irányításának és lekérdezésének folyamatát, és egyszerűsíti az adatok életciklus-kezelését. Az ADA előre beépített csatlakozói lehetővé teszik a különböző adatforrásokból származó adatok feldolgozását. Az AWS-termékekkel és -szolgáltatásokkal kapcsolatos alapismeretekkel rendelkező szoftvercsapatok néhány óra alatt felállíthatnak egy működő adatelemző platformot, és biztonságos hozzáférést biztosítanak az adatokhoz. Az adatok ezután egyszerűen és gyorsan lekérdezhetők egy intuitív és önálló webes felhasználói felület segítségével.
Próbálja ki az ADA-t még ma, hogy könnyen kezelje az adatokat, és betekintést nyerjen azokból.
A szerzőkről
Aparajithan Vaidyanathan az AWS vállalati megoldások vezető építésze. Támogatja a vállalati ügyfelek migrációját és munkaterhelésük korszerűsítését az AWS felhőben. Cloud Architect, több mint 23 éves tapasztalattal vállalati, nagyméretű és elosztott szoftverrendszerek tervezésében és fejlesztésében. Gépi tanulásra és adatelemzésre specializálódott, az adat- és szolgáltatásmérnöki tartományra összpontosítva. Aspiráns maratoni futó, hobbija a túrázás, a kerékpározás, valamint a feleségével és két fiúval való időtöltés.
Rashim Rahman egy Sydney-ben, Ausztráliában működő szoftverfejlesztő, aki több mint 10 éves tapasztalattal rendelkezik szoftverfejlesztés és architektúra terén. Elsősorban nagyszabású, nyílt forráskódú AWS-megoldások kidolgozásával foglalkozik a gyakori ügyfélhasználati esetekre és üzleti problémákra. Szabadidejében szeret sportolni, és a barátokkal, családdal tölti az idejét.
Hafiz Saadullah az Amazon Web Services fő műszaki termékmenedzsere. A Hafiz az AWS-megoldásokra összpontosít, amelyek célja az ügyfelek segítése a gyakori üzleti problémák és használati esetek megoldásában.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Autóipar / elektromos járművek, Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- ChartPrime. Emelje fel kereskedési játékát a ChartPrime segítségével. Hozzáférés itt.
- BlockOffsets. A környezetvédelmi ellentételezési tulajdon korszerűsítése. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/big-data/derive-operational-insights-from-application-logs-using-automated-data-analytics-on-aws/
- :van
- :is
- :nem
- :ahol
- $ UP
- 10
- 11
- 12
- 14
- 15%
- 16
- 160
- 17
- 2021
- 3000
- 500
- 7
- 8
- 9
- a
- képesség
- Képes
- Rólunk
- hozzáférés
- igénybe vett
- hozzáférhető
- Fiók
- át
- cselekvések
- ADA
- hozzá
- mellett
- További
- címzés
- admin
- Után
- ellen
- Minden termék
- lehetővé
- lehetővé teszi, hogy
- mentén
- Is
- alternatív
- amazon
- Az Amazon Web Services
- között
- an
- elemzés
- Az elemzők
- analitika
- elemez
- és a
- Másik
- bármilyen
- Apache
- api
- API-k
- Alkalmazás
- alkalmazások
- alkalmazott
- alkalmaz
- Alkalmazása
- építészet
- VANNAK
- AS
- becsvágyó
- At
- attribútumok
- Ausztrália
- Hitelesítés
- felhatalmazott
- Automatizált
- automaták
- automatikusan
- elérhető
- AWS
- AWS felhőképződés
- vissza
- háttér
- bár
- alapján
- alapvető
- BE
- mert
- óta
- előtt
- mérték utáni
- között
- mindkét
- Doboz
- épít
- Épület
- beépített
- üzleti
- üzleti intelligencia
- de
- by
- hívás
- TUD
- képesség
- eset
- esetek
- katalógus
- CD
- változik
- Táblázatos
- táblázatok
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- választja
- vásárló
- felhő
- kód
- kódok
- gyűjtemény
- Oszlop
- Oszlopok
- Közös
- teljes
- alkatrészek
- Configuration
- konfigurálva
- Csatlakozás
- összefüggő
- kapcsolat
- összeköt
- Fontolja
- következetes
- Konzol
- tartalmaz
- folytatódik
- korrelációs
- Összefüggés
- Megfelelő
- megfelel
- Költség
- teremt
- készítette
- teremt
- létrehozása
- Hitelesítő adatok
- Jelenlegi
- szokás
- vevő
- Ügyfelek
- műszerfal
- dátum
- Adatelemzés
- adatfeldolgozás
- adatbázis
- adatbázisok
- adatkészletek
- alapértelmezett
- Kereslet
- Demó
- bizonyítani
- igazolták
- attól
- telepíteni
- telepített
- bevetés
- bevet
- leírás
- tervezett
- tervezés
- asztali
- részletes
- részletek
- Fejlesztő
- fejlesztése
- Fejlesztés
- diagnózis
- különböző
- közvetlenül
- Tiltva
- felfedezés
- kijelző
- megosztott
- számos
- Nem
- domain
- domainek
- ne
- csökkent
- alatt
- minden
- Korábban
- könnyen
- szerkesztés
- bármelyik
- engedélyezve
- lehetővé teszi
- Endpoint
- végpontok
- Mérnöki
- biztosítására
- belép
- Vállalkozás
- vállalati ügyfelek
- Vállalati megoldások
- hiba
- hibák
- létrehozni
- megalapozott
- Eter (ETH)
- példa
- létező
- tapasztalat
- Magyarázza
- magyarázat
- kivonat
- kivonni az adatokat
- ismerős
- család
- Funkció
- kevés
- mező
- Fields
- Ábra
- filé
- Fájlok
- utolsó
- finanszíroz
- vezetéknév
- rugalmas
- Összpontosít
- koncentrál
- következő
- A
- formátum
- négy
- Frekvencia
- barátok
- ból ből
- funkció
- Nyereség
- generál
- generált
- kap
- szerzés
- irányító
- Csoport
- Csoportok
- Legyen
- tekintettel
- he
- segít
- Kiemelt
- turisztika
- övé
- történeti
- Hobbi
- házigazdája
- NYITVATARTÁS
- Hogyan
- How To
- azonban
- HTML
- http
- HTTPS
- IAM
- identiques
- azonosítani
- Identitás
- if
- importál
- in
- tartalmaz
- magában foglalja a
- Beleértve
- információ
- Infrastruktúra
- kezdetben
- meglátások
- telepíteni
- telepítés
- utasítás
- integrált
- integráció
- Intelligencia
- interaktív
- érdekelt
- Felület
- bele
- intuitív
- behívja
- részt
- kérdés
- IT
- csatlakozik
- csatlakozott
- csatlakozik
- jpg
- json
- éppen
- Tart
- Kulcs
- tudás
- nyelv
- nagy
- nagyarányú
- keresztnév
- a későbbiekben
- indítás
- tanulás
- könyvtár
- Engedélyezett
- életciklus
- mint
- LIMIT
- vonal
- Lista
- él
- log
- fakitermelés
- Hosszú
- néz
- lookup
- gép
- gépi tanulás
- csinál
- Gyártás
- kezelése
- vezetés
- menedzser
- sok
- térkép
- térképészet
- Marathon
- Marketing
- Anyag
- jelentőségteljes
- üzenet
- MFA
- esetleg
- vándorol
- jegyzőkönyv
- Mód
- korszerűsítésére
- több
- a legtöbb
- többnyire
- Mozilla
- többfaktoros hitelesítés
- MySQL
- név
- Nevezett
- nevek
- bennszülött
- Keresse
- navigálás
- Navigáció
- Szükség
- szükséges
- igények
- Új
- újonnan
- következő
- szám
- of
- Ajánlatok
- Nem elérhető
- Régi
- on
- Igény szerint
- ONE
- online
- csak
- nyitva
- nyílt forráskódú
- operatív
- opció
- or
- érdekében
- Más
- Egyéb
- ki
- teljesítmény
- áttekintés
- oldal
- üvegtábla
- Jelszó
- ösvény
- Mintás
- teljesít
- engedélyek
- Személyesen
- telefon
- PII
- csővezeték
- Hely
- Egyszerű
- terv
- emelvény
- Plató
- Platón adatintelligencia
- PlatoData
- Politikák
- Portál
- állás
- postgresql
- powered
- Készít
- Előkészíti
- előfeltételek
- be
- ajándékot
- Preview
- előző
- elsősorban
- Fő
- Előzetes
- problémák
- folytassa
- folyamat
- feldolgozott
- Folyamatok
- feldolgozás
- Készült
- Termékek
- termék menedzser
- Termékek
- Termékek és szolgáltatások
- Programok
- program
- ad
- feltéve,
- ellátó
- biztosít
- cél
- célokra
- Piton
- lekérdezések
- kérdés
- gyorsan
- hatótávolság
- Olvass
- kész
- kap
- nyilvántartások
- említett
- vidék
- kapcsolat
- eltávolítása
- ismétlés
- Jelentések
- kérni
- kötelező
- Tudástár
- azok
- fogékony
- Eredmények
- megtartása
- Kritika
- lovaglás
- szerepek
- gyökér
- Szabály
- futás
- futó
- futás
- értékesítés
- azonos
- Megtakarítás
- Skála
- forgatókönyvek
- tervezett
- hatálya
- Keresés
- Második
- Rész
- biztonság
- biztonság
- lát
- kiválasztott
- kiválasztás
- küld
- küldött
- különálló
- szolgál
- vagy szerver
- szolgáltatás
- Szolgáltatások
- készlet
- beállítás
- Megosztás
- megosztott
- rövid
- mutatott
- Műsorok
- Egyszerű
- egyszerűsített
- egyszerűsítése
- Méret
- készségek
- So
- szoftver
- szoftverfejlesztés
- megoldások
- Megoldások
- forrás
- Források
- szakember
- specializálódott
- különleges
- meghatározott
- Költési
- Sport
- SQL
- verem
- önálló
- standard
- kezdet
- kezdődik
- Állapot
- Lépés
- Lépései
- tárolás
- memorizált
- Húr
- szerkesztett
- sikeres
- sikeresen
- ilyen
- Támogatja
- biztos
- sydney
- Systems
- táblázat
- Csoportkép
- Vesz
- tart
- csapat
- csapat
- Műszaki
- technikai készségek
- terminál
- hogy
- A
- The Source
- azok
- akkor
- Ott.
- Ezek
- harmadik fél
- ezt
- három
- Keresztül
- idő
- nak nek
- Ma
- szerszámok
- felső
- Top 10
- Végösszeg
- Átalakítás
- Átalakítás
- transzformációk
- át
- transzformáló
- transzformáció
- váltott
- kettő
- típus
- típusok
- alatt
- mögöttes
- megért
- frissítve
- Frissítés
- upon
- URI
- us
- használ
- használati eset
- használt
- használó
- felhasználói felület
- Felhasználók
- segítségével
- Értékek
- változó
- fajta
- változat
- keresztül
- Megnézem
- akar
- Út..
- we
- háló
- webes szolgáltatások
- JÓL
- amikor
- ami
- míg
- széles
- Széleskörű
- feleség
- lesz
- val vel
- belül
- nélkül
- Munka
- munkafolyamat
- művek
- lenne
- ír
- év
- te
- A te
- zephyrnet