Dataafstamning kan beskrives som et historisk kort over datas rejse i en organisation. Use cases giver generelt et eksempel på, hvordan tjenester eller teknikker kan bruges, og datalineage use cases er situationer, hvor en form for datalineage kan bruges.
Værktøjer til dataafstamning gør sporing af datas afstamning meget nemmere. (Forsøg på at udføre dataafstamning manuelt er kedeligt og tidskrævende.)
Oprettelse af dataafstamningskort kræver registrering af, hvordan dataene er blevet behandlet, transformeret og transmitteret, og det bruges almindeligvis til at sikre, at beslutninger er baseret på nøjagtige data. Dataafstamning er blevet en vigtig del af intelligent beslutningstagning for mange moderne virksomheder. Det kan dog være komplekst at spore datastrømmen fra kilde til destination.
Tillid til data er baseret på forståelse af, hvor de kommer fra, og hvordan de er blevet transformeret og behandlet. Dataafstamning giver organisationer mulighed for at se, hvordan datasæt er blevet brugt og ændringerne. Det giver virksomheder mulighed for at forstå og rette eventuelle fejl ved deres kilde. Et datalinjeprogram understøtter forbedret datakvalitet.
At træffe gode beslutninger, der er baseret på data, kræver, at man kan stole på dataene.
En forståelse af forskellige dataafstamningsbrugssager, -teknikker og -værktøjer kan være ret nyttig, før du hyrer en entreprenør eller køber software. Valg af den forkerte datalinjesoftware kan resultere i spildtid og penge og i sidste ende køb af mere passende software. (Der er et link til open source-datalinjeværktøjer i slutningen af denne artikel.)
Teknikker og processer til dataafstamning
Dataafstamning omfatter en række værktøjer og processer. Moderne virksomheder er i stigende grad afhængige af realtidsindsigt for at forbedre deres drift, forretningstransaktioner og kunderelationer, men denne indsigt afhænger af forståelsen af dataene. Der er en række forskellige måder, ledere og teknikere kan udnytte datalinjeværktøjer til at forbedre arbejdsgange.
- Automation: Dataafstamningsregistrering er en automatiseret proces. Sporing og registrering af datas afstamning manuelt er simpelthen ikke realistisk i forhold til nutidens standarder for effektivitet. Automation gør også overholdelse af lovgivningen (GDPR, CCPA osv.) meget nemmere ved at markere data som personlig identificerbar information (PII), hvilket gør det muligt at betegne dem som fortrolige eller private.
- Datatagging: Data, der er blevet transformeret eller flyttet, er tagget. Mærkerne spores derefter fra start til slut, hvilket giver en afstamningsrepræsentation. Det her tag-sporingsproceskræver dog en "konsekvent transformationsværktøj”, der styrer al databevægelse. (Konsistensen af dette værktøj er vigtig – få det bedste værktøj og egnet til dit system.) Nogle tagging-administrationsværktøjer kan findes link..
- Parsing: Denne proces sporer dataene og fanger ændringer, efterhånden som dataene behandles, ændres og flyttes. Denne form for data fanger ændringer på tværs af forskellige systemer. Imidlertid, parsing kræver en god forståelse af de værktøjer og programmeringssprog, der bruges gennem dataens livscyklus. Denne version af dataafstamning er stærkt afhængig af at læse logikken (processen med at analysere en række symboler), der bruges ved behandling af data.
- Metadatakildeanmeldelser: Datalinjeværktøjer bruge metadata at skabe en visuel repræsentation af datastrømmen, som giver brugerne mulighed for at se, hvordan data transformeres og bruges i hele organisationen. Datalinjeværktøjer og -applikationer er tilgængelige, som kan verificere metadatakilder og bruges til at identificere årsagerne til fejl og fejl i datasættene.
- Mønsterbaseret afstamning: I stedet for at arbejde med kode, registrerer denne form for datalinje mønstre. Mønsterbaseret afstamning er afhængig af metadata for at udvikle afstamningsmønstrene. Den primære fordel ved denne teknik er, at der ikke er behov for programmeringssprog til at behandle data. Dataene overvåges, ikke sprogalgoritmerne.
Use Cases for Data Lineage
Mens dataafstamning er afgørende for udviklingen af data af høj kvalitet, er der en række forskellige dataafstamningsbrugscases og -metoder. Dataafstamningsbrugsmodeller leverer hver især forskellige tjenester.
- Analyse af dataproblemer: Kilden til dataproblemer eller problemer kan spores hurtigt og effektivt ved hjælp af datalinjeposter. Det kan lokalisere dataproblemer ved at spore, hvordan data flyder gennem organisationens systemer. Denne proces kan være særlig nyttig i komplicerede datamiljøer ved hjælp af data indsamlet fra en række forskellige systemer. (Den kan også registrere dataændringer over tid og detektere anomalier eller mønstre, der kan indikere et problem.)
- Datarensning: Dataafstamning kan også bruges til at rydde op i et datasystem ved at arkivere data eller slette dem, fordi de er gamle eller irrelevante. (Dette kan forbedre den overordnede ydeevne af et datasystem ved at reducere mængden af data, der lagres.)
- Overholdelse: Dataafstamning kan bruges til at sikre overholdelsesproblemer, forbedre risikostyringen og sikre, at data behandles og opbevares ved hjælp af retningslinjer for datastyring.
- Datamodellering: Organisationer kan bruge dataafstamning til datamodelleringsformål. Det kan give den nødvendige information til at præsentere visuelle repræsentationer af forskellige datakomponenter og deres forbindelser. Forbindelserne mellem datakomponenterne kan vises i modellen for at vise de afhængigheder, der er til stede i hele dataøkosystemet.
- Datakvalitet: Data bliver konstant ændret. Et datalinjesystem giver detaljerede oplysninger, der viser datakildernes livscyklus og placering. Det sporer dataene fra dets kilde og giver virksomheder mulighed for at undersøge dets transformationer og troværdighed.
- Finde fejl: Dataafstamning kan bruges til at identificere forkerte antagelser om dataene, lokalisere fejlen og tillade den at blive rettet.
- Effektanalyse: Dataafstamning kan bruges til at skabe detaljerede konsekvensvurderinger. Opstrøms- og nedstrømseffekterne forårsaget af specifikke modifikationer kan detekteres ved brug af dataafstamning.
- Datamigrering: Når data flyttes til et nyt eller andet lagersystem, bruger organisationer en datamigreringsproces til at udtrykke dataens placeringer og livscyklusser. Fordi dataafstamning præsenterer, hvordan data flyder gennem en organisation, kan det bruges til at hjælpe i planlægningsfasen af datamigreringer og opgraderinger.
- Mere effektive DataOps: En bedre dataforståelse af dataens afstamning hjælper med at strømline datadriften og undgå fejl.
Real-World Data Lineage Use Cases
Nogle større virksomheder, såsom Airbnb, Netflix, UBS, Slack og Postman, bruger nu datalinje – og øger overskuddet i processen. Disse virksomheder foretog deres forskning og besluttede, at det var umagen værd at installere datalinjesoftware. De krævede pålidelige data for god beslutningstagning. Dataafstamning giver den nødvendige synlighed for effektivt at håndtere datamigreringer, systemopdateringer og fejl, hvilket sikrer dataintegritet gennem hele dataens livscyklus.
Dataafstamningsindustrien er ret ny og er derfor stadig lidt til den dyre side. En række store virksomheder har hyrede entreprenører at udvikle og installere datalinjesystemer.
Et eksempel fra den virkelige verden på et dataafstamningsbrug er British Airways og dets reaktion på et databrud. I september 2018 blev British Airways ramt af et databrud, der berører 380,000 kunder vedrørende deres kreditkort og personlige oplysninger. Ved at bruge datalinje kunne de spore bruddet til et ondsindet script på deres hjemmeside. Ved at spore data tilbage til scriptet identificerede og reparerede de problemet hurtigt.
Et andet tilfælde af brug af dataafstamning i den virkelige verden er Air France, som stod over for problemer med databehandling og dataadskillelse. Deres forretning var vokset til det punkt, hvor de behandlede over 2.5 millioner nye besøgende på deres hjemmeside, og det var blevet meget svært at holde styr på alle de data fra deres forskellige databaser. Air France samarbejdede med Talend og udviklede et nyt datalinjesystem, der gjorde det muligt for virksomheden og deres dataforskere at levere personlig annoncering og opdateringer i realtid. De gjorde dette uden at bryde GDPR-reglerne.
Vil du lære mere om udnyttelse af datalinje? Her er et par stykker standardiserede dataafstamningsprogrammer. Der er også nogle open source-dataafstamningsprogrammer.
Billede brugt under licens fra Shutterstock.com
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- EVM Finans. Unified Interface for Decentralized Finance. Adgang her.
- Quantum Media Group. IR/PR forstærket. Adgang her.
- PlatoAiStream. Web3 Data Intelligence. Viden forstærket. Adgang her.
- Kilde: https://www.dataversity.net/data-lineage-use-cases/
- :har
- :er
- :ikke
- :hvor
- $OP
- 000
- 000 kunder
- 2018
- 224
- 300
- a
- I stand
- Om
- præcis
- tværs
- Fordel
- Reklame
- påvirker
- LUFT
- Airbnb
- luftveje
- algoritmer
- Alle
- tillade
- tillader
- også
- ændret
- an
- analyse
- analysere
- ,
- enhver
- applikationer
- passende
- ER
- artikel
- AS
- vurderinger
- antagelser
- At
- forsøger
- Automatiseret
- til rådighed
- undgå
- tilbage
- baseret
- BE
- fordi
- bliver
- været
- før
- være
- BEDSTE
- Bedre
- mellem
- brud
- Britiske
- britiske luftveje
- bugs
- virksomhed
- virksomheder
- men
- by
- CAN
- fanger
- Optagelse
- kort
- tilfælde
- tilfælde
- forårsagede
- CCPA
- Ændringer
- Rengøring
- kode
- almindeligt
- Virksomheder
- selskab
- komplekse
- Compliance
- kompliceret
- komponenter
- Tilslutninger
- konstant
- Entreprenør
- kontrol
- korrigere
- korrigeret
- kunne
- skabe
- kredit
- kreditkort
- kunde
- Kunder
- data
- bruddet
- databehandling
- datasæt
- databaser
- datasæt
- DATAVERSITET
- deal
- besluttede
- Beslutningstagning
- afgørelser
- levere
- beskrevet
- udpeget
- destination
- detaljeret
- opdaget
- udvikle
- udviklet
- Udvikling
- DID
- forskellige
- forskellige
- svært
- hver
- lettere
- økosystem
- effektivt
- effekter
- effektivitet
- effektiv
- effektivt
- ende
- sikre
- sikring
- miljøer
- fejl
- fejl
- væsentlig
- etc.
- eventuel
- undersøge
- eksempel
- dyrt
- Express
- konfronteret
- retfærdigt
- slut
- passer
- flow
- strømme
- Til
- formular
- Fransk vin
- fra
- GDPR
- Generelt
- få
- godt
- regeringsførelse
- voksen
- retningslinjer
- havde
- Have
- stærkt
- hjælpe
- hjælper
- link.
- høj kvalitet
- Hængsel
- Ansættelse
- historisk
- Hit
- Hvordan
- Men
- HTTPS
- identificeret
- identificere
- KIMOs Succeshistorier
- vigtigt
- Forbedre
- in
- omfatter
- stigende
- stigende
- angiver
- industrien
- info
- oplysninger
- indsigt
- installere
- integritet
- Intelligent
- spørgsmål
- spørgsmål
- IT
- ITS
- rejse
- jpg
- holde
- Sprog
- Sprog
- stor
- større
- LÆR
- Lets
- Leverage
- løftestang
- Licens
- livscyklus
- livscyklusser
- LINK
- lidt
- placering
- placeringer
- logik
- lavet
- lave
- maerker
- ledelse
- styringsværktøjer
- Ledere
- manuelt
- mange
- kort
- Maps
- mærkning
- max-bredde
- Metadata
- metoder
- måske
- migration
- million
- model
- modellering
- modeller
- Moderne
- Modifikationer
- penge
- overvåges
- mere
- flyttet
- bevægelse
- meget
- Behov
- behov
- Netflix
- Ny
- ingen
- nu
- nummer
- of
- Gammel
- on
- open source
- Produktion
- or
- organisation
- organisationer
- i løbet af
- samlet
- del
- især
- partnerskab
- mønstre
- udføre
- ydeevne
- personale
- Personlig
- fase
- PIO
- planlægning
- plato
- Platon Data Intelligence
- PlatoData
- Punkt
- præsentere
- gaver
- primære
- private
- Problem
- problemer
- behandle
- bearbejdet
- Processer
- forarbejdning
- overskud
- Program
- Programmering
- programmeringssprog
- give
- giver
- leverer
- køb
- køb
- formål
- kvalitet
- hurtigt
- Læsning
- virkelige verden
- realtid
- realistisk
- årsager
- optage
- optagelse
- optegnelser
- reducere
- om
- regler
- lovgivningsmæssige
- Regulatory Compliance
- relationer
- pålidelig
- stole
- repræsentation
- påkrævet
- Kræver
- forskning
- svar
- resultere
- Anmeldelser
- Risiko
- risikostyring
- SAS
- forskere
- se
- udvælgelse
- september
- Tjenester
- sæt
- Vis
- viser
- vist
- Shutterstock
- side
- ganske enkelt
- situationer
- slæk
- Software
- nogle
- Kilde
- Kilder
- specifikke
- standarder
- starte
- Stadig
- opbevaring
- opbevaret
- strømline
- String
- sådan
- Understøtter
- systemet
- Systemer
- teknikker
- TECHS
- at
- oplysninger
- The Source
- deres
- derefter
- Der.
- Disse
- de
- denne
- dem
- Gennem
- hele
- tid
- tidskrævende
- til
- nutidens
- værktøj
- værktøjer
- spore
- Sporing
- spor
- Sporing
- Transaktioner
- Transformation
- transformationer
- omdannet
- Stol
- UBS
- under
- forstå
- forståelse
- opdateringer
- opgraderinger
- på
- brug
- brug tilfælde
- anvendte
- brugere
- ved brug af
- række
- forskellige
- verificere
- udgave
- meget
- synlighed
- besøgende
- bind
- var
- måder
- Hjemmeside
- var
- hvornår
- som
- med
- inden for
- uden
- arbejdsgange
- arbejder
- værd
- Forkert
- Din
- zephyrnet