Tako kot se prodajalci zanašajo na ameriško pošto ali UPS, da svoje blago dostavijo strankam, se delavci zanašajo na podatkovne kanale za dostavo informacij, ki jih potrebujejo za pridobitev poslovnih vpogledov in sprejemanje odločitev. To omrežje podatkovnih kanalov, ki deluje v ozadju, distribuira obdelane podatke po računalniških sistemih, kar je bistveno ogrodje in funkcija za vse Podatkov usmerjenih posel.
Vrednost povezovanja podatkovnih sistemov s cevovodi še naprej raste, saj morajo podjetja hitreje porabiti veliko pretočnih podatkov, posredovanih v različnih formatih. Tako lahko menedžerji, ki razumejo podatkovne cevovode na visoki ravni, bolje premaknejo neobdelane podatke v smeri informacij, ki jih vidijo na nadzornih ploščah ali v poročilih, najbolj ekonomično.
Kaj so podatkovni cevovodi?
Podatkovni cevovodi opisujejo elemente obdelave podatkov vezani zaporedno, pri čemer izhod podatkov enega kanala deluje kot vhod za naslednjega. Ti vodi se začnejo pri izvoru, kjer ga sistemi zaužijejo tako, da ga premaknejo ali podvojijo in premaknejo na nov cilj.
Računalniški programi ustvarjajo, spreminjajo, preoblikujejo ali pakirajo svoje vnose v več izpopolnjen podatkovni izdelek na tem novem mestu. Nato lahko drug računalniški sistem sprejme obdelane izhodne podatke v svojem podatkovnem cevovodu kot vhodne podatke.
Podatki se nadaljujejo vzdolž vsake povezave in skozi različne postopke čiščenja in cevovode, dokler ne dosežejo stanja potrošnega materiala. Nato jih zaposleni uporabljajo v službi ali pa se ti podatki shranijo v repozitorij, kot npr podatkovno skladišče.
Poleg prenosa podatkov nekateri vodi čistijo, pretvarjajo in preoblikujejo podatke, ko se premikajo po njih, podobno kot človekov prebavni trakt razgradi hrano. Drugi podatkovni kanali zbirajo in analizirajo podatke o celotnem cevovodnem omrežju organizacije ter zagotavljajo celovito spremljanje njegovega stanja, znano tudi kot opaznost podatkov.
Zakaj podjetja uporabljajo podatkovne cevovode?
Podjetja menijo, da so dobri podatkovni cevovodi razširljivi, prilagodljivi, vzdržljivi in hitri. Avtomatizirani podatkovni cevovodi, ki jih ustvarijo in upravljajo algoritmi, se lahko po potrebi prikažejo ali umaknejo. Prav tako lahko podatkovni cevovodi preusmerijo podatke v druge kanale, s čimer se izognejo zastojem podatkov in podatke hitro prenašajo.
Podatkovni cevovodi prispevajo k različnim kritičnim Data management potrebe v celotnem podjetju. Primeri vključujejo:
- Integracija podatkov: Konektorji, ki pakirajo in prenašajo podatke iz enega sistema v drugega ter vključujejo na dogodkih in paketno obdelavo podatkovnih tokov
- Kakovost podatkov/Vlada podatkov: Prevodi, ki določajo in uveljavljajo pravila o kakovosti podatkov v skladu s politikami podjetja in industrijskimi predpisi za izpis podatkov
- Katalogizacija podatkov/upravljanje metapodatkov: Cevovodi, ki povezujejo in skenirajo metapodatke za vse vrste baz podatkov in dajejo kontekst podatkov podjetja
- Zasebnost podatkov: Kanali, ki odkrivanje občutljivih podatkov in zaščito pred vdori
Trije izzivi, s katerimi se srečujejo organizacije
Organizacije, ki izkoriščajo podatkovne kanale, se soočajo z vsaj tremi izzivi: kompleksnostjo, povečanimi stroški in varnostjo.
kompleksnost
Inženirji morajo priključiti ali spremeniti podatkovne cevovode, ko se zahteve za poslovne podatke spremenijo, kar poveča kompleksnost uporabe in vzdrževanja kanalov. Poleg tega morajo zaposleni premikati podatke po medsebojno povezanih hibridnih oblačnih okoljih, vključno s tistimi na mestu uporabe, ki so javno dostopna, kot je Microsoft Azure.
Ravnanje z različnimi računalništvo v oblaku lokacijah dodaja frustracije s podatkovnimi cevovodi zaradi izzivov pri povečevanju podatkovnega cevovodnega omrežja. Ko inženirji ne uspejo kompetentno načrtovati, se podatkovni kanali v organizaciji upočasnijo, ali pa zaposleni ne dobijo podatkov, ki jih potrebujejo, in morajo narediti dodatne čiščenje podatkov.
Gur Steif, predsednik avtomatizacije digitalnega poslovanja pri BMC Software, govori o tem, kako boj korporacij za vgradnjo zapletenega cevovodnega sistema v svoje kritične aplikacije. Posledično bodo morala podjetja vlagati v platforme za orkestracijo delovnega toka podatkov, ki zagotavljajo pretok podatkov in zahtevajo sofisticirano DataOps znanje.
Povečani stroški
Ko se pojavljajo novejše podatkovne tehnologije, se podjetja soočajo povečanih stroškov za posodobitev vsakega od svojih podatkovnih cevovodov za prilagajanje. Poleg tega morajo podjetja porabiti več za vzdrževanje cevovodov in napredek tehničnega znanja.
Drugi vir stroškov izvira iz narejene spremembe inženirji gorvodno, bližje izviru. Včasih ti razvijalci ne morejo neposredno videti razvejanosti svoje kode in prekinejo vsaj en podatkovni proces, ko podatki potujejo po cevovodih.
Varnost podatkov
Inženirji morajo zagotoviti varnost podatkov za skladnost, saj podatki tečejo po različnih podatkovnih kanalih do občinstva. Na primer, računovodje podjetja morda potrebujejo občutljive podatke o kreditni kartici, poslane po cevovodih, ki ne bi smeli posredovati osebju za pomoč strankam.
Torej se varnostna tveganja povečajo, če inženirji nimajo načina za ogled podatkov, ko tečejo po cevovodu. Ponemon Research ugotavlja, da 63% varnostnih analitikov kot dejavnik stresa navaja pomanjkanje vpogleda v omrežje in infrastrukturo.
Najboljše prakse za uporabo podatkovnih cevovodov
Uporaba podatkovnih cevovodov zahteva občutljivo ravnovesje pri omogočanju čim hitrejšega dostopa do potrebnih podatkov uporabnikom z najnižjimi stroški ustvarjanja in vzdrževanja. Vsekakor morajo podjetja izbrati najboljše Arhitektura podatkov z varnimi, agilnimi in operativno robustnimi podatkovnimi cevovodi.
Poleg tega morajo podjetja upoštevati naslednje:
- Tehnologije umetne inteligence in strojnega učenja (ML): Organizacije se bodo zanašale na ML za prepoznavanje vzorcev pretoka podatkov, kar najbolje optimizira pretok podatkov v vse dele organizacije. Poleg tega bodo dobre storitve ML povečale učinkovitost pretoka podatkov, saj bodo olajšale samointegracijo, zdravljenje in nastavitev podatkovnih cevovodov. Do leta 2025 bodo modeli z umetno inteligenco nadomestili do 60% obstoječih, vključno s tistimi s podatkovnimi kanali, zgrajenimi na tradicionalnih podatkih.
- Opazljivost podatkov: Opazljivost podatkov zagotavlja inženirjem celostni nadzor nad celotnim omrežjem podatkovnih cevovodov, vključno z njegovo orkestracijo. S pomočjo opazovanja podatkov inženirji vedo, kako delujejo podatkovni cevovodi in kaj spremeniti, popraviti ali zmanjšati.
- Upravljanje metapodatkov: Za dobro opazovanje podatkov je potrebna najboljša uporaba metapodatkov, znanih tudi kot podatki, ki opisujejo podatke. Posledično bodo podjetja uporabljala a upravljanje metapodatkov strukturo za združevanje obstoječih z nastajajočimi aktivnimi metapodatki, da dobite želeno avtomatizacijo, vpogled in sodelovanje v podatkovnih cevovodih.
Orodja, ki pomagajo pri upravljanju podatkovnih cevovodov
Podjetja so odvisna od orodij podatkovnega cevovoda za pomoč pri izgradnji, uvajanju in vzdrževanju podatkovnih povezav. Ti viri prenašajo podatke iz več virov do destinacij bolj učinkovito in podpira procese od konca do konca.
Medtem ko nekatera podjetja načrtujejo razvoj in vzdrževanje specializiranih notranjih orodij, lahko izčrpajo sredstva organizacije za njihovo upravljanje, zlasti ko podatki krožijo v okoljih z več oblaki. Posledično se bodo nekatera podjetja obrnila na zunanje prodajalce, da bi prihranila te stroške.
Orodja za prenos podatkov tretjih oseb so na voljo v dveh različicah. Nekateri generični zbirajo, obdelujejo in dostavljajo podatke v več storitvah v oblaku. Primeri vključujejo:
- AWS lepilo: Brezstrežniška platforma z nizko kodo, ekstrakcijo, transformacijo, nalaganjem (ETL), ki ima osrednje repozitorij metapodatkov in uporablja ML za odstranjevanje dvojnikov in čiščenje podatkov
- Tovarna podatkov Azure: Storitev za orkestriranje premikanja podatkov in preoblikovanje podatkov med Viri Azure, z uporabo opazljivosti podatkov, metapodatkiin strojno učenje
- Cloudera: Podatkovne storitve, ki obdelujejo podatke v več podjetniških oblakih, poenostavijo podvajanje in uporabo podatkov NiFi – hitro, enostavno in varno orodje za integracijo podatkov
- Google Cloud Data Fusion: Vrhunski izdelek in temelj Googlove integracije podatkov, ki vključuje opazljivost podatkov in integracijski metapodatki.
- IBM Information Server za IBM Cloud Pak for Data: Strežnik z zmožnostmi integracije podatkov, kakovosti in upravljanja z uporabo zmogljivosti ML
- Informacijski strežnik IBM Infosphere: Upravljana storitev v katerem koli oblaku ali samoupravljana za infrastrukturo strank, ki uporablja ML
- Informatika: Inteligentna podatkovna platforma, ki vključuje izvorno povezljivost, vnos, kakovost, upravljanje, katalogizacijo prek metapodatkov celotnega podjetja, zasebnost in upravljanje glavnih podatkov v več oblakih
- talent: Celoten podatkovni ekosistem, ki je neodvisen od oblaka in vključuje ML skozi svojo podatkovno strukturo
Druga orodja so specializirana za pripravo in pakiranje podatkov za dostavo:
- Fivetran: Podatkovni cevovod z nizko namestitvijo, brez konfiguracije in vzdrževanja, ki dvigne podatke iz operativnih virov in jih dostavi v sodobno skladišče v oblaku
- Matilion: Dinamična platforma ETL, ki izvaja prilagoditve v realnem času, če podatkovni procesi trajajo predolgo ali ne uspejo
- Alooma: Googlovo orodje za prenos podatkov za lažji nadzor in preglednost avtomatiziranih podatkovnih procesov
- Šiv: ETL in orodje za skladiščenje podatkov, združeno s Talendom, ki premika in upravlja podatke iz več virov
Na ravni podjetja bodo podjetja uporabljala vsaj en generičen vir podatkovnega cevovoda, ki zajema storitve v več oblakih, in drugega specializiranega za obvladovanje zapletenosti priprave podatkov.
zaključek
Vsaka sodobna podatkovna arhitektura zahteva omrežje podatkovnih cevovodov za premikanje podatkov iz neobdelanega stanja v uporabno. Podatkovni cevovodi zagotavljajo prilagodljivost in hitrost za najboljši prenos podatkov za izpolnjevanje poslovnih potreb in potreb upravljanja podatkov.
Medtem ko slabo izvedeni podatkovni cevovodi povzročajo povečano kompleksnost, stroške in varnostna tveganja, implementacija dobre podatkovne arhitekture z dobrimi podatkovnimi orodji povečuje potencial podatkovnih cevovodi v celotni organizaciji.
As Chris Gladwin, soustanovitelj in izvršni direktor podjetja Ocient, ugotavlja, bodo podatkovni cevovodi postali bolj bistveni za dobro vnos najrazličnejših podatkov. Prihodnost prinaša izboljšave podatkovnega cevovoda z bolj sofisticirano integracijo podatkov, ki jo je lažje upravljati.
Slika, uporabljena pod licenco Shutterstock.com
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- Platoblockchain. Web3 Metaverse Intelligence. Razširjeno znanje. Dostopite tukaj.
- vir: https://www.dataversity.net/data-pipelines-an-overview/
- a
- O meni
- dostopen
- čez
- aktivna
- prilagodijo
- Poleg tega
- Poleg tega
- Dodaja
- Popravki
- proti
- okreten
- AI
- algoritmi
- vsi
- Amazon
- Analitiki
- analizirati
- in
- in infrastrukturo
- Še ena
- zdi
- aplikacije
- Uporabi
- Arhitektura
- pripisujejo
- občinstva
- Avtomatizirano
- Avtomatizacija
- Na voljo
- izogibanje
- AWS
- Azure
- ozadje
- Ravnovesje
- ker
- postanejo
- BEST
- Boljše
- BMC
- Breaking
- odmori
- Prinaša
- izgradnjo
- zgrajena
- poslovni
- podjetja
- klic
- ne more
- Zmogljivosti
- kartice
- Osrednji
- ceo
- Zagotovo
- izzivi
- spremenite
- Channel
- kanali
- Izberite
- bližje
- Cloud
- storitev v oblaku
- So-ustanovitelj
- Koda
- zbiranje
- združujejo
- kako
- Podjetja
- podjetje
- kompleksnost
- skladnost
- računalnik
- Connect
- Povezovanje
- povezava
- povezave
- Povezovanje
- Posledično
- Razmislite
- porabijo
- se nadaljuje
- prispevajo
- nadzor
- pretvorbo
- Corporate
- strošek
- stroški
- ustvarjajo
- ustvaril
- Oblikovanje
- kredit
- kreditne kartice
- kritično
- stranka
- Za stranke
- Stranke, ki so
- datum
- integracija podatkov
- Upravljanje podatkov
- Podatkovna platforma
- Priprava podatkov
- obdelava podatkov
- kakovosti podatkov
- Varovanje podatkov
- podatkovno skladišče
- baze podatkov
- PODATKOVNOST
- odločitve
- poda
- daje
- dostava
- razporedi
- destinacija
- Razvijalci
- razvoju
- drugačen
- digitalni
- neposredno
- navzdol
- dinamično
- vsak
- lažje
- ekosistem
- učinkovite
- učinkovito
- smirkovim
- Zaposleni
- konec koncev
- sodelovanje
- Inženirji
- zagotovitev
- Podjetje
- podjetja
- Celotna
- okolja
- zlasti
- bistvena
- Eter (ETH)
- Primer
- Primeri
- obstoječih
- ekstrakt
- Obraz
- soočen
- olajšanje
- Tovarna
- FAIL
- FAST
- hitreje
- Najdi
- fiksna
- prilagodljivost
- prilagodljiv
- Pretok
- Teče
- Tokovi
- po
- hrana
- Fundacija
- Okvirni
- iz
- Razočaranje
- funkcija
- delovanje
- Poleg tega
- fuzija
- Prihodnost
- Gain
- Gartner
- dobili
- pridobivanje
- Daj
- Go
- dobro
- blago
- upravljanje
- vlada
- Grow
- ročaj
- Zdravje
- pomoč
- visoka
- celosten
- Kako
- HTML
- HTTPS
- Hybrid
- hibridni oblak
- IBM
- IBM Cloud
- identificirati
- izvajanja
- Izboljšave
- in
- vključujejo
- vključuje
- Vključno
- povečal
- narašča
- Industrija
- Podatki
- Infrastruktura
- vhod
- vpogled
- vpogledi
- integracija
- Inteligentna
- medsebojno povezovanje
- notranji
- zapletenosti
- Invest
- IT
- Job
- Imejte
- Vedite
- znanje
- znano
- Pomanjkanje
- vodi
- učenje
- Stopnja
- vzvod
- Licenca
- obremenitev
- Lokacije
- Long
- nizka
- stroj
- strojno učenje
- vzdrževati
- Vzdrževalno
- vzdrževanje
- Znamka
- IZDELA
- Izdelava
- upravljanje
- upravlja
- upravljanje
- Vodje
- upravlja
- več
- mojster
- max širine
- maksimira
- Srečati
- metapodatki
- Microsoft
- Microsoft Azure
- ML
- modeli
- sodobna
- posodobiti
- spremenite
- spremljanje
- več
- učinkovitejše
- Najbolj
- premikanje
- Gibanje
- premika
- premikanje
- več
- materni
- potrebno
- Nimate
- potrebna
- potrebe
- mreža
- Novo
- Naslednja
- Opombe
- ONE
- deluje
- operativno
- orkestracijo
- Organizacija
- organizacije
- Ostalo
- Nadzor
- pregled
- paket
- embalaža
- seznanjeni
- deli
- vzorci
- plinovod
- Načrt
- platforma
- Platforme
- platon
- Platonova podatkovna inteligenca
- PlatoData
- politike
- mogoče
- potencial
- vaje
- priprava
- Predsednik
- zasebnost
- Postopek
- Procesi
- obravnavati
- Izdelek
- programi
- zaščito
- zagotavljajo
- zagotavlja
- zagotavljanje
- javno
- kakovost
- hitro
- Surovi
- surovi podatki
- Doseže
- v realnem času
- predpisi
- zamenjajte
- replikacija
- Poročila
- Skladišče
- zahteva
- Zahteve
- zahteva
- Raziskave
- vir
- viri
- povzroči
- tveganja
- robusten
- pravila
- Shrani
- razširljive
- skaliranje
- skeniranje
- zavarovanje
- varnost
- varnostna tveganja
- občutljiva
- Brez strežnika
- Storitev
- Storitve
- več
- PREMIKANJE
- shouldnt
- Shutterstock
- Podoben
- upočasni
- So
- Software
- nekaj
- prefinjeno
- vir
- Viri
- razponi
- specializirati
- specializirani
- hitrost
- preživeti
- Komercialni
- Osebje
- Začetek
- Država
- shranjeni
- pretakanje
- racionalizirati
- Struktura
- Podpora
- sistem
- sistemi
- Bodite
- pogovori
- tehnični
- Tehnologije
- O
- Prihodnost
- informacije
- Vir
- njihove
- tretjih oseb
- 3
- skozi
- vsej
- do
- tudi
- orodje
- orodja
- proti
- tradicionalna
- Transform
- preoblikovanje
- prevoz
- prevoz
- potovanja
- OBRAT
- Vrste
- nas
- pod
- razumeli
- UPS
- uporaba
- Uporabniki
- vrednost
- raznolikost
- različnih
- prodajalci
- Poglej
- vidljivost
- Skladišče
- Kaj
- WHO
- široka
- bo
- delavci
- potek dela
- zefirnet