Aivan kuten toimittajat luottavat Yhdysvaltojen postiin tai UPS:ään saadakseen tavaransa asiakkaille, työntekijät luottavat tietoputkiin toimittaakseen tiedot, joita he tarvitsevat saadakseen tietoa liiketoiminnasta ja tehdäkseen päätöksiä. Tämä taustalla toimiva tietokanavien verkko jakaa käsiteltyä dataa tietokonejärjestelmien kesken, mikä on olennainen kehys ja toiminto kaikille data-driven liiketoimintaa.
Tietojärjestelmien yhdistämisen arvo putkiin jatkaa kasvuaan, kun yritysten on kulutettava paljon streaming-dataa nopeammin eri muodoissa. Joten johtajat, jotka ymmärtävät dataputkia korkealla tasolla, voivat siirtää raakadataa paremmin kojelaudoissa tai raporteissa näkyvää tietoa kohti taloudellisesti.
Mitä dataputkistot ovat?
Dataputket kuvaavat tietojenkäsittelyelementtejä kytketty sarjaan, jolloin yhden kanavan datalähtö toimii seuraavan kanavan tulona. Nämä kanavat alkavat lähteestä, jossa järjestelmät nielevät sen siirtämällä tai kopioimalla sen ja siirtämällä sen uuteen kohteeseen.
Tietokoneohjelmat luovat, muokkaavat, muuntavat tai pakkaavat syötteitään enemmän tarkennettu datatuote siinä uudessa paikassa. Sitten toinen tietokonejärjestelmä voi ottaa käsitellyt datalähdöt dataputkessaan syötteinä.
Data jatkuu jokaista yhteyttä pitkin ja eri puhdistusprosessien ja putkilinjojen kautta, kunnes se saavuttaa kulutuskelpoisen tilan. Sitten työntekijät käyttävät sitä työssään tai tiedot tallennetaan arkistoon, kuten a tietovarasto.
Tiedon siirtämisen lisäksi jotkin kanavat puhdistavat, muuntavat ja muuntavat dataa niiden liikkuessa samalla tavalla kuin ihmisen ruoansulatuskanava hajottaa ruokaa. Muut tietokanavat keräävät ja analysoivat tietoa organisaation laajuisesta putkiverkosta ja tarjoavat sen kunnon seurantaa päästä päähän. tietojen havaittavuus.
Miksi yritykset käyttävät tietoputkia?
Yritykset pitävät hyvät tietoputket skaalautuvina, joustavina, ylläpidettävinä ja nopeina. Algoritmien luomia ja hallitsemia automatisoituja dataputkia voidaan näyttää tai vetää takaisin tarvittaessa. Tietoputket voivat myös reitittää tiedot uudelleen muihin kanaviin välttäen datatukoksen ja siirtäen tietoja nopeasti.
Dataputket vaikuttavat erilaisiin kriittisiin Tiedonhallinta tarpeisiin koko yrityksessä. Esimerkkejä ovat:
- Tietojen integrointi: Liittimet, jotka pakkaavat ja siirtävät dataa järjestelmästä toiseen ja sisältävät tietovirtojen tapahtumapohjaisen ja eräkäsittelyn
- Tietojen laatu / Tietohallinto: Kanavat, jotka määrittelevät ja panevat täytäntöön tietojen laatusäännöt yrityksen käytäntöjen ja alan määräysten mukaisesti datan tuottamiseen
- Tietojen luettelointi/metadatan hallinta: Putkilinjat, jotka yhdistävät ja skannaavat kaikentyyppisten tietokantojen metatietoja ja antavat yritystietokontekstin
- Tietosuoja: Kanavat että tunnistaa arkaluontoiset tiedot ja suojata tietomurroilta
Kolme organisaatioiden kohtaamaa haastetta
Tietoputkia hyödyntävät organisaatiot kohtaavat ainakin kolme haastetta: monimutkaisuus, kohonneet kustannukset ja turvallisuus.
Monimutkaisuus
Insinöörien on liitettävä tai muutettava tietoputkia liiketoiminnan tietovaatimusten muuttuessa, mikä lisää kanavien käytön ja ylläpidon monimutkaisuutta. Lisäksi työntekijöiden on siirrettävä tietoja toisiinsa linkittävissä hybridipilviympäristöissä, mukaan lukien julkisesti saatavilla olevat paikalliset, kuten Microsoft Azure.
Käsittelee monia erilaisia cloud computing sijainnit lisää turhautumista tietoputkistojen kanssa, koska dataputkiverkon skaalauksessa on haasteita. Kun insinöörit eivät pysty suunnittelemaan asiantuntevasti, tietokanavat kulkevat organisaatiossa, datan liikkuminen hidastuu tai työntekijät eivät saa tarvitsemaansa dataa ja heidän on tehtävä lisätoimia. tietojen puhdistus.
Gur Steif, BMC Softwaren digitaalisen liiketoiminnan automaation johtaja, kertoo kuinka yritykset kamppailevat upottaa monimutkaisen putkijärjestelmän kriittisiin sovelluksiinsa. Näin ollen yritysten on investoitava tiedon työnkulun organisointialustoille, jotka pitävät tiedon virtana ja vaativat kehittyneitä DataOps tietoa.
Lisääntyneet kustannukset
Kun uusia tietoteknologioita ilmaantuu, yritykset kohtaavat lisääntyneet kustannukset modernisoimaan jokaisen dataputkensa mukautumaan. Lisäksi yritysten on panostettava enemmän putkistojen ylläpitoon ja teknisen tietämyksen kehittämiseen.
Toinen kustannuslähde on peräisin tehtyjä muutoksia insinöörit ylävirtaan, lähempänä lähdettä. Joskus nämä kehittäjät eivät pysty suoraan näkemään koodinsa seurauksia ja rikkovat ainakin yhden tietoprosessin, kun data kulkee putkilinjoja pitkin.
Tietoturva
Insinöörien on varmistettava tietojen suojaus vaatimustenmukaisuuden varmistamiseksi, kun tiedot kulkevat eri tietokanavia pitkin yleisöille. Esimerkiksi yritysten kirjanpitäjät saattavat tarvita arkaluontoisia luottokorttitietoja, jotka lähetetään putkien kautta, joiden ei pitäisi mennä asiakaspalveluhenkilöstölle.
Joten turvallisuusriskit kasvavat, jos insinööreillä ei ole tapaa tarkastella dataa, kun se virtaa putkilinjassa. Ponemon Research toteaa tämän 63% Tietoturva-analyytikot mainitsevat verkon ja infrastruktuurin näkyvyyden puutteen stressitekijänä.
Parhaat käytännöt dataputkien käyttöön
Tietojen käyttäminen edellyttää herkkää tasapainoa, jotta tarvittavat tiedot saadaan käyttäjien saataville mahdollisimman nopeasti pienin luomis- ja ylläpitokustannuksin. Yritysten on tietysti valittava paras Tietoarkkitehtuuri turvallisilla, ketterillä ja toiminnallisesti kestävillä tietoputkilla.
Lisäksi yritysten on otettava huomioon seuraavat asiat:
- Tekoäly- ja koneoppimistekniikat: Organisaatiot luottavat ML:ään tiedonkulkumallien tunnistamisessa, mikä optimoi tietovirran parhaiten organisaation kaikkiin osiin. Lisäksi hyvät ML-palvelut tehostavat tiedonkulkua helpottamalla itseintegroituvia, parantavia ja virittäviä dataputkia. Vuoteen 2025 mennessä tekoälymallit korvaavat jopa 60% olemassa olevista, mukaan lukien ne, joissa on perinteiseen dataan rakennettuja dataputkia.
- Tietojen havaittavuus: Tietojen havaittavuus tarjoaa insinööreille kokonaisvaltaisen valvonnan koko dataputkiverkostosta, mukaan lukien sen organisointi. Tietojen havainnoinnin avulla insinöörit tietävät, kuinka dataputket toimivat ja mitä pitää muuttaa, korjata tai karsia.
- Metatietojen hallinta: Tietojen hyvän havaittavuuden saavuttaminen edellyttää metadatan, joka tunnetaan myös dataa kuvaavana datana, parasta hyödyntämistä. Näin ollen yritykset hakevat a metatietojen hallinta rakenne yhdistää olemassa oleva ja syntymässä oleva aktiivinen metatieto halutun automaation, näkemyksen ja sitoutumisen saamiseksi tietoputkien yli.
Työkaluja, jotka auttavat hallitsemaan tietoputkia
Yritykset ovat riippuvaisia dataputkityökaluista, jotka auttavat rakentamaan, ottamaan käyttöön ja ylläpitämään tietoyhteyksiä. Nämä resurssit siirtävät tietoja useista lähteistä kohteisiin tehokkaammin tukemalla päästä päähän prosesseja.
Jotkut yritykset suunnittelevat erikoistuneiden sisäisten työkalujen kehittämistä ja ylläpitoa, mutta ne voivat kuluttaa organisaatioiden resursseja niiden hallintaan, varsinkin kun data kiertää monipilviympäristöissä. Tämän seurauksena jotkut yritykset kääntyvät kolmansien osapuolien puoleen säästääkseen näitä kustannuksia.
Kolmannen osapuolen dataputkityökaluja on kahta erilaista. Jotkut yleiset keräävät, käsittelevät ja toimittavat dataa useissa pilvipalveluissa. Esimerkkejä:
- AWS-liima: Palvelimeton alhainen koodi, pura, muunnos, lataa (ETL) alusta, jossa on keskitetty metatietovarasto ja käyttää ML:ää tietojen kopioiden poistamiseen ja puhdistamiseen
- Azure Data Factory: Palvelu tiedonsiirron ohjaamiseen ja tiedon muuntamiseen välillä Azure-resurssit, käyttämällä tietojen havainnointikykyä, metadataja koneoppiminen
- Cloudera: Datapalvelut, jotka käsittelevät tietoja useiden yrityspilvien välillä, tehostavat tietojen replikointia ja käyttöä NiFi – nopea, helppo ja turvallinen tietojen integrointityökalu
- Google Cloud Data Fusion: Huippuluokan tuote ja perusta Google Data Integrationille sisältää tietojen havainnointi ja integrointi metadata.
- IBM Information Server for IBM Cloud Pak for Data: Palvelin, jossa on tietojen integrointi-, laatu- ja hallintaominaisuudet ja joka käyttää ML-ominaisuuksia
- IBM Infosphere Information Server: Hallittu palvelu missä tahansa pilvessä tai itse hallittu asiakasinfrastruktuurille, joka käyttää ML:ää
- Tietotekniikka: Älykäs tietoalusta, joka sisältää alkuperäisen liitettävyyden, tiedonkeruun, laadun, hallinnan, luetteloinnin koko yrityksen metatietojen kautta, yksityisyyden ja perustietojen hallinnan useissa pilvissä
- Talend: Kokonainen dataekosysteemi, joka on pilvipalvelusta riippumaton ja upottaa ML:n koko tietokantaan
Muut työkalut ovat erikoistuneet toimitustietojen valmisteluun ja pakkaamiseen:
- Fivetran: Matala asennus, ei konfigurointia ja huoltoa vaatimaton tietoputki, joka nostaa tiedot toiminnallisista lähteistä ja toimittaa sen moderniin pilvivarastoon
- Matillion: Dynaaminen ETL-alusta, joka tekee reaaliaikaisia säätöjä, jos dataprosessit kestävät liian kauan tai epäonnistuvat
- Alooma: Googlen tietoputkityökalu, joka helpottaa automatisoitujen tietoprosessien hallintaa ja näkyvyyttä
- Ommel: Talendin kanssa yhdistetty ETL- ja tietovarastotyökalu, joka siirtää ja hallitsee tietoja useista lähteistä
Yritystasolla yritykset käyttävät vähintään yhtä yleistä dataputkiresurssia, joka kattaa palvelut useissa pilvissä, ja toista erikoistunutta datan valmistelun monimutkaisuuden käsittelemiseen.
Yhteenveto
Mikä tahansa nykyaikainen tietoarkkitehtuuri vaatii dataputkiverkkoa siirtääkseen dataa raakatilasta käyttökelpoiseen. Dataputket tarjoavat joustavuutta ja nopeutta parhaan tiedon siirtämiseen liiketoiminnan ja tiedonhallinnan tarpeisiin.
Vaikka huonosti toteutetut tietoputkistot lisäävät monimutkaisuutta, kustannuksia ja turvallisuusriskejä, hyvän tietoarkkitehtuurin käyttöönotto hyvien tietotyökalujen kanssa maksimoi tietoputkien potentiaalin koko organisaatiossa.
As Chris Gladwin, yksi Ocientin perustajista ja toimitusjohtaja, muistiinpanoja, tietoputkistoista tulee entistä tärkeämpiä, jotta voidaan käsitellä hyvin monenlaista dataa. Tulevaisuus tuo mukanaan parannuksia dataputkistoon kehittyneemmällä dataintegraatiolla, jota on helpompi hallita.
Kuvaa käytetään Shutterstock.com-lisenssillä
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. Pääsy tästä.
- Lähde: https://www.dataversity.net/data-pipelines-an-overview/
- a
- Meistä
- saatavilla
- poikki
- aktiivinen
- sopeuttaa
- Lisäksi
- Lisäksi
- Lisää
- oikaisut
- vastaan
- ketterä
- AI
- algoritmit
- Kaikki
- Amazon
- analyytikot
- analysoida
- ja
- ja infrastruktuuri
- Toinen
- näyttää
- sovellukset
- käyttää
- arkkitehtuuri
- liittää
- kuulemiset
- Automatisoitu
- Automaatio
- saatavissa
- välttämällä
- AWS
- Taivaansininen
- tausta
- Balance
- koska
- tulevat
- PARAS
- Paremmin
- BMC
- Breaking
- taukoja
- Tuo
- rakentaa
- rakennettu
- liiketoiminta
- yritykset
- soittaa
- ei voi
- kyvyt
- kortti
- keskeinen
- toimitusjohtaja
- varmasti
- haasteet
- muuttaa
- Kanava
- kanavat
- Valita
- lähempänä
- pilvi
- pilvipalvelut
- Perustaja
- koodi
- kerätä
- yhdistää
- Tulla
- Yritykset
- yritys
- monimutkaisuus
- noudattaminen
- tietokone
- kytkeä
- Kytkeminen
- liitäntä
- Liitännät
- Liitännät
- siis
- Harkita
- kuluttaa
- jatkuu
- edistävät
- ohjaus
- muuntaa
- Yrityksen
- Hinta
- kustannukset
- luoda
- luotu
- luominen
- pisteitä
- luottokortti
- kriittinen
- asiakas
- Asiakaspalvelu
- Asiakkaat
- tiedot
- datan integraatio
- tiedonhallinta
- Tietoalusta
- Tietojen valmistelu
- tietojenkäsittely
- tiedon laatu
- tietoturva
- tietovarasto
- tietokannat
- DATAVERSITEETTI
- päätökset
- toimittaa
- Antaa
- toimitus
- sijoittaa
- määränpää
- kehittäjille
- kehittämällä
- eri
- digitaalinen
- suoraan
- alas
- dynaaminen
- kukin
- helpompaa
- ekosysteemi
- tehokas
- tehokkaasti
- syntymässä
- työntekijää
- päittäin
- sitoumus
- Engineers
- varmistaa
- yritys
- yrityksille
- Koko
- ympäristöissä
- erityisesti
- olennainen
- Eetteri (ETH)
- esimerkki
- Esimerkit
- olemassa
- uute
- Kasvot
- kohtasi
- helpottaminen
- tehdas
- FAIL
- FAST
- nopeampi
- Löytää
- Korjata
- Joustavuus
- joustava
- virtaus
- Virtaava
- virrat
- jälkeen
- ruoka
- perusta
- Puitteet
- alkaen
- turhautumista
- toiminto
- toiminta
- Lisäksi
- fuusio
- tulevaisuutta
- Saada
- Gartner
- saada
- saada
- Antaa
- Go
- hyvä
- tavarat
- hallinto
- Hallitus
- Kasvaa
- kahva
- terveys
- auttaa
- Korkea
- kokonaisvaltainen
- Miten
- HTML
- HTTPS
- Hybridi
- hybridi pilvi
- IBM
- IBM Cloud
- tunnistaa
- täytäntöönpanosta
- parannuksia
- in
- sisältää
- sisältää
- Mukaan lukien
- kasvoi
- lisää
- teollisuus
- tiedot
- Infrastruktuuri
- panos
- tietoa
- oivalluksia
- integraatio
- Älykäs
- linkittäminen toisiinsa
- sisäinen
- koukerot
- Investoida
- IT
- Job
- Pitää
- Tietää
- tuntemus
- tunnettu
- Lack
- johtaa
- oppiminen
- Taso
- vipuvaikutuksen
- Lisenssi
- kuormitus
- sijainnit
- Pitkät
- Matala
- kone
- koneoppiminen
- ylläpitää
- Ylläpidettävä
- huolto
- tehdä
- TEE
- Tekeminen
- hoitaa
- onnistui
- johto
- Päättäjät
- hallinnoi
- monet
- mestari
- max-width
- Maksimoi
- Tavata
- Metadata
- Microsoft
- Microsoft Azure
- ML
- mallit
- Moderni
- nykyaikaistaa
- muokata
- seuranta
- lisää
- tehokkaampi
- eniten
- liikkua
- liike
- liikkuu
- liikkuvat
- moninkertainen
- syntyperäinen
- välttämätön
- Tarve
- tarvitaan
- tarpeet
- verkko
- Uusi
- seuraava
- Huomautuksia
- ONE
- toiminta
- toiminta-
- orkestrointi
- organisaatio
- organisaatioiden
- Muut
- erehdys
- yleiskatsaus
- paketti
- pakkaus
- pariksi
- osat
- kuviot
- putki
- suunnitelma
- foorumi
- Platforms
- Platon
- Platonin tietotieto
- PlatonData
- politiikkaa
- mahdollinen
- mahdollinen
- käytännöt
- valmistelee
- puheenjohtaja
- yksityisyys
- prosessi
- Prosessit
- käsittely
- Tuotteet
- Ohjelmat
- suojella
- toimittaa
- tarjoaa
- tarjoamalla
- julkisesti
- laatu
- nopeasti
- raaka
- raakadata
- saavuttaa
- reaaliaikainen
- määräykset
- korvata
- replikointi
- Raportit
- säilytyspaikka
- edellyttää
- vaatimukset
- Vaatii
- tutkimus
- resurssi
- Esittelymateriaalit
- johtua
- riskit
- luja
- säännöt
- Säästä
- skaalautuva
- skaalaus
- skannata
- turvallinen
- turvallisuus
- turvallisuusriskit
- sensible
- serverless
- palvelu
- Palvelut
- useat
- VAIHTO
- shouldnt
- Shutterstock
- samankaltainen
- hidastuu
- So
- Tuotteemme
- jonkin verran
- hienostunut
- lähde
- Lähteet
- jännevälien
- erikoistuneet
- erikoistunut
- nopeus
- viettää
- Kaupallinen
- Henkilöstö
- Alkaa
- Osavaltio
- tallennettu
- streaming
- tehostaa
- rakenne
- Tukea
- järjestelmä
- järjestelmät
- ottaa
- Neuvottelut
- Tekninen
- Technologies
- -
- Tulevaisuus
- tiedot
- Lähde
- heidän
- kolmannen osapuolen
- kolmella
- Kautta
- kauttaaltaan
- että
- liian
- työkalu
- työkalut
- kohti
- perinteinen
- Muuttaa
- muuttamassa
- kuljettaa
- kuljettava
- matkustaa
- VUORO
- tyypit
- meille
- varten
- ymmärtää
- UPS
- käyttää
- Käyttäjät
- arvo
- lajike
- eri
- myyjät
- Näytä
- näkyvyys
- Varasto
- Mitä
- KUKA
- leveä
- tulee
- työntekijöitä
- työnkulku
- zephyrnet