Așa cum vânzătorii se bazează pe corespondența din SUA sau pe UPS pentru a-și aduce bunurile către clienți, lucrătorii se bazează pe conducte de date pentru a furniza informațiile de care au nevoie pentru a obține informații despre afaceri și pentru a lua decizii. Această rețea de canale de date, care funcționează în fundal, distribuie datele procesate prin sisteme informatice, un cadru și o funcție esențială pentru orice Pe bază de date Afaceri.
Valoarea conectării sistemelor de date cu conducte continuă să crească, deoarece companiile trebuie să consume mai repede o mulțime de date în flux, difuzate în diferite formate. Deci, managerii care înțeleg conductele de date la un nivel înalt pot muta mai bine datele brute către informațiile văzute pe tablouri de bord sau rapoarte, cel mai economic.
Ce sunt conductele de date?
Conductele de date descriu elementele de prelucrare a datelor conectate în serie, cu ieșirea de date a unui canal acționând ca intrare pentru următorul. Aceste conducte pornesc de la sursă, unde sistemele o ingerează prin deplasarea sau replicarea acesteia și mutându-l către o nouă destinație.
Programele de calculator creează, modifică, transformă sau împachetează intrările lor într-un mai mult produs de date rafinat la acel nou loc. Apoi, un alt sistem informatic poate lua ieșirile de date procesate, în conducta sa de date, ca intrări.
Datele continuă de-a lungul fiecărei conexiuni și prin diferite procese de curățare și conducte până când ajung la o stare consumabilă. Apoi angajații îl folosesc la locul de muncă sau acele date sunt stocate într-un depozit, cum ar fi un depozit de date.
Pe lângă transportul de date, unele conducte curăță, convertesc și transformă datele pe măsură ce acestea se deplasează prin ele, similar modului în care tractul digestiv al unei persoane descompune alimentele. Alte canale de date colectează și analizează date despre rețeaua de conducte la nivelul întregii organizații, oferind monitorizare end-to-end a stării acesteia, cunoscută și sub numele de observabilitatea datelor.
De ce folosesc companiile conducte de date?
Companiile găsesc conducte de date bune scalabile, flexibile, mentenabile și rapide. Canalele automate de date, create și gestionate de algoritmi, pot apărea sau se pot retrage atunci când este necesar. De asemenea, conductele de date pot redirecționa datele către alte conducte evitând blocarea datelor și transportând datele rapid.
Conductele de date contribuie la diferite critici Management de date nevoi în întreaga întreprindere. Exemplele includ:
- Integrarea datelor: Conectori care împachetează și transportă date de la un sistem la altul și includ procesarea pe bază de evenimente și în lot a fluxurilor de date
- Calitatea datelor/Guvernul datelor: Conduite care definesc și aplică regulile de calitate a datelor conform politicilor corporative și reglementărilor din industrie pentru ieșirea datelor
- Catalogarea datelor/Gestionarea metadatelor: Conducte care conectează și scanează metadate pentru toate tipurile de baze de date și oferă context datelor întreprinderii
- Confidențialitatea datelor: Canale care detectați datele sensibile și protejați împotriva încălcării
Trei provocări cu care se confruntă organizațiile
Organizațiile care folosesc conducte de date se confruntă cu cel puțin trei provocări: complexitate, costuri crescute și securitate.
Complexitate
Inginerii trebuie să atașeze sau să modifice conductele de date pe măsură ce cerințele privind datele de afaceri se modifică, crescând complexitatea utilizării și menținerii canalelor. În plus, angajații trebuie să mute datele prin medii cloud hibride interconectate, inclusiv pe cele locale disponibile public, cum ar fi Microsoft Azure.
Manipularea multor diferite cloud computing locațiile adaugă frustrări cu conductele de date din cauza provocărilor în scalarea rețelei de conducte de date. Când inginerii nu reușesc să proiecteze în mod competent, canalele de date din cadrul unei organizații, mișcarea datelor încetinește sau angajații nu reușesc să obțină datele de care au nevoie și trebuie să facă mai multe curatarea datelor.
Gur Steif, președintele digital business automation la BMC Software, vorbește despre cum corporațiile se luptă pentru a integra un sistem complex de conducte în aplicațiile lor critice. În consecință, întreprinderile vor trebui să investească în platforme de orchestrare a fluxului de date care mențin fluxul de date și necesită un proces sofisticat. Operațiuni de date cunoştinţe.
Costuri crescute
Pe măsură ce tehnologiile de date mai noi apar, companiile se confruntă costuri crescute pentru a moderniza fiecare dintre conductele lor de date pentru a se adapta. În plus, companiile trebuie să cheltuiască mai mult pentru întreținerea conductelor și pentru dezvoltarea cunoștințelor tehnice.
O altă sursă de costuri provine din modificările efectuate de către ingineri din amonte, mai aproape de sursă. Uneori, acești dezvoltatori nu pot vedea direct ramificațiile codului lor, întrerupând cel puțin un proces de date pe măsură ce datele se deplasează în conducte.
Securitatea datelor
Inginerii trebuie să asigure securitatea datelor pentru conformitate, deoarece datele circulă pe diferite canale de date către public. De exemplu, contabilii companiei pot avea nevoie de informații sensibile ale cardului de credit trimise prin conducte care nu ar trebui să ajungă la personalul serviciului pentru clienți.
Deci, riscurile de securitate cresc dacă inginerii nu au o modalitate de a vizualiza datele pe măsură ce acestea curg în conductă. Ponemon Research notează că 63% dintre analiștii de securitate menționează lipsa de vizibilitate în rețea și infrastructură ca un factor de stres.
Cele mai bune practici pentru utilizarea conductelor de date
Utilizarea conductelor de date necesită atingerea unui echilibru delicat pentru a face datele necesare accesibile utilizatorilor cât mai repede posibil, la cel mai mic cost pentru creare și întreținere. Cu siguranță, întreprinderile trebuie să aleagă cel mai bun Arhitectura de date cu conducte de date sigure, agile și robuste din punct de vedere operațional.
În plus, companiile trebuie să ia în considerare următoarele:
- Tehnologii AI și învățare automată (ML): Organizațiile se vor baza pe ML pentru a identifica tiparele fluxului de date, optimizând cel mai bine fluxul de date către toate părțile organizației. În plus, serviciile bune de ML vor face fluxul de date mai eficient, facilitând auto-integrarea, vindecarea și reglarea conductelor de date. Până în 2025, modelele AI vor înlocui până la 60% dintre cele existente, inclusiv cele cu conducte de date construite pe date tradiționale.
- Observabilitatea datelor: Observabilitatea datelor oferă inginerilor o supraveghere holistică a întregii rețele de conducte de date, inclusiv orchestrarea acesteia. Cu ajutorul observabilității datelor, inginerii știu cum funcționează conductele de date și ce trebuie schimbate, remediate sau tăiate.
- Gestionarea metadatelor: Obținerea unei bune observabilități a datelor necesită utilizarea optimă a metadatelor, cunoscute și sub numele de date care descriu datele. În consecință, companiile vor aplica a Gestionarea metadatelor structura pentru a combina metadatele existente cu metadatele active emergente pentru a obține automatizarea, perspectiva și implicarea dorite în conductele de date.
Instrumente care ajută la gestionarea conductelor de date
Companiile depind de instrumentele pipeline de date pentru a ajuta la construirea, implementarea și menținerea conexiunilor de date. Aceste resurse mută date din mai multe surse către destinații mai eficient, susținând procesele end-to-end.
În timp ce unele întreprinderi plănuiesc să dezvolte și să mențină instrumente interne specializate, ele pot epuiza resursele organizațiilor pentru a le gestiona, mai ales atunci când datele circulă în medii multi-cloud. Drept urmare, unele companii vor apela la furnizori terți pentru a economisi aceste costuri.
Instrumentele terțelor pentru pipeline de date sunt disponibile în două variante. Unele generice colectează, procesează și furnizează date prin mai multe servicii cloud. Exemplele includ:
- AWS Glue: O platformă de cod redus, extragere, transformare, încărcare (ETL) fără server, care are un depozit central de metadate și folosește ML pentru a deduplica și curăța datele
- Azure Data Factory: Un serviciu pentru orchestrarea mișcării datelor și transformarea datelor între Resurse Azure, folosind observabilitatea datelor, metadate, și masina de învățare
- Cloudera: Servicii de date care gestionează date în mai multe cloud-uri de întreprindere, simplifică replicarea și utilizarea datelor NiFi – un instrument de integrare a datelor rapid, ușor și sigur
- Google Cloud Data Fusion: Un produs de ultimă generație și o bază a integrării datelor Google care include observabilitatea datelor și metadatele de integrare.
- IBM Information Server pentru IBM Cloud Pak for Data: Un server cu capabilități de integrare, calitate și guvernare a datelor, folosind capabilități ML
- IBM Infosphere Information Server: Un serviciu gestionat pe orice cloud sau autogestionat pentru o infrastructură client care utilizează ML
- Informatica: O platformă inteligentă de date care include conectivitate nativă, asimilare, calitate, guvernare, catalogare prin metadate la nivel de întreprindere, confidențialitate și management al datelor de bază pe mai multe cloud-uri
- Talentă: Un întreg ecosistem de date care este independent de cloud și încorporează ML în structura sa de date
Alte instrumente sunt specializate în pregătirea și ambalarea datelor pentru livrare:
- Fivetran: O conductă de date cu configurare redusă, fără configurare și fără întreținere, care ridică datele din sursele operaționale și le livrează într-un depozit cloud modern
- Matillion: O platformă ETL dinamică care face ajustări în timp real dacă procesele de date durează prea mult sau eșuează
- Alooma: Un instrument de canalizare de date de la Google pentru control și vizibilitate mai ușoară a proceselor automate de date
- Coase: Un instrument ETL și depozit de date, asociat cu Talend, care mută și gestionează date din mai multe surse
La nivel de întreprindere, companiile vor folosi cel puțin o resursă generică de pipeline de date care acoperă servicii pe mai multe cloud-uri și o alta specializată pentru a gestiona complexitatea pregătirii datelor.
Concluzie
Orice arhitectură modernă de date necesită o rețea de conducte de date pentru a muta datele din starea sa brută într-una utilizabilă. Conductele de date oferă flexibilitatea și viteza pentru cel mai bun transport al datelor pentru a satisface nevoile de afaceri și de gestionare a datelor.
În timp ce conductele de date prost executate duc la creșterea complexității, a costurilor și a riscurilor de securitate, implementarea unei arhitecturi de date bune cu instrumente de date bune maximizează potențialul conductelor de date în întreaga organizație.
As Chris Gladwin, co-fondator și CEO la Ocient, notează, conductele de date vor deveni mai esențiale pentru a ingera bine o mare varietate de date. Viitorul aduce îmbunătățiri ale conductei de date cu o integrare mai sofisticată a datelor, care este mai ușor de gestionat.
Imagine utilizată sub licență de la Shutterstock.com
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. Accesați Aici.
- Sursa: https://www.dataversity.net/data-pipelines-an-overview/
- a
- Despre Noi
- accesibil
- peste
- activ
- adapta
- plus
- În plus,
- Adaugă
- ajustări
- împotriva
- agil
- AI
- algoritmi
- TOATE
- Amazon
- analiști
- analiza
- și
- și infrastructură
- O alta
- apărea
- aplicatii
- Aplică
- arhitectură
- atașa
- audieri
- Automata
- Automatizare
- disponibil
- evitarea
- AWS
- Azuriu
- fundal
- Sold
- deoarece
- deveni
- CEL MAI BUN
- Mai bine
- BMC
- Breaking
- pauze
- Aduce
- construi
- construit
- afaceri
- întreprinderi
- apel
- nu poti
- capacități
- card
- central
- CEO
- cu siguranță
- provocări
- Schimbare
- Canal
- canale
- Alege
- mai aproape
- Cloud
- servicii de tip cloud
- Co-fondator
- cod
- colecta
- combina
- cum
- Companii
- companie
- complexitate
- conformitate
- calculator
- Conectați
- Conectarea
- conexiune
- Conexiuni
- Suport conectare
- prin urmare
- Lua în considerare
- consuma
- continuă
- a contribui
- Control
- converti
- Istoria
- A costat
- Cheltuieli
- crea
- a creat
- creaţie
- credit
- card de credit
- critic
- client
- Serviciu clienți
- clienţii care
- de date
- integrarea datelor
- management de date
- Platforma de date
- Pregătirea datelor
- de prelucrare a datelor
- calitatea datelor
- securitatea datelor
- depozit de date
- baze de date
- VERSITATE DE DATE
- Deciziile
- livra
- Oferă
- livrare
- implementa
- destinație
- Dezvoltatorii
- în curs de dezvoltare
- diferit
- digital
- direct
- jos
- dinamic
- fiecare
- mai ușor
- ecosistem
- eficient
- eficient
- șmirghel
- de angajați
- un capăt la altul
- angajament
- inginerii
- asigura
- Afacere
- Companii
- Întreg
- medii
- mai ales
- esenţial
- Eter (ETH)
- exemplu
- exemple
- existent
- extrage
- Față
- cu care se confruntă
- facilitând
- fabrică
- FAIL
- FAST
- mai repede
- Găsi
- Repara
- Flexibilitate
- flexibil
- debit
- Curgere
- fluxurilor
- următor
- alimente
- Fundație
- Cadru
- din
- frustrările
- funcţie
- funcționare
- În plus
- fuziune
- viitor
- Câştig
- Gartner
- obține
- obtinerea
- Da
- Go
- bine
- bunuri
- guvernare
- Guvern
- Crește
- manipula
- Sănătate
- ajutor
- Înalt
- holistică
- Cum
- HTML
- HTTPS
- Hibrid
- Hibrid cloud
- IBM
- IBM Cloud
- identifica
- Punere în aplicare a
- îmbunătățiri
- in
- include
- include
- Inclusiv
- a crescut
- crescând
- industrie
- informații
- Infrastructură
- intrare
- înţelegere
- perspective
- integrare
- Inteligent
- interconectarea
- intern
- complexități
- Investi
- IT
- Loc de munca
- A pastra
- Cunoaște
- cunoştinţe
- cunoscut
- lipsă
- conduce
- învăţare
- Nivel
- efectului de pârghie
- Licență
- încărca
- Locații
- Lung
- Jos
- maşină
- masina de învățare
- menține
- De întreținut
- întreținere
- face
- FACE
- Efectuarea
- administra
- gestionate
- administrare
- Manageri
- gestionează
- multe
- maestru
- max-width
- Maximizează
- Întâlni
- Metadata
- Microsoft
- Microsoft Azure
- ML
- Modele
- Modern
- moderniza
- modifica
- Monitorizarea
- mai mult
- mai eficient
- cele mai multe
- muta
- mişcare
- mişcă
- în mişcare
- multiplu
- nativ
- necesar
- Nevoie
- necesar
- nevoilor
- reţea
- Nou
- următor
- notițe
- ONE
- de operare
- operațional
- orchestrație
- organizație
- organizații
- Altele
- Supraveghere
- Prezentare generală
- pachet
- ambalaje
- împerecheat
- piese
- modele
- conducte
- plan
- platformă
- Platforme
- Plato
- Informații despre date Platon
- PlatoData
- Politicile
- posibil
- potenţial
- practicile
- pregătirea
- preşedinte
- intimitate
- proces
- procese
- prelucrare
- Produs
- Programe
- proteja
- furniza
- furnizează
- furnizarea
- public
- calitate
- repede
- Crud
- date neprelucrate
- aTINGE
- în timp real
- regulament
- înlocui
- replică
- Rapoarte
- depozit
- necesita
- Cerinţe
- Necesită
- cercetare
- resursă
- Resurse
- rezultat
- Riscurile
- robust
- norme
- Economisiți
- scalabil
- scalare
- scanare
- sigur
- securitate
- riscuri de securitate
- sensibil
- serverless
- serviciu
- Servicii
- câteva
- SCHIMBARE
- să
- Shutterstock
- asemănător
- încetineşte
- So
- Software
- unele
- sofisticat
- Sursă
- Surse
- se întinde
- specializa
- de specialitate
- viteză
- petrece
- Loc
- Personal
- Începe
- Stat
- stocate
- de streaming
- simplifica
- structura
- De sprijin
- sistem
- sisteme
- Lua
- Tratative
- Tehnic
- Tehnologii
- Viitorul
- informațiile
- Sursa
- lor
- terț
- trei
- Prin
- de-a lungul
- la
- de asemenea
- instrument
- Unelte
- spre
- tradiţional
- Transforma
- transformare
- de transport
- transport
- CĂLĂTORII
- ÎNTORCĂ
- Tipuri
- ne
- în
- înţelege
- UPS
- utilizare
- utilizatorii
- valoare
- varietate
- diverse
- furnizori
- Vizualizare
- vizibilitate
- Depozit
- Ce
- OMS
- larg
- voi
- muncitorii
- flux de lucru
- zephyrnet