Por que a próxima geração de gerenciamento de dados começa com Data Fabrics

Clique para saber mais sobre o autor Kendal Clark.

A exigência de que a TI forneça valor aos negócios nunca foi tão forte. Na verdade, 76% dos executivos acreditam que a TI deve ser um parceiro ativo no desenvolvimento da estratégia de negócios. Agilidade é a chave para o sucesso aqui. No entanto, a maioria das empresas é prejudicada por estratégias de dados que deixam as equipas surpreendidas quando o mercado muda ou surgem novos desafios.

Veja os sistemas estruturados de gerenciamento de dados, por exemplo. Esta opção funcionou bem quando o próprio cenário de dados corporativos era predominantemente estruturado. Mas o mundo é diferente agora, e o cenário de dados empresariais é agora dominado por dados híbridos, variados e em constante mudança. O surgimento da Internet das Coisas (IoT), o aumento do volume de dados não estruturados, a crescente relevância das fontes de dados externas e a tendência para ambientes multi-cloud híbridos são obstáculos à satisfação de cada novo pedido de dados. O antiga estratégia de dados, centrado em sistemas de dados relacionais, está fundamentalmente quebrado. Então, como podem as empresas passar de uma estratégia de dados reativa para uma estratégia de dados responsiva?

Enterprise Data Fabrics: o caminho a seguir

As organizações hoje procuram construir uma tecido de dados para potencializar projetos e produtos colaborativos e multifuncionais e escapar de fluxos de trabalho reativos com uma base digital resiliente – sem necessidade de remoção e substituição. As malhas de dados tecem dados de silos de dados internos e fontes externas e criam uma rede de informações para potencializar aplicativos, IA e análises. Muito simplesmente, eles suportam toda a gama de desafios de dados nas empresas complexas e conectadas de hoje.

Ao contrário das técnicas antigas de integração de dados estáticos, os princípios-chave das malhas de dados são que elas podem:

• Responda perguntas imprevistas e adapte-se a novos requisitos
• Traga significado aos dados, o que leva a uma melhor visão
• Habilite consultas em silos de dados e fontes externas, independentemente da estrutura de dados
• Modernize os sistemas existentes para que não seja necessário remover e substituir
• Conecte dados na camada de computação, não na camada de armazenamento, para que os silos de dados possam ser conectados sem criar silos adicionais

Os data fabrics também suportam conexões de dados multifuncionais que são essenciais para criar e defender vantagens competitivas e permitir a colaboração em toda a empresa e com parceiros externos. Tomemos como exemplo os desafios em torno da inovação na cadeia de abastecimento. Os sistemas convencionais de dados da cadeia de suprimentos são uma corrida de revezamento, operando com transferências lineares e links ponto a ponto isolados entre sistemas. Vimos os resultados previsíveis quando a COVID-19 chegou e as cadeias de abastecimento globais entraram em colapso. Alguma tensão ou mesmo colapso parcial era inevitável, mas as consequências foram agravadas por estratégias de dados inadequadas que tratavam a cadeia de abastecimento como um sistema rígido. Na realidade, a cadeia de abastecimento é uma rede complexa de intervenientes que têm de estar totalmente sincronizados para se ajustarem conforme necessário.

Com uma rede de fornecimento digital alimentada por uma estrutura de dados, as empresas podem responder a questões complexas que antes não conseguiam perceber, como “mostre-me todos os lotes de matérias-primas e fornecedores associados envolvidos na produção do lote 123 de produto acabado”. Ou “como o CPV do produto A se compara entre essas duas regiões?” Ou “quais fabricantes forneceram as matérias-primas envolvidas nesta reclamação do cliente?”

Unir um Data Fabric de sucesso começa com a compreensão de seus materiais

Ao contrário de outras abordagens, os data fabrics tecem sistemas e aplicativos de gerenciamento de dados existentes. Portanto, não é de admirar que os data fabrics estejam sendo rapidamente vistos como o próximo passo na maturação do espaço de integração de dados. Isso está acontecendo porque as malhas de dados podem:

1. Descubra o significado oculto: As estruturas de dados mudam o status quo, fornecendo significado, e não apenas dados, em toda a empresa. Esse significado vem de muitas fontes: dados e metadados, fontes internas e externas e sistemas em nuvem e locais. O significado é capturado dentro e por modelos de dados extensíveis alimentados por gráficos de conhecimento, com todo o contexto de cada ativo de dados totalmente presente e disponível, em formato compreensível por máquina. Com uma estrutura de dados, pessoas e algoritmos podem tomar decisões melhores, ao mesmo tempo que reduzem a probabilidade e o risco de uso indevido ou interpretação incorreta dos dados.

2. Responda a perguntas difíceis: As estruturas de dados fornecem respostas por meio de recursos avançados de consulta, pesquisa e aprendizado. Em vez de uma entidade estática baseada na movimentação ou cópia de dados, uma plataforma de malha de dados fornece uma camada de dados dinâmica “consultável” que reúne respostas de todos os setores. silos de dados. As estratégias anteriores de integração de dados dependiam da criação de um novo modelo de dados para dar suporte a cada novo caso de uso e, em seguida, mover ou copiar dados para preencher esse modelo de dados. Com uma malha de dados, os modelos de dados são reutilizáveis, portanto, quando surgem dúvidas imprevistas, é fácil para as equipes se adaptarem para atender às necessidades do negócio.

3. Apoiar projetos de gerenciamento de dados multifuncionais: As estruturas de dados tecem sistemas de gerenciamento de dados existentes, enriquecendo todos os aplicativos conectados. Eles substituem sistemas mais antigos que coletavam ou catalogavam os ativos de uma empresa, mas não conseguiam tornar os dados utilizáveis. As soluções anteriores também falharam, em parte, devido à sua incapacidade de lidar com dados híbridos, variados e mutáveis, mas também devido à resistência organizacional. Os data fabrics, no entanto, são criados para colaboração, aproveitando e conectando ativos existentes e impulsionando uma nova geração de projetos multifuncionais de gerenciamento de dados.

Modernizar os investimentos existentes

A maioria de nós se lembrará de como os data lakes já prometeram centralizar os ativos de dados de uma empresa. Mas muitos data lakes não conseguem cumprir seu entusiasmo precisamente porque colocam os dados na camada de armazenamento, em vez de conectá-los à camada de computação. Eles aproveitam os dados com base em sua localização, e não com base no significado comercial. Toda a premissa por trás de uma malha de dados é que a colocação física de dados não realiza por si só a conexão de dados nem fornece significado ou contexto. As gerações mais antigas de sistemas de integração baseados em armazenamento, como o data warehouse, são, na verdade, ainda menos capazes do que os data lakes, uma vez que, para começar, só gerenciam facilmente dados estruturados, deixando os silos de dados semiestruturados e não estruturados completamente sem endereço e desconectados. As empresas rapidamente recorreram aos catálogos de dados para tentar abordar a diversidade desconcertante dos seus cenários de dados, apenas para descobrirem que a catalogação por si só não leva a uma empresa conectada.

Embora estas tecnologias prometam acabar com os silos de dados, a verdade é que são inevitáveis ​​e existem por boas razões. Permitem o controlo e a governação locais quando são importantes para uma parte específica do negócio, uma vez que alguns dados devem ser armazenados separadamente de outros dados para cumprir a regulamentação legal ou simplesmente por razões comerciais herdadas. Integração de dados convencional com foco na eliminação
criar silos por meio de domínio, migração, consolidação ou governança. Mas os data fabrics oferecem uma alternativa prática. Em vez de trabalhar contra silos de dados, uma malha de dados os aproveita sem exigir cópias adicionais dos dados. Em vez de substituir tecnologias legadas, uma malha de dados funciona em conjunto com os investimentos existentes e melhora a sua utilidade. Isso ocorre porque uma malha de dados é um projeto arquitetônico que opera na camada de computação e se concentra na conexão de dados onde quer que eles residam e, assim, realmente melhora os ativos de armazenamento de dados fisicamente consolidados existentes, como data lakes, catálogos de dados, armazéns, MDM e outros.

Gráficos de conhecimento: o ponto que falta para uma estrutura de dados bem-sucedida

Os gráficos de conhecimento são capazes de representar toda a diversidade e complexidade dos dados corporativos porque servem como um formato universal de significado, independentemente da estrutura, localização ou formato da fonte dos dados. Um gráfico de conhecimento substitui o atual e trabalhoso processo de integração de dados corporativos, que normalmente envolve extração, tradução, modelagem, mapeamento e, em seguida, em movimento dados entre vários aplicativos. O código personalizado necessário para modelagem e mapeamento rapidamente se torna difícil de manejar em grande escala, diminuindo o ritmo da inovação e do insight.

Os gráficos de conhecimento são parte integrante de uma estrutura de dados eficaz, pois criam uma rede reutilizável de conhecimento e representam facilmente dados de várias estruturas e suportam vários esquemas. Criando uma compreensão semântica consultável e reutilizável de dados corporativos e de terceiros, os gráficos de conhecimento servem como o núcleo da estrutura de dados: enriquecendo e acelerando os investimentos existentes e fornecendo acesso crítico a insights de negócios.

Assim como uma malha comum que está em conformidade com tudo o que envolve, uma malha de dados corporativos se sobrepõe aos ativos de dados existentes e se conecta a eles por meio de threads individuais e entrelaça essas fontes em uma camada unificada. Ao fazer isso, as malhas de dados realmente aumentam o valor comercial dos investimentos existentes.

Fonte: https://www.dataversity.net/why-the-next-Generation-of-data-management-begins-with-data-fabrics/