Previsões de gerenciamento de dados para 2024: cinco tendências emergentes - DATAVERSITY

Republicado por Platão

seguidores: 0

À medida que nos aproximamos do final de 2023, é imperativo que os líderes de gerenciamento de dados olhe em seus espelhos retrovisores avaliar e, se necessário, refinar suas estratégias de gerenciamento de dados. Uma coisa é clara; se as organizações centradas em dados quiserem ter sucesso em 2024, terão de se preparar para um ambiente em que os dados são cada vez mais distribuídos.

Com isto em mente, vemos cinco tendências importantes de gerenciamento de dados surgindo em 2024: A antigravidade de dados prevalecerá; os produtos de dados aumentarão em importância; as organizações aprenderão como adotar a IA generativa (GenAI) e aproveitá-la com sucesso; as organizações gerenciarão os custos da nuvem de forma mais eficaz; e a segurança e a governação dos dados serão simplificadas.

Vamos dar uma olhada mais de perto em cada uma dessas tendências:

A antigravidade de dados prevalecerá

A noção de gravidade dos dados, que é uma analogia da natureza dos dados e da sua capacidade de atrair aplicações e serviços adicionais, já não existe. Toda organização com um moderno Estratégia de dados precisa de um data warehouse junto com um data lake, se não de vários, para atender às suas necessidades de negócios. Nas últimas duas décadas, os armazéns de dados e os data lakes tornaram-se populares para resolver problemas de silos de dados empresariais, mas o que criaram foram problemas ainda maiores. Isso ocorre porque os data warehouses e data lakes são compostos por sistemas locais e em nuvem, e muitas vezes estão dispersos geograficamente. Além disso, embora cada provedor de serviços de nuvem tente resolver muitos problemas de dados e análises de forma independente, a maioria das organizações executa seus dados e análises em um ambiente multinuvem, escolhendo produtos e serviços de dois ou mais provedores de serviços de nuvem.

É por isso que a antigravidade de dados, onde os dados e aplicações permanecem distribuídos através das fronteiras regionais e da nuvem, será a nova norma em 2024 e além. Outros factores que contribuem para a antigravidade dos dados serão os custos crescentes da replicação de dados, a soberania dos dados, as leis e regulamentos locais de governação de dados e a exigência de velocidade acelerada de obtenção de insights. À medida que a tendência antigravidade de dados continua, os líderes de gerenciamento de dados devem investir em tecnologias baseadas na premissa do gerenciamento de dados distribuído.

Os produtos de dados aumentarão em importância

2024 será um ano crucial para a ascensão do malha de dados, que abrange a natureza inerentemente distribuída dos dados. Em contraste com os paradigmas tradicionais e centralizados, nos quais os dados são armazenados e gerenciados por uma equipe central de dados que entrega projetos de dados aos usuários empresariais, a malha de dados é organizada em torno de vários domínios de dados, cada um dos quais é gerenciado pelos principais consumidores empresariais desses dados. Numa malha de dados, o papel da TI passa a fornecer a base para que os domínios de dados façam o seu trabalho, ou seja, a criação e distribuição de produtos de dados em toda a empresa.

O ponto de viragem será a constatação de que os produtos de dados devem ser tratados com o mesmo nível de importância que qualquer outra oferta de produto. Vejamos, por exemplo, uma cápsula de Tylenol: o seu valor não está apenas na cápsula em si, mas na embalagem abrangente que conquista a confiança do consumidor – desde a descrição e utilização pretendida até à lista de ingredientes e medidas de segurança. Da mesma forma, os catálogos de dados atuam como o “pacote” crucial que transforma dados brutos em ativos confiáveis e consumíveis.

Nesta era centrada em dados, não basta apenas empacotar os dados de forma atraente; as organizações precisam aprimorar toda a experiência do usuário final. Ecoando as melhores práticas dos gigantes do comércio eletrônico, as plataformas de dados contemporâneas devem oferecer recursos como recomendações personalizadas e destaques de produtos populares, ao mesmo tempo que criam confiança por meio do endosso dos usuários e da visibilidade da linhagem de dados. Além disso, essas plataformas devem facilitar consultas em tempo real diretamente do catálogo de dados e manter um ciclo de feedback interativo para consultas de usuários, solicitações de dados e modificações. Tal como a entrega atempada é essencial no comércio eletrónico, o acesso rápido e fiável aos dados está a tornar-se indispensável para as organizações.

As organizações terão dificuldade para adotar a GenAI e aproveitá-la com sucesso

As organizações estão enfrentando vários desafios ao tentarem implementar GenAI e grandes modelos de linguagem (LLMs), incluindo problemas com qualidade de dados, governança, conformidade ética e gerenciamento de custos. Cada obstáculo tem ligações diretas ou indiretas com a estratégia global de gestão de dados de uma organização, afetando a capacidade da organização de garantir a integridade dos dados alimentados em modelos de IA, cumprir diretrizes regulatórias complexas ou facilitar a integração do modelo em sistemas existentes.

As organizações precisarão gerenciar os custos da nuvem de maneira mais eficaz

À medida que as empresas continuam a migrar as operações de dados para a nuvem, enfrentam um obstáculo significativo: o aumento implacável e insustentável das despesas com dados na nuvem. Para o próximo ano, o mandato não é apenas controlar estes custos crescentes, mas fazê-lo mantendo ao mesmo tempo um serviço de alta qualidade e um desempenho competitivo. O aumento dos custos de hospedagem na nuvem e de gerenciamento de dados está impedindo as empresas de fazer previsões e orçamentos eficazes, e os custos anteriormente confiáveis de armazenamento de dados no local foram ofuscados pelas voláteis estruturas de preços da nuvem.

Enfrentar esta pressão financeira exige que as empresas analisem minuciosamente as despesas da nuvem e procurem eficiência sem sacrificar o desempenho. Isso envolve um exame detalhado dos padrões de uso de dados, identificando áreas de ineficiência e considerando opções de armazenamento mais econômicas. Para gerenciar eficazmente os custos de dados em nuvem, as empresas precisam se concentrar na computação consumida pelas consultas e nos volumes de saída de dados associados, tabulando o uso de conjuntos de dados e otimizando as soluções de armazenamento. Estes esforços são reforçados pela adoção de princípios de operações financeiras (FinOps), que combinam a responsabilidade financeira com o modelo de gastos flexível da nuvem.

Ao monitorar regularmente despesas, prever custos e implementar melhores práticas financeiras no gerenciamento de nuvem, as organizações podem equilibrar economia de custos e eficácia operacional, garantindo que suas estratégias de dados sejam econômica e funcionalmente robustas. Em 2024, veremos um aumento significativo no uso de painéis FinOps para gerenciar melhor as cobranças de dados na nuvem.

A segurança e a governança de dados precisarão ser simplificadas

Dados mal integrados impactam a agilidade de uma organização em muitos níveis, mas esse impacto talvez seja sentido mais fortemente na segurança e governança de dados. Como leva tempo para atualizar a miríade de sistemas isolados individualmente, é impossível proteger ou controlar todos os sistemas corporativos simultaneamente.

Para enfrentar este desafio, as organizações estão a aproveitar políticas globais para segurança e governação de dados. As políticas globais de segurança de dados podem basear-se não apenas nas funções dos usuários, mas também na localização, de modo que uma pessoa em férias possa não conseguir acessar os dados do escritório principal. As políticas globais de governação de dados também podem padronizar automaticamente a grafia de determinadas palavras, nos diferentes sistemas de uma empresa.

No entanto, para sincronizar a aplicação de políticas globais em tempo real, essas implementações de segurança e governação de dados requerem a base de uma abordagem lógica à gestão de dados, e tal abordagem é abordada na secção seguinte.

O futuro é lógico

Para superar os desafios inerentes a cada uma destas cinco tendências, as organizações terão de ser capazes de aproveitar estratégias de gestão de dados concebidas desde o início para suportar dados distribuídos. As abordagens tradicionais de gerenciamento de dados dependem da replicação física de dados de vários sistemas em um repositório central, como um data warehouse ou data lake, mas tais abordagens, por definição e também na prática, não suportam dados inerentemente distribuídos. Por outro lado, as abordagens lógicas de gerenciamento de dados permitem conexões em tempo real para dados díspares sem replicação, para dar suporte a dados inerentemente distribuídos.

Como resultado, o gerenciamento lógico de dados veio para ficar em 2024 e além, pois permite que cada organização gerencie dados distribuídos da maneira mais eficiente e econômica possível.