O que são produtos de dados e por que são importantes? - DATAVERSIDADE

Republicado por Platão

seguidores: 0

Produtos de dados são softwares na forma de ferramentas e aplicativos especializados projetados para oferecer suporte a dados usados como um serviço. Eles podem ser tão simples e diretos quanto um programa que converte um conjunto de dados em uma visualização, ou tão complexos quanto um sistema de aprendizado de máquina baseado em grandes modelos de linguagem (LLM), como ChatGPT. O que todos os produtos de dados têm em comum é que atingem um objetivo específico através da aplicação de dados.

Um aspecto potencialmente confuso da tecnologia é a distinção entre produtos de dados e “dados como um produto”, que combina ferramentas de dados com estratégias para atender às necessidades de consumidores de dados específicos, seja uma pessoa ou um departamento ou organização inteiro. Em contraste, os produtos de dados servem como matéria-prima que as empresas podem combinar de formas únicas para implementar estratégias para atingir os seus objetivos de curto e longo prazo. Eles operam no nível de indivíduos, equipes, departamentos, empresas e setores inteiros.

O que é uma Produto de dados?

A IA e outras tecnologias emergentes permitem que as organizações obtenham insights dos seus ativos de dados de forma a maximizar o valor dos dados. Os produtos de dados servem como meio pelo qual as empresas convertem dados em ações que melhoram sua eficiência, competitividade e lucratividade. Ex-cientista-chefe de dados dos EUA DJ Patil cunhou o termo "jiu-jitsu de dados” em 2012 como “a arte de transformar dados em produtos”.

Através da aplicação inteligente de elementos de dados, o jiu-jitsu de dados permite que problemas de dados iterativos, de outra forma intratáveis, sejam resolvidos usando o “peso” do problema contra si mesmo, assim como os combatentes de jiu-jitsu tentam usar o peso de seus oponentes em seu benefício e em desvantagem de seus inimigos. . A abordagem padrão de resolução de problemas de atacá-lo de frente usando vários conhecimentos técnicos muitas vezes complica o problema e torna-o mais difícil de resolver.

O objetivo dos produtos de dados é simplificar a resolução de problemas, abordando desde o início uma questão simples: quem quer ou precisa deste produto? Para responder a essa pergunta rapidamente, os desenvolvedores usam atalhos que podem chegar à versão final ou ser substituídos por abordagens mais complicadas posteriormente no processo. O segredo é começar de forma simples, para evitar ficar atolado no início do projeto.

Componentes de produtos de dados

Mesmo os produtos de dados mais simples são compostos por uma lista diversificada de elementos que se combinam para apoiar decisões e resolver problemas de negócios. Estes são os oito componentes principais de um produto de dados:

As fontes de dados devem ser confiáveis, acessíveis em tempo real ou em lotes, relevantes para o problema a ser resolvido e em conformidade com regulamentos de proteção de dados, como RGPD e HIPAA, bem como com padrões legais e éticos.
Pipelines de dados automatizar quaisquer conversões de dados necessárias (ETL, por exemplo), são dimensionados para acomodar conjuntos de dados crescentes, incluem ferramentas robustas de tratamento de erros e verificações de qualidade de dados, e são modulares para suportar alterações de configuração.
Armazenamento de dados deve atender aos requisitos de desempenho, escalar horizontalmente e verticalmente sem interrupções, aplicar criptografia e controles de acesso e ser econômico ao mesmo tempo em que oferece suporte a tipos de dados estruturados, semiestruturados e não estruturados.
Modelos de dados e algoritmos fornecem insights e previsões precisas que foram validadas usando técnicas como validação cruzada. Eles precisam ser fáceis de entender pelas partes interessadas, computacionalmente eficientes e fáceis de manter.
A interface com o usuário deve ser intuitivo o suficiente para exigir treinamento mínimo do usuário. Deve fazer uso de visualizações e facilitar a interação dos usuários com os dados, incluindo mecanismos de feedback e suporte para vários dispositivos.
APIs e terminais exigem autorização e autenticação seguras, limites no número de chamadas de API de cada usuário ou sistema e documentação suficiente do desenvolvedor. Eles devem suportar formatos de dados como JSON e XML para garantir a compatibilidade.
Monitoramento e geração de registros em tempo real permite que os produtos de dados identifiquem e resolvam problemas rapidamente. Os administradores são alertados sobre problemas e erros de desempenho, e as trilhas de auditoria ajudam as empresas a atender aos requisitos de conformidade. As métricas de desempenho a serem monitoradas incluem latência, rendimento e taxas de erro.
Documentação inclui manuais do usuário, especificações técnicas, documentação para APIs, registros de alterações e registros de conformidade.

Exemplos de produtos de dados

O exemplo mais popular de um produto de dados pode ser ChatGPT, a ferramenta gratuita baseada em IA que responde perguntas simples e complexas de maneira conversacional e entra em um diálogo com os usuários que permite perguntas de acompanhamento, admite seus erros e desafia imprecisões. ChatGPT se qualifica como um produto de dados porque depende de um conjunto de dados de texto muito grande, embora o sistema seja muito mais complexo do que os produtos de dados típicos.

No entanto, em seu estado atual, o ChatGPT carece de um aspecto importante dos produtos de dados: precisão. O proprietário do produto de dados é responsável por garantir uma experiência positiva do usuário e uma resolução confiável para o problema que o produto foi projetado para ajudar a solucionar. Isto requer melhores práticas em gestão de produtos e acesso consistente e confiável a análises que apoiam decisões de negócios.

Este seis categorias de produtos de dados demonstrar o uso da tecnologia em produtos de uso diário:

Mecanismos de recomendação oferecidos por empresas como Amazon, Netflix e TripAdvisor personalizam suas respostas para aumentar o envolvimento do cliente e melhorar as taxas de conversão.
Ferramentas de análise preditiva incluem aqueles usados pela FICO, LinkedIn e Zillow que identificam tendências em dados e geram previsões com base em técnicas avançadas de mineração e modelagem de dados.
APIs de dados como Google Maps, LinkedIn Profiles e IO Weather facilitam o fluxo suave de dados entre sistemas diferentes. Os formatos comuns são transferência de estado representacional (REST), Simple Object Access Protocol (SOAP), XML-RPC e JSON-RPC.
Painéis em tempo real apresentar dados visualmente e atualizar as telas dos usuários automaticamente à medida que novas informações forem disponibilizadas. Eles são aplicados para monitorar estoque, vendas e dados operacionais em apoio às decisões de negócios. Painéis populares incluem Tableau, Microsoft BI e Zoho Analytics.
Finanças pessoais ferramentas incluir Empodere (anteriormente Personal Capital), Quicken e You Need a Budget (YNAB), todos tentando trazer mais clareza e confiança ao planejamento financeiro dos indivíduos.
Produtos vestíveis de monitoramento de saúde como Apple Watch, FitBit e Medidor Contínuo de Glicose da Dexcom vão além do monitoramento de frequências cardíacas, padrões de sono e outros problemas de saúde, compartilhando as informações com profissionais de saúde.

Por que os produtos de dados são importantes

Produtos de dados beneficiar consumidores de dados em várias formas:

Eles obtêm insights mais rapidamente usando produtos pré-construídos, em vez de ter que iniciar cada projeto do zero.
A integridade dos dados é verificada previamente, para que a confiança seja incorporada aos produtos.
A consciência situacional em tempo real aumenta o valor das análises de dados.
A capacidade de responder em tempo real apoia uma tomada de decisão mais rápida e informada.
A governação é facilitada por garantias iniciais de Qualidade de dados e conformidade.
Os produtos facilitam a localização e o acesso aos dados em diversos sistemas.

As organizações veem os produtos de dados como a chave para maior eficiência e lucratividade:

Os produtos de dados ajudam a aprimorar o foco da empresa em resultados positivos.
Eles melhoram a agilidade das organizações e agregam valor de forma incremental.
A reutilização de produtos de dados maximiza o valor dos dados com muito pouca sobrecarga.
As arquiteturas de dados são preparadas para o futuro pela adaptabilidade dos produtos de dados.
Surgem menos questões sobre a confiabilidade e integridade dos dados subjacentes.
Os departamentos de negócios e de TI se comunicam usando a mesma linguagem.

Talvez o maior benefício dos produtos de dados para as organizações seja a sua capacidade de desbloquear o valor dos dados servindo como a cola que une sistemas físicos, modelagem de dados e processos de negócios e casos de uso. Eles substituem a abordagem fragmentada que muitas empresas adotam em suas operações de dados, ao mesmo tempo que descentralizam o gerenciamento de dados. Isso libera os dados subjacentes para serem aplicados dinamicamente em diversas situações e condições, com mínimo ou nenhum pré-processamento.

De acordo com a McKinsey, os produtos de dados permitem que novos casos de uso de negócios sejam implementado 90% mais rápido e o custo total de propriedade diminuirá em 30%. Também reduzem o risco e o tempo e dinheiro gastos em operações de governação.

A concretização dos benefícios prometidos pelos produtos de dados exige a adoção de uma abordagem ágil para gerenciamento de dados que começa pequeno, é lançado rapidamente, itera e demonstra o valor dos produtos. Adicione mais alguns recursos a cada lançamento para aumentar gradativamente o valor do produto, estimular a adoção e obter maior investimento para novos produtos e casos de uso. Depois que os produtos de dados forem integrados aos processos de negócios diários da sua empresa, as ferramentas começarão a se vender à medida que seu valor se tornar aparente para usuários e gerentes.

Imagem usada sob licença da Shutterstock