No nosso mundo cada vez mais digital, o acesso acessível à banda larga de alta velocidade é uma necessidade para participar plenamente na nossa sociedade, mas ainda existem milhões de lares americanos sem acesso à Internet. Consultores de RH&A—uma consultoria multidisciplinar com extenso trabalho no espaço de banda larga e equidade digital está ajudando seus clientes estaduais, distritais e municipais a fornecer acesso acessível à Internet, analisando necessidades de inclusão digital específicas localmente e construindo planos de equidade digital personalizados.
O primeiro passo neste processo é mapear a exclusão digital. Quais famílias não têm acesso à internet em casa? Onde é que eles vivem? Quais são suas necessidades específicas?
As fontes de dados públicos não são suficientes para construir uma verdadeira compreensão das necessidades de inclusão digital. Para preencher as lacunas nos dados existentes, o RH&A cria pesquisas de equidade digital para construir uma imagem mais completa antes de desenvolver planos de equidade digital. RH&A usou Sem servidor Amazon Redshift e PAPEL para processar os resultados da pesquisa com mais eficiência e criar painéis interativos personalizados para facilitar a compreensão dos resultados. A colaboração de HR&A com Amazon RedShift e CARTO resultou em uma redução de 75% no tempo geral de implantação e gerenciamento de painéis e ajudou a equipe a atingir as seguintes metas técnicas:
- Carregar resultados de levantamento topográfico (arquivos CSV) e dados geométricos (arquivos de forma) em um data warehouse
- Execute transformações geoespaciais usando trabalhos de extração, transformação e carregamento (ELT) para unir dados geométricos com resultados de levantamento topográfico no data warehouse para permitir a visualização dos resultados do levantamento topográfico em um mapa
- Integre-se a uma ferramenta de business intelligence (BI) para funções geoespaciais avançadas, visualizações e painéis de mapeamento
- Aumente ou diminua a capacidade do data warehouse para lidar com cargas de trabalho de complexidade variada de maneira econômica
Nesta postagem, explicamos como o RH&A usa a análise espacial do Amazon Redshift e o CARTO para medição geoespacial econômica da inclusão digital e do acesso à Internet em vários estados dos EUA.
Antes de entrarmos nos detalhes da arquitetura, aqui está o que a HR&A e seu cliente, o Escritório do Futuro do Trabalho do Colorado, têm a dizer sobre a solução.
“Trabalhando com a equipe da HR&A Advisors, a equipe de patrimônio digital do Colorado criou um painel personalizado que nos permitiu avaliar de maneira muito eficaz nosso alcance enquanto pesquisamos populações historicamente marginalizadas em todo o Colorado. Essa ferramenta dinâmica, desenvolvida pela AWS e CARTO, forneceu visualizações robustas de quais regiões e populações estavam interagindo com nossa pesquisa, permitindo-nos ampliar rapidamente e resolver lacunas na cobertura. Garantir que pudéssemos buscar dados daqueles que são mais afetados pela exclusão digital no Colorado foi vital para abordar as desigualdades digitais em nosso estado.”
— Melanie Colletti, gerente de patrimônio digital do Escritório do Futuro do Trabalho do Colorado
“A AWS nos permite armazenar com segurança todos os nossos dados de pesquisa em um só lugar, limpá-los e analisá-los rapidamente no Amazon Redshift e espelhar os resultados por meio da integração com ferramentas de visualização de dados, como CARTO, sem que os dados saiam da AWS. Isso libera espaço no computador local, automatiza bastante a etapa de limpeza e análise da pesquisa e permite que nossos clientes acessem facilmente os resultados dos dados. Após a prova de conceito e desenvolvimento do primeiro protótipo, quase todos os nossos clientes estaduais demonstraram interesse em utilizar a mesma solução para seus estados.”
— Harman Singh Dhodi, analista da HR&A Advisors, Inc.
Armazenar e analisar grandes conjuntos de dados de pesquisas
A HR&A usou o Redshift Serverless para armazenar grandes quantidades de dados de inclusão digital em um só lugar e transformá-los e analisá-los rapidamente usando o kit de ferramentas analíticas da CARTO para ampliar os recursos espaciais do Amazon Redshift e integrar com as ferramentas de visualização de dados da CARTO — tudo isso sem que os dados saiam do ambiente AWS . Isso reduziu significativamente os tempos de resposta analítica.
A Caixa de ferramentas de análise CARTO para Redshift é composto por um conjunto de funções e procedimentos definidos pelo usuário e organizados em um conjunto de módulos com base nas funcionalidades que oferecem.
A figura a seguir mostra as etapas da solução e do fluxo de trabalho desenvolvidas durante a prova de conceito com uma nuvem privada virtual (VPC) no Amazon Redshift.
Nas seções a seguir, discutiremos cada fase do fluxo de trabalho com mais detalhes.
Ingestão de dados
HR&A recebe dados de pesquisa como arquivos CSV amplos com centenas de colunas em cada arquivo e dados espaciais relacionados em hexadecimal Binário bem conhecido estendido (EWKB) na forma de arquivos de forma. Esses arquivos são armazenados em Serviço de armazenamento simples da Amazon (Amazônia S3).
A Comando CÓPIA Redshift é usado para ingerir dados espaciais de arquivos de formato no tipo de dados nativo GEOMETRY compatível com Amazon Redshift. Uma combinação de Espectro Amazon Redshift e os comandos COPY são usados para assimilar os dados de pesquisa armazenados como arquivos CSV. Para os arquivos com estruturas desconhecidas, Cola AWS crawlers são usados para extrair metadados e criar definições de tabela no Catálogo de Dados. Essas definições de tabela são usadas como repositório de metadados para tabelas externas no Amazon Redshift.
Para arquivos com estruturas conhecidas, é usado um procedimento armazenado do Redshift, que usa o local do arquivo e o nome da tabela como parâmetros e executa um comando COPY para carregar os dados brutos nas tabelas correspondentes do Redshift.
Transformação de dados
Vários procedimentos armazenados são usados para dividir os dados brutos da tabela e carregá-los nas tabelas de destino correspondentes enquanto aplicam as transformações definidas pelo usuário.
Estas regras de transformação incluem a transformação de dados GEOMETRY usando dados nativos Funções geoespaciais Redshift, gostar ST_Área e ST_comprimentoe CARTO funções espaciais avançadas, que estão prontamente disponíveis no Amazon Redshift como parte do CARTO Analytics Toolbox for Redshift instalação. Além disso, todas as etapas de ingestão e transformação de dados são automatizadas usando um AWS Lambda função para executar a consulta do Redshift quando qualquer conjunto de dados no Amazon S3 for atualizado.
Visualização de dados
A equipe de RH&A usou o conector Redshift da CARTO para se conectar ao endpoint Redshift Serverless e construiu painéis usando a interface SQL e widgets da CARTO para auxiliar no mapeamento enquanto realizava cálculos dinâmicos dos dados do mapa conforme as necessidades do cliente.
A seguir estão exemplos de capturas de tela dos painéis que mostram as respostas da pesquisa por CEP. Os condados que estão em tons mais claros representam respostas limitadas ao inquérito e precisam de ser incluídos na estratégia de recolha de dados direccionada.
A primeira imagem mostra o painel sem nenhum filtro ativo. A segunda imagem mostra o mapa filtrado e os bate-papos dos entrevistados que responderam à pesquisa em espanhol. O usuário pode selecionar e alternar entre recursos clicando na respectiva categoria em qualquer um dos gráficos de barras.
O resultado: um novo padrão para atualização automática de painéis de inclusão digital
Após desenvolver o primeiro protótipo de dashboard interativo com essa metodologia, cinco clientes estaduais da HR&A (CA, TX, NV, CO e MA) demonstraram interesse na solução. O RH&A conseguiu implementá-lo para cada um deles em 2 meses – um retorno incrivelmente rápido para um painel de inclusão digital interativo e personalizado.
O RH&A também percebeu uma redução de 75% no tempo geral de implantação e gerenciamento de painéis, o que significou que a equipe de consultoria poderia redirecionar seu foco da análise manual de dados para ajudar os clientes a interpretar e planejar estrategicamente os resultados. Finalmente, a interface amigável do painel tornou os dados da pesquisa mais acessíveis a uma gama mais ampla de partes interessadas. Isto ajudou a construir um entendimento partilhado ao avaliar as lacunas no panorama de inclusão digital de cada estado e permitiu uma estratégia de recolha de dados direcionada em áreas com respostas limitadas aos inquéritos, apoiando assim uma colaboração mais produtiva em geral.
Conclusão
Nesta postagem, mostramos como o RH&A conseguiu analisar dados geoespaciais em grandes volumes usando Amazon Redshift Serverless e CARTO.
Com a implementação bem-sucedida de RH&A, fica evidente que o Redshift Serverless, com sua flexibilidade e escalabilidade, pode ser usado como um catalisador para mudanças sociais positivas. À medida que o RH&A continua a preparar o caminho para a equidade digital, sua história é uma prova de como os serviços da AWS e seus parceiros podem ser usados para enfrentar os desafios do mundo real.
Incentivamos você a explorar o Redshift Serverless com CARTO para analisar dados espaciais e conte-nos sua experiência nos comentários.
Sobre os autores
Harman Singh Dhodi é analista da HR&A Advisors, Harman combina sua paixão por análise de dados com práticas de infraestrutura sustentável, inclusão social, viabilidade econômica, resiliência climática e capacitação das partes interessadas. O trabalho de Harman geralmente se concentra na tradução de conjuntos de dados complexos em histórias visuais e ferramentas acessíveis que ajudam a capacitar as comunidades a compreender os desafios que enfrentam e a criar soluções para um futuro melhor.
Kiran Kumar Tati é um arquiteto de soluções especialista em análise baseado em Omaha, NE. Ele é especialista na construção de soluções analíticas ponta a ponta. Ele tem mais de 13 anos de experiência projetando e implementando soluções de Big Data e Analytics em grande escala. Nas horas vagas, ele gosta de jogar críquete e assistir esportes.
Sapna Maheshwari é arquiteto de soluções sênior na Amazon Web Services. Ela ajuda os clientes a arquitetar soluções de análise de dados em escala na AWS. Fora do trabalho, ela gosta de viajar e experimentar novas culinárias.
Washim Nawaz é arquiteto de soluções especialista em análise na AWS. Ele trabalha na construção e ajuste de soluções de data warehouse e data lake há mais de 15 anos. Ele adora ajudar os clientes a modernizar suas plataformas de dados com soluções analíticas eficientes, de alto desempenho e escalonáveis. Fora do trabalho, ele gosta de assistir jogos e viajar.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- :tem
- :é
- :onde
- $UP
- 1
- 120
- 13
- 15 anos
- 15%
- 150
- 29
- 33
- 35%
- a
- Capaz
- Sobre
- Acesso
- acessível
- Alcançar
- em
- ativo
- endereço
- endereçando
- avançado
- conselheiros
- acessível
- Todos os Produtos
- permitir
- permitidas
- permite
- quase
- tb
- Amazon
- Amazon Web Services
- americano
- quantidades
- an
- análise
- analista
- Analítico
- Análises
- analítica
- analisar
- análise
- e
- qualquer
- Aplicando
- arquitetura
- SOMOS
- áreas
- por aí
- AS
- Avaliando
- auxiliar
- At
- Automatizado
- automatiza
- automaticamente
- disponível
- AWS
- Barra
- baseado
- BE
- sido
- antes
- entre
- Grande
- Big Data
- mais brilhante
- banda larga
- construir
- Prédio
- construído
- negócio
- inteligência de negócios
- by
- CA
- CAN
- capacidades
- Capacidade
- Catalisador
- Categoria
- desafios
- alterar
- charts
- Limpeza
- cliente
- clientes
- Clima
- Na nuvem
- CO
- código
- colaboração
- coleção
- Colorado
- colunas
- combinação
- combina
- comentários
- Comunidades
- completar
- integrações
- complexidade
- composta
- computador
- conceito
- Contato
- consultoria
- consultor
- continua
- Correspondente
- relação custo-benefício
- poderia
- condado
- cobertura
- crio
- criado
- cria
- Grilo
- personalizadas
- Clientes
- Cortar
- painel de instrumentos
- painéis
- dados,
- Análise de Dados
- lago data
- Visualização de dados
- data warehouse
- conjuntos de dados
- definições
- entregar
- desenvolvimento
- concepção
- detalhe
- detalhes
- desenvolvido
- em desenvolvimento
- Desenvolvimento
- digital
- mundo digital
- discutir
- dividir
- do
- não
- down
- durante
- dinâmico
- cada
- facilmente
- Econômico
- efetivamente
- eficiente
- eficientemente
- autorizar
- permitindo
- encorajar
- end-to-end
- Ponto final
- assegurando
- Meio Ambiente
- equidade
- Éter (ETH)
- avaliar
- SEMPRE
- evidente
- existente
- vasta experiência
- explorar
- estender
- extenso
- externo
- extrato
- facilitar
- enfrentando
- Funcionalidades
- Figura
- Envie o
- Arquivos
- preencher
- filtros
- Finalmente
- descobertas
- Primeiro nome
- cinco
- Flexibilidade
- Foco
- concentra-se
- seguinte
- Escolha
- formulário
- da
- totalmente
- função
- funcionalidade
- funções
- Além disso
- futuro
- Futuro do trabalho
- Games
- lacunas
- geometria
- ter
- Objetivos
- grandemente
- Ter
- he
- ajudar
- ajudou
- ajuda
- ajuda
- SUA PARTICIPAÇÃO FAZ A DIFERENÇA
- sua
- historicamente
- Início
- House
- famílias
- Como funciona o dobrador de carta de canal
- HTML
- http
- HTTPS
- Centenas
- ilustrando
- imagem
- impactada
- executar
- implementação
- implementação
- in
- incluir
- incluído
- inclusão
- cada vez mais
- incrivelmente
- Infraestrutura
- integrar
- integração
- Inteligência
- interagindo
- interativo
- interesse
- Interface
- Internet
- Acesso à internet
- para dentro
- IT
- ESTÁ
- Empregos
- juntar
- jpg
- Saber
- conhecido
- Kumar
- lago
- paisagem
- língua
- grande
- partida
- deixar
- isqueiro
- como
- Limitado
- viver
- carregar
- local
- localmente
- localização
- moldadas
- de grupos
- Gerente
- manualmente
- mapa,
- mapeamento
- significava
- a medida
- medição
- melanie
- metadados
- Metodologia
- milhões
- espelho
- modernizar
- Módulos
- mais
- a maioria
- multidisciplinar
- múltiplo
- municipal
- nome
- nativo
- ne
- necessidade
- você merece...
- Cria
- Novo
- NV
- of
- oferecer
- Office
- frequentemente
- omaha
- on
- ONE
- or
- Organizado
- A Nossa
- Fora
- lado de fora
- Acima de
- global
- parâmetros
- parte
- participar
- Parceiros
- paixão
- apaixonado
- pavimentar
- para
- realização
- fase
- fotografia
- Lugar
- plano
- planos
- Plataformas
- platão
- Inteligência de Dados Platão
- PlatãoData
- jogar
- populações
- positivo
- Publique
- alimentado
- práticas
- privado
- procedimentos
- procedimentos
- processo
- produtivo
- prova
- prova de conceito
- protótipo
- fornecido
- Links
- rapidamente
- alcance
- Cru
- dados não tratados
- alcançar
- prontamente
- mundo real
- realizado
- recebe
- redirecionar
- redução
- regiões
- relacionado
- repositório
- representar
- aqueles
- respondentes
- respostas
- resultar
- resultou
- Resultados
- uma conta de despesas robusta
- regras
- Execute
- é executado
- mesmo
- dizer
- AMPLIAR
- escalável
- Escala
- screenshots
- Segundo
- seções
- firmemente
- Buscar
- selecionar
- Serverless
- Serviços
- conjunto
- Shape
- compartilhado
- ela
- mostrar
- mostrou
- Shows
- de forma considerável
- simples
- Redes Sociais
- Mudança Social
- Sociedade
- solução
- Soluções
- Fontes
- Espaço
- Espanhol
- Espacial
- especialista
- especializada
- específico
- divisão
- Esportes
- SQL
- partes interessadas
- partes interessadas
- padrão
- fica
- Estado
- Unidos
- Passo
- Passos
- Ainda
- armazenamento
- loja
- armazenadas
- Histórias
- História
- Estrategicamente
- Estratégia
- estruturas
- bem sucedido
- tal
- suficiente
- Suportado
- Apoiar
- Vistorias
- sustentável
- mesa
- adaptados
- toma
- Target
- visadas
- Profissionais
- Dados Técnicos:
- vontade
- do que
- que
- A
- O Futuro
- O Futuro do Trabalho
- O Estado
- deles
- Eles
- Lá.
- assim
- Este
- deles
- isto
- aqueles
- Através da
- tempo
- vezes
- para
- levou
- ferramenta
- Caixa de ferramentas
- kit de ferramentas
- ferramentas
- Transformar
- Transformação
- transformações
- Viagens
- verdadeiro
- tentando
- TX
- tipo
- compreender
- compreensão
- desconhecido
- Atualizada
- atualização
- us
- Estados dos EUA
- usava
- Utilizador
- user-friendly
- usos
- utilização
- variando
- muito
- viabilidade
- Virtual
- visual
- visualização
- vital
- volumes
- Armazém
- foi
- assistindo
- Caminho..
- we
- web
- serviços web
- bem conhecido
- foram
- O Quê
- quando
- qual
- enquanto
- QUEM
- Largo
- mais largo
- Wikipedia
- de
- dentro
- sem
- Atividades:
- trabalhou
- de gestão de documentos
- mundo
- anos
- ainda
- Você
- investimentos
- zefirnet
- Zip
- zoom