En nuestro mundo cada vez más digital, el acceso asequible a la banda ancha de alta velocidad es una necesidad para participar plenamente en nuestra sociedad; sin embargo, todavía hay millones de hogares estadounidenses sin acceso a Internet. Asesores de recursos humanos y administrativos—una consultoría multidisciplinaria con un amplio trabajo en el espacio de banda ancha y equidad digital está ayudando a sus clientes estatales, del condado y municipales a brindar acceso a Internet asequible mediante el análisis de las necesidades de inclusión digital específicas a nivel local y la creación de planes de equidad digital personalizados.
El primer paso en este proceso es mapear la brecha digital. ¿Qué hogares no tienen acceso a Internet en casa? ¿Dónde viven? ¿Cuáles son sus necesidades específicas?
Las fuentes de datos públicos no son suficientes para construir una verdadera comprensión de las necesidades de inclusión digital. Para llenar los vacíos en los datos existentes, HR&A crea encuestas de equidad digital para crear una imagen más completa antes de desarrollar planes de equidad digital. HR&A ha utilizado Amazon Redshift sin servidor y CARTO para procesar los resultados de la encuesta de manera más eficiente y crear paneles interactivos personalizados para facilitar la comprensión de los resultados. La colaboración de HR&A con Desplazamiento al rojo de Amazon y CARTO ha dado como resultado una reducción del 75 % en el tiempo general de implementación y gestión del panel y ayudó al equipo a lograr los siguientes objetivos técnicos:
- Cargar resultados de levantamientos (archivos CSV) y datos de geometría (archivos de formas) en un almacén de datos
- Realice transformaciones geoespaciales utilizando trabajos de extracción, transformación y carga (ELT) para unir datos geométricos con resultados de encuestas dentro del almacén de datos para permitir la visualización de los resultados de la encuesta en un mapa.
- Integre con una herramienta de inteligencia empresarial (BI) para funciones geoespaciales avanzadas, visualizaciones y paneles de mapeo.
- Aumente o reduzca la capacidad del almacén de datos para abordar cargas de trabajo de diversa complejidad de manera rentable
En esta publicación, analizamos cómo HR&A utiliza el análisis espacial de Amazon Redshift y CARTO para una medición geoespacial rentable de la inclusión digital y el acceso a Internet en varios estados de EE. UU.
Antes de pasar a los detalles de la arquitectura, esto es lo que HR&A y su cliente, la Oficina del Futuro del Trabajo de Colorado, tienen que decir sobre la solución.
“Al trabajar con el equipo de HR&A Advisors, el equipo de Equidad Digital de Colorado creó un panel personalizado que nos permitió evaluar de manera muy efectiva nuestro alcance mientras encuestamos a poblaciones históricamente marginadas en todo Colorado. Esta herramienta dinámica, impulsada por AWS y CARTO, proporcionó visualizaciones sólidas de qué regiones y poblaciones interactuaban con nuestra encuesta, lo que nos permitió acercarnos rápidamente y abordar las brechas en la cobertura. Asegurarnos de que pudiéramos buscar datos de quienes se ven más afectados por la brecha digital en Colorado ha sido vital para abordar las desigualdades digitales en nuestro estado”.
— Melanie Colletti, gerente de equidad digital de la Oficina del Futuro del Trabajo de Colorado
“AWS nos permite almacenar de forma segura todos los datos de nuestras encuestas en un solo lugar, limpiarlos y analizarlos rápidamente en Amazon Redshift y reflejar los resultados mediante la integración con herramientas de visualización de datos como CARTO sin que los datos salgan de AWS. Esto libera espacio en nuestra computadora local, automatiza en gran medida el paso de limpieza y análisis de la encuesta y permite a nuestros clientes acceder fácilmente a los resultados de los datos. Tras la prueba de concepto y el desarrollo del primer prototipo, casi todos nuestros clientes estatales mostraron interés en utilizar la misma solución para sus estados”.
— Harman Singh Dhodi, analista de HR&A Advisors, Inc.
Almacenamiento y análisis de grandes conjuntos de datos de encuestas
HR&A utilizó Redshift Serverless para almacenar grandes cantidades de datos de inclusión digital en un solo lugar y transformarlos y analizarlos rápidamente utilizando el conjunto de herramientas analíticas de CARTO para ampliar las capacidades espaciales de Amazon Redshift e integrarlos con las herramientas de visualización de datos de CARTO, todo sin que los datos salgan del entorno de AWS. . Esto redujo significativamente los tiempos de respuesta analítica.
El proyecto Caja de herramientas de análisis CARTO para Redshift está compuesto por un conjunto de funciones y procedimientos definidos por el usuario organizados en un conjunto de módulos en función de la funcionalidad que ofrecen.
La siguiente figura muestra la solución y los pasos del flujo de trabajo desarrollados durante la prueba de concepto con una nube privada virtual (VPC) en Amazon Redshift.
En las siguientes secciones, analizamos cada fase del flujo de trabajo con más detalle.
Ingestión de datos
HR&A recibe datos de encuestas como archivos CSV amplios con cientos de columnas en cada archivo y datos espaciales relacionados en hexadecimal. Binario conocido extendido (EWKB) en forma de archivos de formas. Estos archivos se almacenan en Servicio de almacenamiento simple de Amazon (Amazon S3).
El proyecto Comando COPIAR corrimiento al rojo se utiliza para ingerir datos espaciales de archivos de formas en el tipo de datos GEOMETRY nativo admitido en Amazon Redshift. Una combinación de Espectro de Redshift de Amazon y los comandos COPY se utilizan para ingerir los datos de la encuesta almacenados como archivos CSV. Para los archivos con estructuras desconocidas, Pegamento AWS crawlers se utilizan para extraer metadatos y crear definiciones de tablas en el Catálogo de datos. Estas definiciones de tablas se utilizan como repositorio de metadatos para tablas externas en Amazon Redshift.
Para archivos con estructuras conocidas, se utiliza un procedimiento almacenado Redshift, que toma la ubicación del archivo y el nombre de la tabla como parámetros y ejecuta un comando COPY para cargar los datos sin procesar en las tablas Redshift correspondientes.
Transformación de datos
Se utilizan varios procedimientos almacenados para dividir los datos sin procesar de la tabla y cargarlos en las tablas de destino correspondientes mientras se aplican las transformaciones definidas por el usuario.
Estas reglas de transformación incluyen la transformación de datos de GEOMETRÍA usando Funciones geoespaciales de corrimiento al rojodel ADN, tales como los ST_área y ST_longitud, y CARTO funciones espaciales avanzadas, que están disponibles en Amazon Redshift como parte de CARTO Analytics Toolbox para Redshift instalación. Además, todos los pasos de ingesta y transformación de datos se automatizan mediante un AWS Lambda función para ejecutar la consulta Redshift cuando se actualiza cualquier conjunto de datos en Amazon S3.
Visualización de datos
El equipo de Recursos Humanos y Asistencia utilizó el conector Redshift de CARTO para conectarse al punto final de Redshift Serverless y creó paneles utilizando la interfaz SQL y los widgets de CARTO para ayudar en el mapeo mientras se realizaban cálculos dinámicos de los datos del mapa según las necesidades del cliente.
Las siguientes son capturas de pantalla de muestra de los paneles que muestran las respuestas de la encuesta por código postal. Los condados que están en tonos más claros representan respuestas limitadas a la encuesta y deben incluirse en la estrategia de recopilación de datos específica.
La primera imagen muestra el panel sin ningún filtro activo. La segunda imagen muestra el mapa filtrado y los chats de los encuestados que respondieron la encuesta en español. El usuario puede seleccionar y alternar entre funciones haciendo clic en la categoría respectiva en cualquiera de los gráficos de barras.
El resultado: un nuevo estándar para actualizar automáticamente los paneles de inclusión digital
Después de desarrollar el primer prototipo de tablero interactivo con esta metodología, cinco de los clientes estatales de HR&A (CA, TX, NV, CO y MA) mostraron interés en la solución. HR&A pudo implementarlo para cada uno de ellos en 2 meses: un proceso increíblemente rápido para un panel de inclusión digital personalizado e interactivo.
HR&A también se dio cuenta de una reducción del 75 % en el tiempo general de implementación y gestión del panel, lo que significó que el equipo de consultoría pudo redirigir su enfoque del análisis manual de datos a ayudar a los clientes a interpretar y planificar estratégicamente los resultados. Finalmente, la interfaz fácil de usar del tablero hizo que los datos de la encuesta fueran más accesibles para una gama más amplia de partes interesadas. Esto ayudó a construir un entendimiento compartido al evaluar las brechas en el panorama de inclusión digital de cada estado y permitió una estrategia de recopilación de datos específica de áreas con respuestas limitadas a la encuesta, apoyando así una colaboración más productiva en general.
Conclusión
En esta publicación, mostramos cómo HR&A pudo analizar datos geoespaciales en grandes volúmenes utilizando Amazon Redshift Serverless y CARTO.
Con la implementación exitosa de HR&A, es evidente que Redshift Serverless, con su flexibilidad y escalabilidad, puede usarse como catalizador para un cambio social positivo. A medida que HR&A continúa allanando el camino para la equidad digital, su historia es un testimonio de cómo los servicios de AWS y sus socios se pueden utilizar para abordar los desafíos del mundo real.
Le recomendamos que explore Redshift Serverless con CARTO para analizar datos espaciales y que nos cuente su experiencia en los comentarios.
Sobre los autores
Harman Singh Dhodi Harman es analista de HR&A Advisors y combina su pasión por el análisis de datos con prácticas de infraestructura sostenible, inclusión social, viabilidad económica, resiliencia climática y desarrollo de capacidades de las partes interesadas. El trabajo de Harman a menudo se centra en traducir conjuntos de datos complejos en historias visuales y herramientas accesibles que ayuden a las comunidades a comprender los desafíos que enfrentan y crear soluciones para un futuro mejor.
Kiran Kumar Tati es un arquitecto de soluciones especialista en análisis con sede en Omaha, NE. Se especializa en la creación de soluciones analíticas de un extremo a otro. Tiene más de 13 años de experiencia en el diseño e implementación de soluciones de análisis y big data a gran escala. En su tiempo libre, le gusta jugar al cricket y ver deportes.
Sapna Maheshwari es arquitecto sénior de soluciones en Amazon Web Services. Ayuda a los clientes a diseñar soluciones de análisis de datos a escala en AWS. Fuera del trabajo le gusta viajar y probar nuevas cocinas.
Washim Nawaz es arquitecto de soluciones especialista en análisis en AWS. Ha trabajado en la creación y optimización de soluciones de data warehouse y data lake durante más de 15 años. Le apasiona ayudar a los clientes a modernizar sus plataformas de datos con soluciones analíticas eficientes, eficaces y escalables. Fuera del trabajo, le gusta ver partidos y viajar.
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
- PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
- PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
- PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
- Fuente: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- :posee
- :es
- :dónde
- $ UP
- 1
- 120
- 13
- 15 años
- 15%
- 150
- 29
- 33
- 35%
- a
- Poder
- Nuestra Empresa
- de la máquina
- accesible
- Lograr
- a través de
- lector activo
- dirección
- direccionamiento
- avanzado
- asesores
- asequible
- Todos
- permitir
- permitido
- permite
- casi
- también
- Amazon
- Amazon Web Services
- American
- cantidades
- an
- análisis
- analista
- Analítico
- Pruebas analíticas
- Analytics
- analizar
- el análisis de
- y
- cualquier
- La aplicación de
- arquitectura
- somos
- áreas
- en torno a
- AS
- Evaluación
- ayudar
- At
- Confirmación de Viaje
- automatiza
- automáticamente
- Hoy Disponibles
- AWS
- de caramelos
- basado
- BE
- esto
- antes
- entre
- Big
- Big Data
- brillante
- banda ancha
- build
- Construir la
- construido
- inteligencia empresarial
- by
- CA
- PUEDEN
- capacidades
- Capacidad
- Catalizador
- Categoría
- retos
- el cambio
- Gráficas
- Limpieza
- cliente
- clientes
- Clima
- Soluciones
- CO
- código
- colaboración
- --
- Colorado
- Columnas
- combinación
- combina
- comentarios
- Comunidades
- completar
- integraciones
- complejidad
- compuesto
- computadora
- concepto
- Contacto
- Consultancy
- consultoría
- continúa
- Correspondiente
- rentable
- podría
- condado
- cobertura
- Para crear
- creado
- crea
- cricket
- personalizado
- Clientes
- Corte
- página de información de sus operaciones
- de los tableros
- datos
- Data Analytics
- Lago de datos
- Visualización de datos
- almacenamiento de datos
- conjuntos de datos
- Definiciones
- entregamos
- despliegue
- diseño
- detalle
- detalles
- desarrollado
- el desarrollo
- Desarrollo
- digital
- mundo digital
- discutir
- dividir
- do
- No
- DE INSCRIPCIÓN
- durante
- lugar de trabajo dinámico
- cada una
- pasan fácilmente
- Economic
- de manera eficaz
- eficiente
- eficiente.
- empoderar a
- permitiendo
- fomentar
- de extremo a extremo
- Punto final
- asegurando que
- Entorno
- equidad
- Éter (ETH)
- evaluar
- NUNCA
- evidente
- existente
- experience
- explorar
- ampliar
- en los detalles
- externo
- extraerlos
- facilitar
- tener problemas con
- Caracteristicas
- Figura
- Archive
- archivos
- llenar
- filtros
- Finalmente
- Los resultados
- Nombre
- Digital XNUMXk
- Flexibilidad
- Focus
- se centra
- siguiendo
- formulario
- Desde
- completamente
- función
- a la fatiga
- funciones
- Además
- futuras
- Futuro del trabajo
- Juegos
- lagunas
- geometría
- obtener
- Goals
- muy
- Tienen
- he
- ayuda
- ayudado
- ayudando
- ayuda
- esta página
- su
- históricamente
- Inicio
- Hogar
- hogares
- Cómo
- HTML
- http
- HTTPS
- Cientos
- ilustrando
- imagen
- impactados
- implementar
- implementación
- implementación
- in
- incluir
- incluido
- inclusión
- cada vez más
- increíblemente
- EN LA MINA
- integrar
- integración
- Intelligence
- interactuando
- interactivo
- intereses
- Interfaz
- Internet
- Acceso a Internet
- dentro
- IT
- SUS
- Empleo
- únete
- jpg
- Saber
- conocido
- Kumar
- lago
- paisaje
- idioma
- large
- dejarlo
- dejar
- encendedor
- como
- Limitada
- para vivir
- carga
- local
- localmente
- Ubicación
- hecho
- Management
- gerente
- a mano
- mapa
- cartografía
- significó
- medir
- multiplataforma
- melanie
- metadatos
- Metodología
- millones
- espejo
- modernizar
- Módulos
- más,
- MEJOR DE TU
- multidisciplinario
- múltiples
- municipal
- nombre
- nativo
- ne
- necesidad
- ¿ Necesita ayuda
- Nuevo
- NV
- of
- LANZAMIENTO
- Oficina
- a menudo
- Omaha
- on
- ONE
- or
- Organizado
- nuestros
- salir
- afuera
- Más de
- total
- parámetros
- parte
- participar
- socios
- pasión
- apasionado
- pavimentar
- para
- realizar
- fase
- imagen
- Colocar
- plan
- jubilación
- Plataformas
- Platón
- Inteligencia de datos de Platón
- PlatónDatos
- jugando
- poblaciones
- positivo
- Publicación
- alimentado
- prácticas
- privada
- procedimientos
- procedimientos
- productivo
- prueba
- prueba de concepto
- prototipo
- previsto
- Búsqueda
- con rapidez
- distancia
- Crudo
- datos en bruto
- en comunicarse
- fácilmente
- mundo real
- realizado
- recibe
- reorientar
- reducción
- regiones
- relacionado
- repositorio
- representar
- aquellos
- encuestados
- respuestas
- resultado
- resultado
- Resultados
- robusto
- reglas
- Ejecutar
- corre
- mismo
- dices
- Escalabilidad
- escalable
- Escala
- capturas de pantalla
- Segundo
- (secciones)
- segura
- EL EQUIPO
- selecciona
- Sin servidor
- Servicios
- set
- Forma
- compartido
- ella
- Mostrar
- mostró
- Shows
- significativamente
- sencillos
- Social
- Cambio Social
- Sociedades
- a medida
- Soluciones
- Fuentes
- Espacio
- Español
- Espacial
- especialista
- se especializa
- soluciones y
- dividido
- Deportes
- SQL
- son afectados por la empresa
- las partes interesadas
- estándar
- es la
- Estado
- Zonas
- paso
- pasos
- Sin embargo
- STORAGE
- tienda
- almacenados
- Historias
- Historia
- Estratégicamente
- Estrategia
- estructuras
- exitosos
- tal
- suficiente
- Soportado
- Apoyar
- Peritaje
- sostenible,
- mesa
- adaptado
- toma
- Target
- afectados
- equipo
- Técnico
- testamento
- que
- esa
- El proyecto
- El futuro de las
- El futuro del Trabajo
- El Estado
- su
- Les
- Ahí.
- de este modo
- Estas
- ellos
- así
- aquellos
- A través de esta formación, el personal docente y administrativo de escuelas y universidades estará preparado para manejar los recursos disponibles que derivan de la diversidad cultural de sus estudiantes. Además, un mejor y mayor entendimiento sobre estas diferencias y similitudes culturales permitirá alcanzar los objetivos de inclusión previstos.
- equipo
- veces
- a
- se
- del IRS
- Herramientas
- caja de herramientas
- Transformar
- transformaciones
- Viajar
- verdadero
- tratando de
- TX
- tipo
- entender
- comprensión
- desconocido
- actualizado
- actualización
- us
- Estados Unidos
- usado
- Usuario
- fácil de utilizar
- usos
- usando
- variar
- muy
- viabilidad
- Virtual
- visual
- visualización
- vital
- volúmenes
- Manejo de
- fue
- ver
- Camino..
- we
- web
- servicios web
- bien conocido
- tuvieron
- ¿
- cuando
- que
- mientras
- QUIENES
- amplio
- más ancho
- Wikipedia
- dentro de
- sin
- Actividades:
- trabajado
- flujo de trabajo
- mundo
- años
- aún
- Usted
- tú
- zephyrnet
- Zip
- Zoom