在我们日益数字化的世界中,负担得起的高速宽带接入是充分参与社会的必要条件,但仍有数百万美国家庭无法接入互联网。 人力资源与行政顾问- 一家在宽带和数字股权领域开展广泛工作的多学科咨询公司,通过分析当地特定的数字包容性需求和制定量身定制的数字股权计划,帮助其州、县和市客户提供负担得起的互联网接入。
这一过程的第一步是弥合数字鸿沟。 哪些家庭家里无法上网? 他们住在哪里? 他们的具体需求是什么?
公共数据源不足以真正理解数字包容性需求。 为了填补现有数据的空白,HR&A 创建了数字股权调查,以便在制定数字股权计划之前建立更完整的情况。 HR&A 已使用 Amazon Redshift 无服务器 和 CARTO 更有效地处理调查结果并创建自定义交互式仪表板以促进对结果的理解。 HR&A 的合作 亚马逊Redshift CARTO 使整体部署和仪表板管理时间减少了 75%,并帮助团队实现了以下技术目标:
- 在数据仓库中加载调查结果(CSV 文件)和几何数据(形状文件)
- 使用提取、转换和加载 (ELT) 作业执行地理空间转换,将几何数据与数据仓库中的调查结果连接起来,以便在地图上可视化调查结果
- 与商业智能 (BI) 工具集成,以实现高级地理空间功能、可视化和地图仪表板
- 扩大或缩小数据仓库容量,以经济高效的方式处理不同复杂性的工作负载
在这篇文章中,我们将阐述 HR&A 如何使用 Amazon Redshift 空间分析和 CARTO 对美国多个州的数字包容性和互联网访问进行经济高效的地理空间测量。
在我们讨论架构细节之前,以下是 HR&A 及其客户科罗拉多州未来工作办公室对该解决方案的评价。
“科罗拉多州的数字股权团队与 HR&A Advisors 的团队合作创建了一个自定义仪表板,使我们能够非常有效地评估我们的覆盖范围,同时调查科罗拉多州历史上的边缘化人群。 这个由 AWS 和 CARTO 提供支持的动态工具提供了与我们的调查互动的地区和人群的强大可视化功能,使我们能够快速放大并解决覆盖范围的差距。 确保我们能够从科罗拉多州受数字鸿沟影响最严重的人那里找到数据,对于解决我们州的数字不平等问题至关重要。”
— Melanie Colletti,科罗拉多州未来工作办公室数字股权经理
“AWS 使我们能够将所有调查数据安全地存放在一个地方,在 Amazon Redshift 上快速清理和分析数据,并通过与 CARTO 等数据可视化工具集成来镜像结果,而数据无需离开 AWS。 这释放了我们的本地计算机空间,极大地自动化了调查清理和分析步骤,并允许我们的客户轻松访问数据结果。 在概念验证和第一个原型开发完成后,我们几乎所有的州客户都表现出了在其州使用相同解决方案的兴趣。”
— Harman Singh Dhodi,HR&A Advisors, Inc. 分析师
存储和分析大型调查数据集
HR&A 使用 Redshift Serverless 将大量数字包容性数据存储在一个位置,并使用 CARTO 的分析工具包快速转换和分析这些数据,以扩展 Amazon Redshift 的空间功能并与 CARTO 的数据可视化工具集成 — 所有这些都无需数据离开 AWS 环境。 这大大缩短了分析周转时间。
适用于 Redshift 的 CARTO 分析工具箱 由一组用户定义的函数和过程组成,这些函数和过程根据它们提供的功能组织在一组模块中。
下图显示了在 Amazon Redshift 上使用虚拟私有云 (VPC) 进行概念验证期间开发的解决方案和工作流程步骤。
在以下部分中,我们将更详细地讨论工作流程中的每个阶段。
数据提取
HR&A 接收宽 CSV 文件形式的调查数据,每个文件中有数百列以及十六进制的相关空间数据 扩展众所周知的二进制文件 (EWKB) 以形状文件的形式。 这些文件存储在 亚马逊简单存储服务 (亚马逊S3)。
Redshift 复制命令 用于将形状文件中的空间数据提取到 Amazon Redshift 支持的本机 GEOMETRY 数据类型中。 的组合 亚马逊红移频谱 COPY 命令用于获取以 CSV 文件形式存储的调查数据。 对于结构未知的文件, AWS胶水 爬虫 用于提取元数据并在中创建表定义 资料目录。 这些表定义用作 Amazon Redshift 中外部表的元数据存储库。
对于结构已知的文件,使用Redshift存储过程,该存储过程以文件位置和表名作为参数,并运行COPY命令将原始数据加载到相应的Redshift表中。
数据转换
多个存储过程用于拆分原始表数据并将其加载到相应的目标表中,同时应用用户定义的转换。
这些转换规则包括使用本机对 GEOMETRY 数据进行转换 红移地理空间函数, 喜欢 ST_区域 和 ST_长度和卡托的 高级空间功能,它们可以作为 CARTO Analytics Toolbox for Redshift 的一部分在 Amazon Redshift 中轻松使用 安装。 此外,所有数据摄取和转换步骤都是使用 AWS Lambda 当 Amazon S3 中的任何数据集更新时运行 Redshift 查询的函数。
数据可视化
HR&A 团队使用 CARTO 的 Redshift 连接器连接到 Redshift Serverless 端点,并使用 CARTO 的 SQL 接口和小部件构建仪表板来协助映射,同时根据客户需求执行地图数据的动态计算。
以下是按邮政编码显示调查回复的仪表板示例屏幕截图。 颜色较浅的县代表调查回复有限,需要纳入目标数据收集策略。
第一张图显示了没有任何活动过滤器的仪表板。 第二张图片显示了用西班牙语进行调查的受访者过滤后的地图和聊天记录。 用户可以通过单击任何条形图中的相应类别来选择和切换功能。
结果:自动更新数字包容性仪表板的新标准
在使用这种方法开发出第一个交互式仪表板原型后,HR&A 的五个州客户(加利福尼亚州、德克萨斯州、内华达州、科罗拉多州和马萨诸塞州)对该解决方案表现出了兴趣。 HR&A 能够在 2 个月内为每个人实施它,这对于定制的交互式数字包容性仪表板来说是一个令人难以置信的快速周转。
HR&A 还实现了总体部署和仪表板管理时间减少了约 75%,这意味着咨询团队可以将他们的注意力从手动分析数据转移到帮助客户解释结果并围绕结果进行战略规划。 最后,仪表板的用户友好界面使更广泛的利益相关者更容易访问调查数据。 这有助于在评估每个州数字包容性景观的差距时建立共识,并允许从调查答复有限的地区制定有针对性的数据收集策略,从而支持整体上更富有成效的协作。
结论
在这篇文章中,我们展示了 HR&A 如何使用 Amazon Redshift Serverless 和 CARTO 分析大量地理空间数据。
随着 HR&A 的成功实施,Redshift Serverless 凭借其灵活性和可扩展性,显然可以成为积极社会变革的催化剂。 随着 HR&A 继续为数字股权铺平道路,他们的故事证明了 AWS 服务及其合作伙伴如何用于应对现实世界的挑战。
我们鼓励您使用 CARTO 探索 Redshift Serverless 来分析空间数据,并在评论中告诉我们您的经验。
关于作者
哈曼·辛格·多迪 哈曼是 HR&A Advisors 的分析师,他将自己对数据分析的热情与可持续基础设施实践、社会包容性、经济可行性、气候弹性和利益相关者能力建设相结合。 哈曼的工作通常侧重于将复杂的数据集转化为视觉故事和易于使用的工具,帮助社区了解他们面临的挑战并为更光明的未来创建解决方案。
基兰·库马尔·塔蒂 是一位来自内布拉斯加州奥马哈的分析专家解决方案架构师。 他专注于构建端到端分析解决方案。 他在设计和实施大规模大数据和分析解决方案方面拥有超过 13 年的经验。 业余时间,他喜欢打板球和观看体育比赛。
萨普纳·马赫什瓦里 是 Amazon Web Services 的高级解决方案架构师。 她帮助客户在 AWS 上大规模构建数据分析解决方案。 工作之余,她喜欢旅行和尝试新美食。
瓦希姆·纳瓦兹 是 AWS 的分析专家解决方案架构师。 他致力于构建和调整数据仓库和数据湖解决方案超过 15 年。 他热衷于帮助客户通过高效、高性能和可扩展的分析解决方案实现数据平台的现代化。 工作之余,他喜欢看比赛和旅行。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
- 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
- 柏拉图ESG。 碳, 清洁科技, 能源, 环境, 太阳能, 废物管理。 访问这里。
- 柏拉图健康。 生物技术和临床试验情报。 访问这里。
- Sumber: https://aws.amazon.com/blogs/big-data/how-hra-uses-amazon-redshift-spatial-analytics-on-amazon-redshift-serverless-to-measure-digital-equity-in-states-across-the-us/
- :具有
- :是
- :在哪里
- $UP
- 1
- 120
- 13
- 15 年
- 15%
- 150
- 29
- 33
- 35%
- a
- Able
- 关于
- ACCESS
- 无障碍
- 横过
- 要积极。
- 地址
- 解决
- 高级
- 顾问
- 实惠
- 所有类型
- 让
- 允许
- 允许
- 几乎
- 还
- Amazon
- 亚马逊网络服务
- 美国人
- 量
- an
- 分析
- 分析人士
- 解析
- 分析
- 分析
- 分析
- 分析
- 和
- 任何
- 应用
- 架构
- 保健
- 地区
- 围绕
- AS
- 评估
- 协助
- At
- 自动化
- 自动化
- 自动
- 可使用
- AWS
- 酒吧
- 基于
- BE
- 很
- before
- 之间
- 大
- 大数据运用
- 光明
- 宽带
- 建立
- 建筑物
- 建
- 商业
- 商业智能
- by
- CA
- CAN
- 能力
- 容量
- 催化剂
- 产品类别
- 挑战
- 更改
- 图表
- 清洁
- 客户
- 客户
- 气候
- 云端技术
- CO
- 码
- 合作
- 采集
- 科罗拉多州
- 列
- 组合
- 结合
- 注释
- 地区
- 完成
- 复杂
- 复杂
- 由
- 一台
- 概念
- 分享链接
- 顾问
- 咨询
- 继续
- 相应
- 经济有效
- 可以
- 县
- 覆盖
- 创建信息图
- 创建
- 创建
- 板球
- 习俗
- 合作伙伴
- 切
- XNUMX月XNUMX日
- 仪表板
- data
- 数据分析
- 数据湖
- 数据可视化
- 数据仓库
- 数据集
- 定义
- 交付
- 部署
- 设计
- 细节
- 详情
- 发达
- 发展
- 研发支持
- 数字
- 数字世界
- 讨论
- 分
- do
- 别
- 向下
- ,我们将参加
- 动态
- 每
- 容易
- 经济
- 只
- 高效
- 有效
- 授权
- 使
- 鼓励
- 端至端
- 端点
- 保证
- 环境
- 公平
- 醚(ETH)
- 评估
- EVER
- 明显
- 现有
- 体验
- 探索
- 延长
- 广泛
- 外部
- 提取
- 促进
- 面对
- 特征
- 数字
- 文件
- 档
- 填
- 过滤器
- 终于
- 发现
- 姓氏:
- 五
- 高度灵活
- 专注焦点
- 重点
- 以下
- 针对
- 申请
- 止
- 充分
- 功能
- 功能
- 功能
- 此外
- 未来
- 工作的未来
- Games
- 差距
- 几何
- 得到
- 理想中
- 非常
- 有
- he
- 帮助
- 帮助
- 帮助
- 帮助
- 此处
- 他的
- 历史
- 主页
- 别墅
- 户
- 创新中心
- HTML
- HTTP
- HTTPS
- 数百
- 说明
- 图片
- 影响
- 实施
- 履行
- 实施
- in
- 包括
- 包括
- 包容
- 日益
- 令人难以置信
- 基础设施
- 整合
- 积分
- 房源搜索
- 互动
- 互动
- 兴趣
- 接口
- 网络
- 互联网接入
- 成
- IT
- 它的
- 工作机会
- 加入
- JPG
- 知道
- 已知
- 库马尔
- 湖泊
- 景观
- 语言
- 大
- 离开
- 让
- 打火机
- 喜欢
- 有限
- 生活
- 加载
- 本地
- 当地
- 圖書分館的位置
- 制成
- 颠覆性技术
- 经理
- 手动
- 地图
- 制图
- 意思
- 衡量
- 数据监测
- 梅勒妮
- 元数据
- 研究方法
- 百万
- 镜面
- 现代化
- 模块
- 更多
- 最先进的
- 多学科
- 多
- 市政
- 姓名
- 本地人
- ne
- 必要性
- 需求
- 需要
- 全新
- NV
- of
- 提供
- 办公
- 经常
- 奥马哈
- on
- 一
- or
- 举办
- 我们的
- 输出
- 学校以外
- 超过
- 最划算
- 参数
- 部分
- 参加
- 伙伴
- 情
- 多情
- 铺
- 为
- 执行
- 相
- 图片
- 地方
- 计划
- 计划
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 播放
- 人群
- 积极
- 帖子
- 供电
- 做法
- 私立
- 程序
- 程序
- 过程
- 生产力
- 证明
- 概念验证
- 原型
- 提供
- 快速
- 很快
- 范围
- 原
- 原始数据
- 达到
- 容易
- 真实的世界
- 实现
- 接收
- 重定向
- 减少
- 地区
- 有关
- 知识库
- 代表
- 那些
- 受访者
- 回复
- 导致
- 结果
- 成果
- 健壮
- 定位、竞价/采购和分析/优化数字媒体采购,但算法只不过是解决问题的操作和规则。
- 运行
- 运行
- 同
- 对工资盗窃
- 可扩展性
- 可扩展性
- 鳞片
- 截图
- 其次
- 部分
- 安全
- 寻找
- 选择
- 无服务器
- 特色服务
- 集
- 形状
- 共用的,
- 她
- 显示
- 显示
- 作品
- 显著
- 简易
- 社会
- 社会变革
- 社会
- 方案,
- 解决方案
- 来源
- 太空
- 西班牙语
- 空间的
- 专家
- 专业
- 具体的
- 分裂
- 运动
- SQL
- 利益相关者
- 利益相关者
- 标准
- 看台
- 州/领地
- 州
- 步
- 步骤
- 仍
- 存储
- 商店
- 存储
- 故事
- 故事
- 从战略
- 策略
- 结构
- 成功
- 这样
- 足够
- 支持
- 支持
- 调查
- 可持续发展
- 表
- 量身定制
- 需要
- 目标
- 针对
- 团队
- 文案
- 遗嘱
- 比
- 这
- 未来
- 工作的未来
- 国家
- 其
- 他们
- 那里。
- 从而
- 博曼
- 他们
- Free Introduction
- 那些
- 通过
- 次
- 时
- 至
- 了
- 工具
- 工具箱
- 工具箱
- 工具
- 改造
- 转型
- 转换
- 旅游
- true
- 试图
- TX
- 类型
- 理解
- 理解
- 不明
- 更新
- 更新
- us
- 美国
- 用过的
- 用户
- 用户友好
- 使用
- 运用
- 变化
- 非常
- 可行性
- 在线会议
- 视觉
- 可视化
- 重要
- 卷
- 仓库保管
- 是
- 观看
- 方法..
- we
- 卷筒纸
- Web服务
- 知名
- 为
- 什么是
- ,尤其是
- 这
- 而
- WHO
- 宽
- 更宽
- 维基百科上的数据
- 中
- 也完全不需要
- 工作
- 工作
- 工作流程
- 世界
- 年
- 但
- 您
- 您一站式解决方案
- 和风网
- 压缩
- 放大