大规模利用亚马逊云进行自然灾害预警

2026-05-13 03:48:58242 阅读量

大规模利用亚马逊云进行自然灾害预警

关键字: [Amazon Web Services re:Invent 2024, 亚马逊云科技, EarthScope, Earthquake Early Warning, Global Navigation Systems, Stream Processing Architecture, Observability And Monitoring, Long-Term Data Archival]

相关服务:美国高防服务器

导读

了解EarthScope如何优化自然灾害检测和响应。探索EarthScope如何将美国地震预警系统ShakeAlert的GNSS组件从本地迁移到亚马逊云科技,以创建一个高可用、低延迟的管道,用于处理实时GNSS数据以补充地震学网络。同时了解ShakeAlert如何利用托管服务和无服务器架构,在破坏性地震到达人群和关键基础设施之前,向政府机构和自动化系统提供近实时的流处理产品。在这个富有洞察力的会议中,探索云原生现代化的好处,并释放先进灾害预防的潜力。

演讲精华

以下是小编为您整理的本次演讲的精华。

在自然灾害防备领域,EarthScope联盟与亚马逊云科技之间的一项突破性合作,开启了实时地震探测和早期预警能力的新时代。这项开创性的努力利用了云计算的力量,来处理和传播关键的大地测量数据,从而在地震的破坏性影响发生之前发出生命救援警报。

几个世纪以来,世界各地的社区都无法预先警告即将发生的地震,使他们容易受到这些自然现象的灾难性后果的影响。地震事件的第一个迹象就是大地开始在他们脚下颤抖的那一刻,几乎没有时间采取保护措施或疏散。然而,由于地震和大地测量科学的进步,这一严峻的现实已经发生了转变。

如今,尖端技术使实时探测地震成为可能,使像EarthScope联盟这样的组织能够以前所未有的精度测量和报告地壳的运动。这些至关重要的信息为地震早期预警系统提供动力,为处于危险中的人们提供宝贵的提前通知时间,从而可能拯救无数生命,并减轻这些自然灾害的破坏性影响。

EarthScope联盟是一个由国家科学基金会、美国地质调查局(USGS)和NASA等著名机构资助的非营利组织,代表国家科学基金会运营两个主要设施奖项。一个奖项专注于大地测量学科学,另一个则专注于地震学。EarthScope的总体目标是通过民主化地球物理数据的获取并支持变革性研究,来推进人类对地球及其物理系统的理解。

EarthScope使命的核心是整合各种地球物理科学学科,包括大地测量学、地震学和InSAR(合成孔径雷达干涉测量)。然而,就这一与亚马逊云科技的突破性合作而言,主要关注的是大地测量学科,尤其是利用全球导航卫星系统(GNSS)作为测量大地测量数据的关键工具。

大地测量学是测量和研究地球形状、重力、空间定位以及这些性质随时间变化的科学,在理解地球动力学方面发挥着关键作用。虽然许多人可能熟悉地震学的概念,但大地测量学往往仍是一个晦涩的领域,尽管它对我们的日常生活产生了深远的影响。每当我们依赖智能手机上的GPS导航从一个地点引导我们到另一个地点时,我们就是在利用大地测量学的原理。

大地测量学当前最重要的应用之一是将其整合到USGS ShakeAlert地震早期预警系统中。ShakeAlert和类似系统的主要目标是在即将发生的地震之前向公众和自动化系统发出预警,从而在破坏性震动到来之前实施关键的安全措施。即使只有30秒的短暂时间窗口也可能是宝贵的,有助于避免绝对灾难,使采取诸如停止火车、关闭核反应堆的燃气管线或暂停手术等行动成为可能。

虽然在当前的科学领域中,地震预测仍然是一个遥不可及的目标,但现代地震早期预警系统所能实现的行动有可能拯救无数生命。这些系统的运作是通过在世界各地分布大量地球物理仪器网络。当发生地震时,通过地球传播的物理波可被这些仪器观测到,每种仪器都旨在探测地震事件的不同特征。

幸运的是,地震产生的物理波比现代电子和通信系统传播得慢得多。这一关键差异使得在现场测量地震、将数据传输到处理中心、确定事件发生、最终向公众发出警报成为可能,所有这一切都发生在破坏性震动到达人口密集区之前。

从历史上看,地震早期预警系统几乎完全依赖于地震仪器。虽然地震仪器擅长分析地震的各种特征,但在实时准确估计大型地震事件的规模方面却存在困难。在重大地震期间,地震仪器往往会饱和,也就是说它们达到了可测量的最大规模,这常常导致低估了地震的真实规模。因此,向公众发出的任何警报都可能会低估事件的严重性,从而导致采取不当的预防措施,增加生命和财产的风险。

2011年在日本东海岸外约100公里处发生的9.0级地震就是这一缺陷的一个典型例子。当时,日本拥有世界上最先进的地震早期预警系统,但它几乎完全依赖于地震仪器。描绘该早期预警系统在地震发生后第一小时内发布的规模估计图是系统局限性的一个令人沮丧的说明。

在最初的20分钟内,规模估计从低于7.0级稳步上升到7.3级、7.9级,最终在20分钟后达到9.0级的准确规模。虽然20分钟可能看起来是一个合理的时间框架,但15分钟处的垂直蓝线代表海啸到达海岸的时间,这是一个令人不安的提醒,低估事件规模可能带来的后果。

根据7.9级规模估计发布的海啸危险图描绘了一幅令人沮丧的画面。沿海岸线的一小部分被标记为红色,表示预期海啸高度将超过3米,而大部分沿海地区预计只会遭受不到半米的海啸侵袭。

然而,令人沮丧的现实是,日本几乎整个东海岸都将遭受超过3米高的海啸袭击,有些地区的潮位计测量到的海啸高度甚至超过9米。这一事件以及其他类似事件清楚地表明,需要一个补充数据集来增强地震仪器,以实时准确评估大型地震的特征。

这一补充数据集来自全球导航卫星系统(GNSS)。GNSS是环绕地球运行的卫星星座,不断向地面发射信号,地面上设有GNSS接收器或站点接收这些信号。这些站点监听卫星发送的信号,利用光速和对大气成分的了解,以厘米级精度确定单个卫星与站点之间的距离。这一过程同时对站点视线范围内的每一颗GNSS卫星进行。

通过复杂的数学计算,站点可以实时精确确定其纬度、经度和高度,这一过程称为精密点定位(PPP)。PPP对于地震早期预警至关重要,因为在大型地震事件期间,地球表面会发生可测量的变形和位移,通常在米级尺度。此外,已经建立了站点观测到的最大位移与地震规模之间的经验关系。

通过利用这一峰值地面位移(PGD)测量,地震的规模可以在位移发生后几秒钟内确定为2或0.1个量级单位。这一PGD测量目前正为ShakeAlert系统的大型地震规模估计组件提供动力。

回顾一下袭击日本的9.0级地震,一段动画描绘了日本广泛的GNSS站点网络在地震发生时观测到的实际位移,为该事件的规模提供了一个令人不安的视觉表现。在地震发生60秒后,破坏性震动已经到达海岸线,位移开始出现。不到一分钟后,日本大陆的相当一部分就向东移位了10到15英尺(约3到4.5米)。

如果当时日本的地震早期预警系统已经整合了GNSS数据,该事件的9.0级真实规模将在发生后2分钟内就被确定。该动画还突出显示了一次后续的7.9级余震,说明了9.0级事件与7.9级事件之间的规模差异是指数级的。

要理解这些地震事件的巨大规模,人们必须设想拉斯维加斯大道,甚至整个内华达州的陆地在几秒钟的时间里移位10到15英尺(约3到4.5米)。虽然在内华达州发生这种事件可能看似不太可能,但科学界完全预期太平洋西北地区将发生类似规模的地震,这凸显了将GNSS数据整合到地震早期预警系统中的紧迫性。

在建立了地震早期预警科学基础之后,重点转移到EarthScope在亚马逊云科技上构建的技术架构,用于处理实时GNSS数据。EarthScope的职责范围从边缘的物理设备,通过数据收集和生成精确点位置和峰值地面位移测量,到将这些数据交付给美国地质勘探局(USGS)。需要注意的是,EarthScope并不负责发布警报,这一职责属于USGS。然而,EarthScope的角色并不止于此。该组织还负责提供对系统行为的详细可见性,并履行其在国家科学基金会奖项下的核心责任:长期存档和向科学界分发这些数据。

虽然正在处理的数据高度专门针对EarthScope的用例,但他们正在解决的软件和架构问题却并非独一无二。许多组织在自己的工作中可能面临类似的挑战。例如,收集数据的GNSS站群可以被视为物联网(IoT)数据摄取问题。从原始数据计算精确点位置和峰值地面位移测量是一个流处理挑战。在云中部署这个分布式系统需要可观察性和监控功能,而为数据科学家分析而存档数据是各个领域的共同需求。

EarthScope的GNSS网络可以追溯到1984年,当时该组织获得了100万美元的资助,购买了最早的四台商用GPS接收器,当时每台高达25万美元的价格令人咋舌。随着技术的发展和这些接收器变得更加实惠,EarthScope发展到管理一批研究人员可以借用的仪器。研究人员会来到EarthScope,借用仪器,在实验期间将它们布置在现场,然后返回收集数据和仪器。

快进到现在,EarthScope从世界各地的数千台仪器收集GNSS数据。此外,该组织代表国家科学基金会在北美和加勒比地区运营1100个这样的站点,雇佣了一支现场工程师团队,负责在偏远地区安装和维护这些仪器,这项任务涉及到前往地球边缘更换电池、太阳能电池板和升级通信系统。

超过90%的站点以每秒一次的速率向EarthScope实时流式传输数据。其余站点位于极端偏远地区,如北极和南极,面临着严峻的条件、可用电力和通信服务限制,无法进行实时数据流式传输。

对于实时流式传输数据的站点,EarthScope不得不构建一个健壮的实时流处理系统来处理这一工作负载。该系统几乎完全使用两种托管服务构建:Amazon托管的Apache Kafka流媒体服务(Amazon MSK)和Amazon Elastic Container Service (Amazon ECS)。Kafka充当实时平台的中枢神经系统,所有实时流数据都流经其中。另一方面,EarthScope的流处理应用程序被打包为容器,ECS用于部署和管理它们的生命周期。EarthScope特别欣赏使用ECS的Fargate容量提供程序,这使他们能够专注于业务逻辑,而无需管理计算资源。使用Fargate,EarthScope只需为其应用程序指定所需的CPU和内存,ECS就会处理其余部分。

EarthScope的流处理拓扑结构的简化视图显示,入口ECS服务负责联系仪器并将其数据拉入云端,并将其发布到Kafka主题。另一个ECS服务负责将这些数据分发到USGS ShakeAlert处理中心,在那里原始数据(每颗卫星和站点之间的单个测距测量值)被转换为精确点位置(PPP)。

入口处理器还从这些处理中心检索PPP数据,并将其发布到其他Kafka主题。第三个ECS服务然后执行无状态处理,将各种位置格式归一化为通用形状,并执行有状态处理,通过分析数据的滑动两分钟窗口来提取峰值地面位移测量。

为了更好地理解Amazon MSK和Amazon ECS组合提供的架构优势,有助于检查其中一个ECS服务的横截面。这些优势可分为三大类:水平可伸缩性、容错性和高可用性;控制平面与数据平面的解耦;以及可扩展性和灵活性。

计算资源在区域的可用区中的物理分布由这些托管服务提供的逻辑抽象来管理。在顶层,ECS服务负责运行应用程序的多个实例(ECS任务),并将它们分布在可用区中,确保地理冗余,并在出现问题时自动重新启动或生成新任务。该服务还监控自定义指标,以响应工作负载变化而扩大或缩小规模。

在下面,Amazon MSK Kafka集群通过在可用区中配置代理并分发它们来处理类似的地理冗余和高可用性问题,而无需人工干预来管理它们的生命周期。

水平扩展需要有状态处理的流工作负载的关键在于Kafka的主题分区设计。主题由可配置数量的分区组成,当消息生产到Kafka时,它们会根据消息键的哈希值被预测性地分配到分区。EarthScope使用站点ID作为消息键,确保来自单个站点的所有数据最终都在同一个物理分区中。

服务中的所有ECS任务都连接到Kafka集群,并作为同一个消费者组的成员从主题中读取。由于Kafka的消费者协议,分区尽可能均匀地分布在消费者组的成员中,从而有效地将工作负载分布到可用的计算资源,因为服务会扩大规模。这种功能支持有状态流处理,因为来自单个站点的所有数据都由同一个计算实例处理。

此外,Kafka消费者协议在消费者组成员和Kafka集群之间维护心跳。如果任何心跳停止,Kafka集群可以执行重新平衡,在服务中剩余的实例之间重新分配分区。当ECS重新生成任务或消费者组扩大规模时,也会发生这种重新平衡,Kafka会尽可能均匀地在可用的计算资源中重新分配分区。

虽然数据平面处理主要功能的业务逻辑,但控制平面则作为管理骨干,提供工具和界面供操作员管理配置和指导系统。EarthScope通过将配置服务部署为单独的ECS服务来实现控制平面和数据平面的解耦,这些服务管理自己的有状态存储。

实现这种解耦的关键是,这些配置服务在配置发生变化时立即将其当前值复制到压缩的Kafka主题中。在数据平面中,这些压缩的Kafka主题的行为类似于缓存,由于Kafka的主题分区设计,站点A的配置与流经站点A的数据位于同一位置,从而实现可伸缩的有状态流处理,同时立即应用来自控制平面的配置更改。

重要的是,数据平面从不直接与控制平面交互。配置信息从操作员流向控制平面,然后流向数据平面,这是单向流动。这意味着控制平面对正常运行时间的要求不太严格,因为配置不变对于数据平面来说是一种完全有效的状态。此外,这简化了多区域部署,因为只有数据平面需要在多个区域运行,而配置主题则复制到其他区域的Kafka集群中,而控制平面仅保留在主要区域。

Amazon MSK和Amazon ECS的组合还支持可扩展性和灵活性。通过利用这些托管服务,EarthScope可以无缝地将新功能引入其系统,而无需重构。新功能通过部署额外的ECS服务来添加,这些服务从Kafka主题消费或向其生产,或两者兼而有之。

这种通用技术栈还为EarthScope的工程师提供了一致的开发人员体验,使他们能够在不同项目和数据管道之间移动,同时专注于业务逻辑变更,因为他们已经熟悉了底层服务。

此外,尝试新的流处理技术、技术和数据产品变得更加简单,因为这些应用程序可以打包为容器,并轻松部署到Fargate。

可观测性对于确保向美国地质勘探局提供的位置和峰值地面位移测量的准确性和及时性至关重要。EarthScope大量依赖于亚马逊云科技开源可观测性技术栈,在所有ECS任务中以sidecar配置方式使用亚马逊云科技分布式OpenTelemetry(ADOT)收集器。ADOT收集器收集自定义指标、跟踪和日志,将自定义指标发送到Amazon托管的Prometheus服务,将跟踪发送到Amazon X-Ray,并将应用程序日志直接发送到Amazon CloudWatch。

然后,EarthScope使用AmazonManaged Grafana将这些可观测性信号合并到单一窗口仪表板中,供操作员使用。这种全面的可观测性方法可以监控系统健康状况和底层科学数据的摘要级特征。

这种新的可观测性功能是以纯粹附加的方式引入架构的,无需重构。此外,EarthScope使用亚马逊云科技云开发工具包(Amazon CDK)来部署所有应用程序,由其云启用团队提供共享CDK库,负责将ADOT收集器注入所有ECS任务并将其配置为将可观测性信号发送到适当的数据存储,从而减轻应用程序开发人员的责任。

随着系统运营的成熟,EarthScope的操作员希望能够查看流经系统的全分辨率时间序列数据。虽然ADOT和Prometheus组合成功提供了摘要级信息,但对于对全分辨率数据进行特定分析来说,它并不是理想的工具集,因为必须预先对应用程序进行检测以产生特定指标。

对于这个新的用例,EarthScope需要一个专门的时间序列数据库。在与他们的亚马逊云科技团队合作后,他们发现AmazonTimestream实时分析是一个近乎完美的解决方案。EarthScope赞赏Timestream的无服务器性质,以及具有独立配置的保留设置的多个存储层,允许最新数据驻留在高性能内存层,然后自动进入更具成本效益的磁性层。

Timestream的真正魔力在于能够使用熟悉的SQL语法无缝查询跨两个存储层。此外,Timestream的计划查询功能可以定期对数据进行汇总和聚合,并将其存储在具有自己配置的保留设置的单独Timestream表中。这个功能允许EarthScope以较低的成本无限期保留较低保真度的、经常访问的数据,同时保持成本效益。

值得注意的是,整个Timestream集成只是通过添加另一个从Kafka消费并写入Timestream的ECS服务来实现的。AmazonManaged Grafana原生支持查询Timestream,使EarthScope能够为其操作员提供极其详细的仪表板。

其中一个仪表板提供了GNSS网络整体健康状况的概览,可以轻松识别延迟和完整性等趋势,同时立即突出显示在给定时间点存在问题的任何站点。然后,操作员可以深入到单个站点仪表板,查看直接来自仪器的全分辨率一赫兹数据,并且如果需要,还可以对Timestream表发出特定查询。

总之,Timestream为EarthScope的全分辨率数据提供了短期到中期存储,主要用于操作员的可视化。但是,当数据超出配置的保留窗口时,它将被移动到长期存档中,这是EarthScope架构解决的第四个也是最后一个常见模式。

EarthScope的核心职责是根据国家科学基金会的奖励和对科学界的义务,长期存档和保存所有这些科学数据。所有数据最终都会进入Amazon简单存储服务(AmazonS3),EarthScope在那里利用智能分层来节省高达70%的存储成本,同时保持对那些不经常访问的对象的即时访问。

这种分层策略特别适合EarthScope的数据集,因为存在强烈的最新偏好。不仅新数据更新,而且过去40年来,科学仪器的改进也极大地影响了EarthScope的运营,主要有两个方面。首先,仪器以更高的分辨率记录,导致单个仪器产生更多数据。其次,仪器变得更加实惠,导致部署的仪器数量增加。

这两个因素叠加,导致EarthScope收集和存档的数据量呈指数增长。该组织今年年底将跨越2PB的纯科学观测数据量。

不出所料,架构中又增加了一个ECS服务,从Kafka消费并写入AmazonS3,科学界可以从中检索数据进行分析。

到目前为止,本演示已经探讨了地震早期预警背后的科学原理、支持EarthScope系统的技术架构,以及组件如何协同工作以实现可扩展性、弹性和灵活性的深入探讨。现在,重点转移到该系统的影响以及它使EarthScope能够实现的目标。

第一个影响是对ShakeAlert系统本身的影响。由于集成了GNSS数据,美国地质勘探局现在准备在实时准确估计美国大地震的规模。正如前面所讨论的,这种能力可以显著减少这些大规模地震事件造成的生命和财产损失。

第二个影响是EarthScope建立的技术基础。Amazon MSK和Amazon ECS的流处理组合提供了水平扩展和容错能力。无服务器Timestream表可以在不到一秒钟内对实时数据进行灵活和响应式查询。AmazonS3提供了经济实惠且极其耐用的长期数据存储,EarthScope对所有不同的流数据管道使用相同的技术套件,从而获得了十倍的好处。

第三个影响是将这些工作负载迁移到亚马逊云科技对EarthScope本身的影响。过去40年来,EarthScope一直在自己的内部数据中心运行,因此非常熟悉所涉及的运营开销。他们永远无法在内部设施中为这些工作负载实现与在亚马逊云科技中使用托管服务相同的可靠性和耐用性水平。最终,EarthScope关注的是科学本身,而这些托管服务使他们能够专注于核心使命。

说到科学,EarthScope所信托的数据代表了40年积累的观测结果,讲述了我们这个不断变化的星球的故事。这绝对是无法替代和无价的数据集,EarthScope放心地知道这些数据存储在AmazonS3中,具有11个9的耐用性,确保它永远不会丢失。

最后,本演示展望了EarthScope在地震早期预警方面正在进行的一些令人兴奋的发展。虽然许多令人兴奋的进展正在进行中,但重点介绍了一些关键举措。

其中一项是一种新的、更高保真度的GNSS数据产品,对运动的敏感性比精确点定位更高。EarthScope正在内部运行这个产品,并且可以清楚地看到大约4.8级以下的地震,同时延迟更低,计算资源消耗更少。

另一个令人兴奋的发展是将现代机器学习技术应用于地震检测问题。EarthScope已经尝试过训练AmazonSageMaker推理端点,并使用ECS服务进行实时特征提取并访问该端点。

对于科学界,EarthScope很高兴与2i2c合作推出JupyterHub数据科学平台。该平台将使研究人员能够将实验并置于EarthScope的数据集,并利用由国家科学基金会资助的免费计算资源。EarthScope已经在这个JupyterHub环境中进行了一些短期课程,并对他们计划添加的功能感到兴奋。

也许最令人兴奋的发展是研究人员能够分析EarthScope的整个存档。之前,由于2PB数据集的庞大规模和EarthScope内部设施的限制,这是不可能的,因为它们缺乏提供该级别访问的能力。尽管许多研究人员有这种愿望,但试图分析整个存档就像试图通过吸管喝掉整个大海一样。

然而,现在数据驻留在AmazonS3中,研究人员可以将他们的实验和计算资源并置于EarthScope的数据集,并分析整个存档。EarthScope完全预计,将会有多篇具有里程碑意义的学术论文从这些大规模实验中涌现,他们很高兴将钥匙交给将运行其中一个大规模机器学习实验的第一个研究小组。

在演示的开始,曾经说过目前无法预测地震。然而,对整个地震存档的无阻碍访问是实现真正变革性地球物理学研究的关键里程碑,这可能最终使地震预测成为现实。

怀着对未来的憧憬,Alex Hamilton向观众和他在EarthScope的同事表达了感谢,因为他们让他能够代表他们展示他们的工作。

Matt Ballinger随后回顾了过去三年EarthScope所经历的令人难以置信和谦逊的转型之旅。他强调这样的组织转型并非一蹴而就或在真空中发生,而是需要时间和努力的过程。

对于那些着手进行云端之旅的组织,Matt提供了几点关键见解。首先,从可以快速构建和迭代的有形的、自包含的概念验证开始是至关重要的。这种方法使组织能够逐步在亚马逊云科技上获得经验并构建整个管道。EarthScope的MSK和ECS管道就是采用这种方法开发的,从单个ECS任务开始,随着信心的增加逐步添加更多任务。

从小处着手,组织可以完全封装和试验他们的工作负载,了解什么最适合他们的具体需求。这种试验过程还使组织能够放眼长远,就像EarthScope所做的全面档案分析和机器学习计划一样,开启了本地无法实现的可能性。

在这个过程中,将特定用例抽象为通用模式并在亚马逊云科技服务目录中找到适用的解决方案是至关重要的。EarthScope通过利用Amazon MSK、Amazon ECS、Amazon Managed Prometheus和Amazon Managed Grafana等服务来应对物联网数据接收、流处理和可观测性等挑战,将繁重的工作外包出去,从而能够专注于他们的业务逻辑。

在早期试验阶段,无服务器服务的使用至关重要,因为它能够在无需预先配置基础设施的情况下实现快速迭代周期。组织可以启动新项目、试验和概念验证,只需为所使用的资源付费。如果试验不符合需求,失败的成本很小。相反,如果试验成功,则可以轻松扩展。

随着EarthScope的工作负载转移到生产环境,他们能够通过从无服务器模型转向预配置模型(如使用预配置的Amazon MSK集群而不是无服务器产品)来节省成本。这突出了根据工作负载的需求和稳定状态特征在无服务器和预配置服务之间找到正确平衡的重要性。

Matt还强调遵循亚马逊云科技良好架构框架的支柱,该框架为构建健壮的云工作负载提供了指导。EarthScope进行了良好架构框架评审,这帮助他们找到了更快部署和构建、降低风险、就架构变更做出更明智决策以及从其他客户和解决方案架构师那里学习亚马逊云科技最佳实践的方法。

除了技术方面,Matt还强调利用亚马逊云科技全面支持模式的价值,包括账户团队、合作伙伴和执行领导层。EarthScope与他们的亚马逊云科技账户团队密切合作,利用他们的专业知识并能够提供Amazon Timestream等专门服务。他们还与亚马逊云科技专业服务和2i2c合作,以补充内部技能并加快他们的云端之旅。

执行领导层发挥了关键作用,提供自上而下的指导和愿景,确保组织将大目标放在首位,而不会陷入细节泥淖。

最后,Matt鼓励观众访问EarthScope的网站,了解更多关于他们工作的信息,参加亚马逊云科技 re:Invent 2024年的Impact Track中的其他会议和研讨会,最重要的是与他们的亚马逊云科技账户经理联系,开启自己的云端之旅,并利用亚马逊云科技提供的全面支持和专业知识。

这段视频展示了EarthScope如何在亚马逊云科技上构建了一个前沿的、可扩展的实时地震检测管道,同时为长期存档做好了未来准备,并通过云计算实现了变革性的开放科学。他们的旅程体现了其他组织利用云端进行大数据和计算密集型工作负载的最佳实践,强调了从小处着手、利用托管服务、遵循架构最佳实践以及利用亚马逊云科技提供的全面支持模式的重要性。

下面是一些演讲现场的精彩瞬间:

过去,社区在致命地震来袭前毫无预警,无法寻求庇护所,导致了灾难性的后果。

0c8614ea596ab33584a9184c037ae863.png

Matt Ballinger介绍了来自EarthScope联盟的Alex Hamilton,他将讨论他们在亚马逊云科技上构建的地震检测系统。

dc7a4d4b058d8a5f75e13b962bb185f6.png

该图说明了一个区域中跨可用区的计算资源分布,展示了托管服务(如ECS)的逻辑抽象,确保了地理冗余、健康监控和容器化应用程序的自动扩展。

e0e41f0159e0a634024b8437fe9ae9ce.png

Alex重点介绍了他们如何从特定用例中抽象出通用模式,利用专门构建的亚马逊云科技解决方案,如用于流处理的MSK、用于可扩展计算的ECS,以及用于监控的托管Prometheus和Grafana。

58805d13f0d9a17d0b468373ab4d1af6.png

无服务器服务能够以最小的前期成本快速迭代和实验,允许以经济的方式失败并扩大成功项目。

b0e40482a87c34ce97fd8937563b4fbf.png

EarthSCOPE从使用MSK无服务器进行实验转向使用预配置的Kafka集群,以获得成本节约和更好的吞吐量管理,因为他们的工作负载趋于稳定。

eac60003602d4c9f4616515c330517bf.png

演讲者鼓励观众通过扫描二维码与他们的亚马逊云科技客户经理联系,强调利用亚马逊云科技资源构建最佳解决方案的重要性。

88e3c47f9cad71271a20161fada3d338.png

总结

在这个引人入胜的叙事中,我们踏上了一段探索EarthScope联盟(EarthScope Consortium)开创性工作的旅程。EarthScope是一个致力于推进我们对地球物理系统理解的非营利组织。故事从他们开发实时地震预警系统的先驱努力展开,该系统通过整合地震和大地测量数据实现。

故事从一个令人沉痛的提醒开始,地震带来了毁灭性的后果,突显了及时准确的预警对减少生命和财产损失的关键需要。EarthScope的解决方案在于巧妙地结合地震仪和全球导航卫星系统(GNSS),这两者提供了互补数据,可以在几秒钟内准确估算大地震的规模。

当我们深入探索时,我们见证了EarthScope在亚马逊云科技上构建的实时数据处理系统的精巧架构。他们利用Amazon Managed Streaming for Apache Kafka (MSK)和Amazon Elastic Container Service (ECS)等托管服务,为复杂的流处理需求打造了一个弹性和可扩展的基础。叙事带领我们了解了可观察性工具、时间序列数据库和长期存档解决方案的无缝集成,展示了亚马逊云科技服务在实现科学突破方面的强大功能。

除了技术奇迹,这个故事还颂扬了EarthScope在地震预警系统方面的变革性影响,为社区提供了救生预警。它还强调了该组织从本地数据中心向云端迁移的历程,拥抱了亚马逊云科技服务的敏捷性和持久性,从而专注于其核心使命——推进科学知识。

当我们接近结尾时,叙事展望了EarthScope研究的激动人心的未来,包括应用机器学习技术,以及分析其整个数据存档的前所未有的机会,这将开启突破性发现的潜力,甚至可能实现地震预测。

最后,这个引人入胜的故事见证了创新、坚持和对知识的不懈追求的力量,这一切都得益于尖端技术与科学专业知识的无缝融合。这是一个激励我们拥抱人类创造力无穷可能和云计算在塑造更安全、更启迪世界方面的变革潜力的故事。

亚马逊云科技(Amazon Web Services)是全球云计算的开创者和引领者。提供200多类广泛而深入的云服务,服务全球245个国家和地区的数百万客户。做为全球生成式AI前行者,亚马逊云科技正在携手广泛的客户和合作伙伴,缔造可见的商业价值 – 汇集全球40余款大模型,亚马逊云科技为10万家全球企业提供AI及机器学习服务,守护3/4中国企业出海。

本文地址:https://www.limyvps.com/news/26_25134.html