记录些系统设计架构实现方案(6)

2026-05-11 15:28:56385 阅读量

ES+Redis+MySQL高可用,如何实现高可用?

背景:

会员系统是一种基础系统,跟公司所有业务线的下单主流程密切相关。如果会员系统出故障,会导致用户无法下单,影响范围是全公司所有业务线。所以,会员系统必须保证高性能、高可用,提供稳定、高效的基础服务。

相关服务:马来西亚VPS服务器

随着同程和艺龙两家公司的合并,越来越多的系统需要打通同程 APP、艺龙 APP、同程微信小程序、艺龙微信小程序等多平台会员体系。

例如微信小程序的交叉营销,用户买了一张火车票,此时想给他发酒店红包,这就需要查询该用户的统一会员关系。

因为火车票用的是同程会员体系,酒店用的是艺龙会员体系,只有查到对应的艺龙会员卡号后,才能将红包挂载到该会员账号。

除了上述讲的交叉营销,还有许多场景需要查询统一会员关系,例如订单中心、会员等级、里程、红包、常旅、实名,以及各类营销活动等等。

所以,会员系统的请求量越来越大,并发量越来越高,今年清明小长假的秒并发 tps 甚至超过 2 万多。

在如此大流量的冲击下,会员系统是如何做到高性能和高可用的呢?这就是本文着重要讲述的内容。

ES 高可用方案:

ES 双中心主备集群架构

同程和艺龙两家公司融合后,全平台所有体系的会员总量是十多亿。在这么大的数据体量下,业务线的查询维度也比较复杂。

有的业务线基于手机号,有的基于微信 unionid,也有的基于艺龙卡号等查询会员信息。

这么大的数据量,又有这么多的查询维度,基于此,我们选择 ES 用来存储统一会员关系。ES 集群在整个会员系统架构中非常重要,那么如何保证 ES 的高可用呢?

首先我们知道,ES 集群本身就是保证高可用的,如下图所示:

图片

当 ES 集群有一个节点宕机了,会将其他节点对应的 Replica Shard 升级为 Primary Shard,继续提供服务。

但即使是这样,还远远不够。例如 ES 集群都部署在机房 A,现在机房 A 突然断电了,怎么办?

例如服务器硬件故障,ES 集群大部分机器宕机了,怎么办?或者突然有个非常热门的抢购秒杀活动,带来了一波非常大的流量,直接把 ES 集群打死了,怎么办?面对这些情况,让运维兄弟冲到机房去解决?

这个非常不现实,因为会员系统直接影响全公司所有业务线的下单主流程,故障恢复的时间必须非常短,如果需要运维兄弟人工介入,那这个时间就太长了,是绝对不能容忍的。

那 ES 的高可用如何做呢?我们的方案是 ES 双中心主备集群架构。

图片

我们有两个机房,分别是机房 A 和机房 B。我们把 ES 主集群部署在机房 A,把 ES 备集群部署在机房 B。会员系统的读写都在 ES 主集群,通过MQ 将数据同步到 ES 备集群。

此时,如果 ES 主集群崩了,通过统一配置,将会员系统的读写切到机房 B 的 ES 备集群上,这样即使 ES 主集群挂了,也能在很短的时间内实现故障转移,确保会员系统的稳定运行。

最后,等 ES 主集群故障恢复后,打开开关,将故障期间的数据同步到 ES 主集群,等数据同步一致后,再将会员系统的读写切到 ES 主集群。

ES 流量隔离三集群架构

双中心 ES 主备集群做到这一步,感觉应该没啥大问题了,但去年的一次恐怖流量冲击让我们改变了想法。

那是一个节假日,某个业务上线了一个营销活动,在用户的一次请求中,循环 10 多次调用了会员系统,导致会员系统的 tps 暴涨,差点把 ES 集群打爆。

这件事让我们后怕不已,它让我们意识到,一定要对调用方进行优先级分类,实施更精细的隔离、熔断、降级、限流策略。

首先,我们梳理了所有调用方,分出两大类请求类型:

  • 第一类是跟用户的下单主流程密切相关的请求,这类请求非常重要,应该高优先级保障。

  • 第二类是营销活动相关的,这类请求有个特点,他们的请求量很大,tps 很高,但不影响下单主流程。

基于此,我们又构建了一个 ES 集群,专门用来应对高 tps 的营销秒杀类请求,这样就跟 ES 主集群隔离开来,不会因为某个营销活动的流量冲击而影响用户的下单主流程。

如下图所示:

图片

ES 集群深度优化提升

讲完了 ES 的双中心主备集群高可用架构,接下来我们深入讲解一下 ES 主集群的优化工作。

有一段时间,我们特别痛苦,就是每到饭点,ES 集群就开始报警,搞得每次吃饭都心慌慌的,生怕 ES 集群一个扛不住,就全公司炸锅了。

那为什么一到饭点就报警呢?因为流量比较大, 导致 ES 线程数飙高,cpu 直往上窜,查询耗时增加,并传导给所有调用方,导致更大范围的延时。那么如何解决这个问题呢?

通过深入 ES 集群,我们发现了以下几个问题:

  • ES 负载不合理,热点问题严重。ES 主集群一共有几十个节点,有的节点上部署的 shard 数偏多,有的节点部署的 shard 数很少,导致某些服务器的负载很高,每到流量高峰期,就经常预警。

  • ES 线程池的大小设置得太高,导致 cpu 飙高。我们知道,设置 ES 的 threadpool,一般将线程数设置为服务器的 cpu 核数,即使 ES 的查询压力很大,需要增加线程数,那最好也不要超过“cpu core * 3 / 2 + 1”。如果设置的线程数过多,会导致 cpu 在多个线程上下文之间频繁来回切换,浪费大量 cpu 资源。

  • shard 分配的内存太大,100g,导致查询变慢。我们知道,ES 的索引要合理分配 shard 数,要控制一个 shard 的内存大小在 50g 以内。如果一个 shard 分配的内存过大,会导致查询变慢,耗时增加,严重拖累性能。

  • string 类型的字段设置了双字段,既是 text,又是 keyword,导致存储容量增大了一倍。会员信息的查询不需要关联度打分,直接根据 keyword 查询就行,所以完全可以将 text 字段去掉,这样就能节省很大一部分存储空间,提升性能。

  • ES 查询,使用 filter,不使用 query。因为 query 会对搜索结果进行相关度算分,比较耗 cpu,而会员信息的查询是不需要算分的,这部分的性能损耗完全可以避免。

  • 节约 ES 算力,将 ES 的搜索结果排序放在会员系统的 jvm 内存中进行。

  • 增加 routing key。我们知道,一次 ES 查询,会将请求分发给所有 shard,等所有shard返回结果后再聚合数据,最后将结果返回给调用方。如果我们事先已经知道数据分布在哪些 shard 上,那么就可以减少大量不必要的请求,提升查询性能。

经过以上优化,成果非常显著,ES 集群的 cpu 大幅下降,查询性能大幅提升。ES 集群的 cpu 使用率:

图片

会员系统的接口耗时:

图片

会员 Redis 缓存方案:

一直以来,会员系统是不做缓存的,原因主要有两个:

  • 第一个,前面讲的 ES 集群性能很好,秒并发 3 万多,99 线耗时 5 毫秒左右,已经足够应付各种棘手的场景。

  • 第二个,有的业务对会员的绑定关系要求实时一致,而会员是一个发展了 10 多年的老系统,是一个由好多接口、好多系统组成的分布式系统。

所以,只要有一个接口没有考虑到位,没有及时去更新缓存,就会导致脏数据,进而引发一系列的问题。

例如:用户在 APP 上看不到微信订单、APP 和微信的会员等级、里程等没合并、微信和 APP 无法交叉营销等等。

那后来为什么又要做缓存呢?是因为今年机票的盲盒活动,它带来的瞬时并发太高了。虽然会员系统安然无恙,但还是有点心有余悸,稳妥起见,最终还是决定实施缓存方案。

ES 近一秒延时导致的 Redis 缓存数据不一致问题的解决方案

在做会员缓存方案的过程中,遇到一个 ES 引发的问题,该问题会导致缓存数据的不一致。

我们知道,ES 操作数据是近实时的,往 ES 新增一个 Document,此时立即去查,是查不到的,需要等待 1 秒后才能查询到。

如下图所示:

图片

ES 的近实时机制为什么会导致 Redis 缓存数据不一致呢?具体来讲,假设一个用户注销了自己的 APP 账号,此时需要更新 ES,删除 APP 账号和微信账号的绑定关系。而 ES 的数据更新是近实时的,也就是说,1 秒后你才能查询到更新后的数据。

而就在这 1 秒内,有个请求来查询该用户的会员绑定关系,它先到 Redis 缓存中查,发现没有,然后到 ES 查,查到了,但查到的是更新前的旧数据。

最后,该请求把查询到的旧数据更新到 Redis 缓存并返回。就这样,1 秒后,ES 中该用户的会员数据更新了,但 Redis 缓存的数据还是旧数据,导致了 Redis 缓存跟 ES 的数据不一致。

如下图所示:

图片

面对该问题,如何解决呢?我们的思路是,在更新 ES 数据时,加一个 2 秒的 Redis 分布式并发锁,为了保证缓存数据的一致性,接着再删除 Redis 中该会员的缓存数据。

如果此时有请求来查询数据,先获取分布式锁,发现该会员 ID 已经上锁了,说明 ES 刚刚更新的数据尚未生效,那么此时查询完数据后就不更新 Redis 缓存了,直接返回,这样就避免了缓存数据的不一致问题。

如下图所示:

图片

上述方案,乍一看似乎没什么问题了,但仔细分析,还是有可能导致缓存数据的不一致。

例如,在更新请求加分布式锁之前,恰好有一个查询请求获取分布式锁,而此时是没有锁的,所以它可以继续更新缓存。

但就在他更新缓存之前,线程 block 了,此时更新请求来了,加了分布式锁,并删除了缓存。当更新请求完成操作后,查询请求的线程活过来了,此时它再执行更新缓存,就把脏数据写到缓存中了。

发现没有?主要的问题症结就在于“删除缓存”和“更新缓存”发生了并发冲突,只要将它们互斥,就能解决问题。

如下图所示:

图片

实施了缓存方案后,经统计,缓存命中率 90%+,极大缓解了 ES 的压力,会员系统整体性能得到了很大提升。

Redis 双中心多集群架构

接下来,我们看一下如何保障 Redis 集群的高可用。

如下图所示:

图片

关于 Redis 集群的高可用,我们采用了双中心多集群的模式。在机房 A 和机房 B 各部署一套 Redis 集群。

更新缓存数据时,双写,只有两个机房的 Redis 集群都写成功了,才返回成功。查询缓存数据时,机房内就近查询,降低延时。这样,即使机房 A 整体故障,机房 B 还能提供完整的会员服务。

高可用会员主库方案:

上述讲到,全平台会员的绑定关系数据存在 ES,而会员的注册明细数据存在关系型数据库。

最早,会员使用的数据库是 SqlServer,直到有一天,DBA 找到我们说,单台 SqlServer 数据库已经存储了十多亿的会员数据,服务器已达到物理极限,不能再扩展了。按照现在的增长趋势,过不了多久,整个 SqlServer 数据库就崩了。

你想想,那是一种什么样的灾难场景:会员数据库崩了,会员系统就崩了;会员系统崩了,全公司所有业务线就崩了。想想就不寒而栗,酸爽无比,为此我们立刻开启了迁移 DB 的工作。

MySQL 双中心 Partition 集群方案

经过调研,我们选择了双中心分库分表的 MySQL 集群方案,如下图所示:

图片

会员一共有十多亿的数据,我们把会员主库分了 1000 多个分片,平分到每个分片大概百万的量级,足够使用了。

MySQL 集群采用 1 主 3 从的架构,主库放在机房 A,从库放在机房 B,两个机房之间通过专线同步数据,延迟在 1 毫秒内。

会员系统通过 DBRoute 读写数据,写数据都路由到 master 节点所在的机房 A,读数据都路由到本地机房,就近访问,减少网络延迟。

这样,采用双中心的 MySQL 集群架构,极大提高了可用性,即使机房 A 整体都崩了,还可以将机房 B 的 Slave 升级为 Master,继续提供服务。

双中心 MySQL 集群搭建好后,我们进行了压测,测试下来,秒并发能达到 2 万多,平均耗时在 10 毫秒内,性能达标。

会员主库平滑迁移方案

接下来的工作,就是把会员系统的底层存储从 SqlServer 切到 MySQL 上,这是个风险极高的工作。

主要有以下几个难点:

  • 会员系统是一刻都不能停机的,要在不停机的情况下完成 SqlServer 到 MySQL 的切换,就像是在给高速行驶的汽车换轮子。

  • 会员系统是由很多个系统和接口组成的,毕竟发展了 10 多年,由于历史原因,遗留了大量老接口,逻辑错综复杂。这么多系统,必须一个不落的全部梳理清楚,DAL 层代码必须重写,而且不能出任何问题,否则将是灾难性的。

  • 数据的迁移要做到无缝迁移,不仅是存量 10 多亿数据的迁移,实时产生的数据也要无缝同步到 MySQL。另外,除了要保障数据同步的实时性,还要保证数据的正确性,以及 SqlServer 和 MySQL 数据的一致性。

基于以上痛点,我们设计了“全量同步、增量同步、实时流量灰度切换”的技术方案。

首先,为了保证数据的无缝切换,采用实时双写的方案。因为业务逻辑的复杂,以及 SqlServer 和 MySQL 的技术差异性,在双写 MySQL 的过程中,不一定会写成功,而一旦写失败,就会导致 SqlServer 和 MySQL 的数据不一致,这是绝不允许的。

所以,我们采取的策略是,在试运行期间,主写 SqlServer,然后通过线程池异步写 MySQL,如果写失败了,重试三次,如果依然失败,则记日志,然后人工排查原因,解决后,继续双写,直到运行一段时间,没有双写失败的情况。

通过上述策略,可以确保在绝大部分情况下,双写操作的正确性和稳定性,即使在试运行期间出现了 SqlServer 和 MySQL 的数据不一致的情况,也可以基于 SqlServer 再次全量构建出 MySQL 的数据。

因为我们在设计双写策略时,会确保 SqlServer 一定能写成功,也就是说,SqlServer 中的数据是全量最完整、最正确的。

如下图所示:

图片

讲完了双写,接下来我们看一下“读数据”如何灰度。整体思路是,通过 A/B 平台逐步灰度流量,刚开始 100% 的流量读取 SqlServer 数据库,然后逐步切流量读取 MySQL 数据库,先 1%,如果没有问题,再逐步放流量,最终 100% 的流量都走 MySQL数据库。

在逐步灰度流量的过程中,需要有验证机制,只有验证没问题了,才能进一步放大流量。

那么这个验证机制如何实施呢?方案是,在一次查询请求里,通过异步线程,比较 SqlServer 和 MySQL 的查询结果是否一致,如果不一致,记日志,再人工检查不一致的原因,直到彻底解决不一致的问题后,再逐步灰度流量。

如下图所示:

图片

所以,整体的实施流程如下:

图片

首先,在一个夜黑风高的深夜,流量最小的时候,完成 SqlServer 到 MySQL 数据库的全量数据同步。

接着,开启双写,此时,如果有用户注册,就会实时双写到两个数据库。那么,在全量同步和实时双写开启之间,两个数据库还相差这段时间的数据,所以需要再次增量同步,把数据补充完整,以防数据的不一致。

剩下的时间,就是各种日志监控,看双写是否有问题,看数据比对是否一致等等。

这段时间是耗时最长的,也是最容易发生问题的,如果有的问题比较严重,导致数据不一致了,就需要从头再来,再次基于 SqlServer 全量构建 MySQL 数据库,然后重新灰度流量。

直到最后,100% 的流量全部灰度到 MySQL,此时就大功告成了,下线灰度逻辑,所有读写都切到 MySQL 集群。

MySQL 和 ES 主备集群方案

做到这一步,感觉会员主库应该没问题了,可 dal 组件的一次严重故障改变了我们的想法。

那次故障很恐怖,公司很多应用连接不上数据库了,创单量直线往下掉,这让我们意识到,即使数据库是好的,但 dal 组件异常,依然能让会员系统挂掉。

所以,我们再次异构了会员主库的数据源,双写数据到 ES,如下所示:

图片

如果 dal 组件故障或 MySQL 数据库挂了,可以把读写切到 ES,等 MySQL 恢复了,再把数据同步到 MySQL,最后把读写再切回到 MySQL 数据库。

如下图所示:

图片

异常会员关系治理:

会员系统不仅仅要保证系统的稳定和高可用,数据的精准和正确也同样重要。

举个例子,一个分布式并发故障,导致一名用户的 APP 账户绑定了别人的微信小程序账户,这将会带来非常恶劣的影响。

首先,一旦这两个账号绑定了,那么这两个用户下的酒店、机票、火车票订单是互相可以看到的。

你想想,别人能看到你订的酒店订单,你火不火,会不会投诉?除了能看到别人的订单,你还能操作订单。

例如,一个用户在 APP 的订单中心,看到了别人订的机票订单,他觉得不是自己的订单,就把订单取消了。

这将会带来非常严重的客诉,大家知道,机票退订费用是挺高的,这不仅影响了该用户的正常出行,还导致了比较大的经济损失,非常糟糕。

针对这些异常会员账号,我们进行了详细的梳理,通过非常复杂烧脑的逻辑识别出这些账号,并对会员接口进行了深度优化治理,在代码逻辑层堵住了相关漏洞,完成了异常会员的治理工作。

如下图所示:

图片

展望:更精细化的流控和降级策略

任何一个系统,都不能保证百分之一百不出问题,所以我们要有面向失败的设计,那就是更精细化的流控和降级策略。

更精细化的流控策略

热点控制。针对黑产刷单的场景,同一个会员 id 会有大量重复的请求,形成热点账号,当这些账号的访问超过设定阈值时,实施限流策略。

基于调用账号的流控规则。这个策略主要是防止调用方的代码 bug 导致的大流量。例如,调用方在一次用户请求中,循环很多次来调用会员接口,导致会员系统流量暴增很多倍。所以,要针对每个调用账号设置流控规则,当超过阈值时,实施限流策略。

全局流控规则。我们会员系统能抗下 tps 3 万多的秒并发请求量,如果此时,有个很恐怖的流量打过来,tps 高达 10 万,与其让这波流量把会员数据库、ES 全部打死,还不如把超过会员系统承受范围之外的流量快速失败,至少 tps 3 万内的会员请求能正常响应,不会让整个会员系统全部崩溃。

图片

更精细化的降级策略

基于平均响应时间的降级。会员接口也有依赖其他接口,当调用其他接口的平均响应时间超过阈值,进入准降级状态。

如果接下来 1s 内进入的请求,它们的平均响应时间都持续超过阈值,那么在接下的时间窗口内,自动地熔断。

基于异常数和异常比例的降级。当会员接口依赖的其他接口发生异常,如果 1 分钟内的异常数超过阈值,或者每秒异常总数占通过量的比值超过阈值,进入降级状态,在接下的时间窗口之内,自动熔断。

目前,我们最大的痛点是会员调用账号的治理。公司内,想要调用会员接口,必须申请一个调用账号,我们会记录该账号的使用场景,并设置流控、降级策略的规则。

但在实际使用的过程中,申请了该账号的同事,可能异动到其他部门了,此时他可能也会调用会员系统,为了省事,他不会再次申请会员账号,而是直接沿用以前的账号过来调用,这导致我们无法判断一个会员账号的具体使用场景是什么,也就无法实施更精细的流控和降级策略。

所以,接下来,我们将会对所有调用账号进行一个个的梳理,这是个非常庞大且繁琐的工作,但无路如何,硬着头皮也要做好。

蚂蚁金服面对亿级并发场景的组件体系设计

本文内容可以分为四大块,第一块是标准移动研发所需的基础服务体系,第二块是支撑亿级并发的核心组件“移动接入”的架构演进过程,第三块是双十一、双十二、新春红包这种大促活动的的应付方法,最后一块是目前已经对外输出的基础服务产品。

移动研发基础服务体系

图片

首先介绍一下支付宝客户端的演进过程。

之前,支付宝客户端的主要功能是转账、订单支付、交易查询等等,它更像是一个专门为支付而设计的工具 APP,用户在需要支付时才会使用,支付完成后便不再打开。

然而,2013 年,蚂蚁金服 all in 无线之后,加入了很多服务,例如余额宝、卡券、探索发现等,几乎将支付宝网站的所有功能都转移到了移动端,支付宝也逐渐演化成一个平台级别的客户端。

之后,随着移动互联网的快速发展,公司内部孵化出了更多的 APP,其他行业也在移动互联网圈内铺开了大量的业务,为了提升用户量、用户粘性,APP 之间也开始进行了大量的业务融合,超级 APP 也因此而诞生,APP 开始朝着生态化的模式发展。

图片

至今,支付宝客户端的年活跃用户数已超过8亿,在大促销活动期间,同时在线用户数超过3亿,并发请求超过1亿,每秒同时上线用户数超过百万。

这些数据背后,必然需要一套庞大、复杂、完整的支持系统来保障支付宝的顺畅运行,而移动研发基础服务体系便是这一体系的重要组成部分。

图片

在研发过程中,我们将移动研发基础服务体系划分为四个主要部分:

  • 在APP研发阶段,主要包括应用框架、基础组件、云端服务和研发工具;

  • 在APP测试阶段,主要包括研发协作平台和真机测试平台,研发协作平台涵盖版本管理、迭代管理、安装包编译、构建和打包等功能,而真机测试则旨在替代人工服务,减少人力成本,提高测试效率;

  • 在APP运维阶段,主要包括智能发布、日志回溯、应急管理和动态配置;

  • 在APP运营阶段,主要包括舆情反馈、实时分析、离线计算和智能营销。

支付宝客户端的发展不仅体现在功能的丰富和用户基数的增长,更在于其背后支撑体系的日益完善和智能化。

从单一的工具应用成长为集多种服务于一体的平台,支付宝客户端的演进映射了整个移动应用生态的发展趋势,即通过不断的创新和整合,提升用户体验,满足用户多样化的需求。

蚂蚁移动接入架构演进

图片

今天的主题为支撑亿级并发下的基础服务,而在亿级并发下移动接入又是最核心、最重要的一个环节。

移动接入并不是单个系统,而是一整套组件的总称,包括:Spanner+ 连接管理、API网关、PUSH通知和SYNC数据同步等。

这些组件共同构成了移动业务流量的主要通道,不仅要保持客户端的状态,还需实现集中管理和部分业务数据处理。

起初,并不存在“移动接入”这一概念,它的形成与发展与支付宝客户端的历程相似,都是通过不断的迭代和改进逐步完善的。

最初阶段,各个业务单元各自提供API或直接向客户端展示能力,缺乏统一的架构、模型和管控机制。

图片

为了应对这一挑战,在 all in 阶段我们引申出了一个 API 网关,以实现集中管理,并且增加了PUSH推送功能。

由于公司拥有众多APP,我们期望这些功能能够被复用,因此架构设计上支持多APP同构,同时为客户端提供了多个SDK,以便随时进行集成。

蚂蚁移动接入架构的演进是一个从分散到集中,从单一到多元的过程,旨在提高服务效率和用户互动体验,确保在亿级并发的挑战下,移动服务依然能够稳定运行,满足用户需求。

网关架构

图片

上图是一个移动 API 网关的架构,从图中可以看到,我们把 API 生命周期定义为以下几个阶段:API 定义、API 研发、API 发布、API 配置、API 上线、API 运营和 API 下线。

而移动网关又把 API 生命周期切分成三大块,分别是研发支撑阶段、运行时阶段和服务治理阶段。

研发支撑阶段主要有四个能力,分别为 Code-Gen(代码生成)、API-MAN(API管理)、API-Test(API测试) 和 API-Mock(API模拟)。

为了提高 API 数据在网络上的传输效率,目前蚂蚁的 API 模型全部都采用了 protobuf 进行序列化,因此,为了方便业务开发,API 网关提供了统一的基于 proto 文件的代码生成工具,并且为了减少客户端的文件大小和方法数限制,我们修改了官方提供的生成代码,有效减少了冗余的方法并大大减小了客户端文件大小。

在运行时阶段,核心的功能包括 API 流量管控、数据验签、用户鉴权以及接口系统路由等。

API 日常的运维由服务治理体系负责,主要的能力为 API 监控,并根据实时数据进行 API 质量模型评估,并提供了一些应急管理措施。

图片

API 网关最为核心的架构设计是 Pipeline,尽管网关在表面上只是一个简单的API管控和路由系统,但它涉及众多节点,而每个节点的功能又相互独立,并且随着业务的发展,功能节点会逐渐增加,在某些场景下,还需要做不同的节点组合。

如果使用传统的链式调用,代码执行串会非常的长,同时扩展和维护起来都非常的困难。

因此我们参考了 netty 的 Pipeline 设计,完成了自己的 Pipeline 链路。

Pipeline 中的各个 handler 保持相互独立,同时可以根据需要和配置自由组合,这为后续功能扩展提供了良好的架构支持。

蚂蚁金服的API网关架构通过精细化的阶段划分和灵活的Pipeline设计,确保了API生命周期的有效管理和服务的高效运行。

这种架构不仅提高了API的开发和运维效率,还通过优化代码生成和序列化过程,减少了客户端的负担,从而提升了整体的性能和用户体验。

随着业务的发展和技术的进步,这种架构设计能够适应不断变化的需求,为蚂蚁金服乃至整个移动应用生态提供了坚实的基础。

代码变革

图片

从代码来看,我们可以明显感受到调用过程的变化。原先,它是一个远程调用,需要处理路径、参数等问题。但在统一数据交互后,对于业务系统而言,这个调用过程更接近于本地调用,直接调用函数并封装模型。这种方式使得业务研发人员可以更专注于业务逻辑的编写,而无需关注底层的通信实现,从而显著提高了研发效率。

移动网络与有线网络存在显著差异。移动网络环境复杂,用户状态多变,可能处于地下室、电梯或其它网络信号弱的环境中。

在移动场景下,用户对体验的要求极高,例如在支付时,用户期望立即获得支付结果。

过去,我们主要对服务端进行了改进,而对客户端的改进有限。

了解决用户问题、性能问题并提升用户体验,我们进行了一次升级,构建了一个统一接入网关,并将其置于基础组件之上。同时,我们研发了性能数据同步和增强了IP调度等能力。

代码变革的核心在于将远程调用转换为更高效的本地调用,这样不仅简化了业务逻辑的实现,也提升了研发效率。通过构建统一接入网关和增强的基础组件,我们能够更好地应对移动网络环境的复杂性,满足用户对高性能体验的需求。

这种变革不仅优化了服务端的性能,也改善了客户端的体验,为用户提供了一种更加稳定和快速的支付方式,进一步巩固了移动支付在现代社会中的地位。

图片

统一接入网关

图片

统一接入网关(ACCGW)可以被看作是一个前置的Nginx,它是蚂蚁基于Nginx进行二次开发的一套组件,内部称之为Spanner。

它在接入架构中主要负责非业务逻辑的处理,包括SSL的卸载、MMTP协议的解析、数据的压缩与解压缩、客户端TCP长连接的维持、接入流量的总控、数据包的路由以及客户端日志的接入等功能。

API网关、PUSH推送、数据同步等组件都在它的支持下运作。

网络协议优化

MMTP 协议的全称是蚂蚁移动传输协议,基于 TLV 的数据结构,这种数据结构的好处是分包解包的效率非常高,且它是基于二进制的,存储成本相对较低。同时还满足了客户端多个组件的链路复用,当然 MMTP 配合客户端也有自己的一些特性,同时我们也加入了很多新特性,例如智能连接策略。

因为移动环境下用户的网络状态不是很可靠,如果是传统的连接方式,不一定能满足所有 RPC 请求,所以我们做了策略改进。

在能够使用长连接的情况下尽量使用长连接,如果出现长连接连不上或者闪断的情况,我们就尝试使用短连接的方式,短连接可以满足当时紧急的 RPC 发数据。

同时我们还会使用一些并发建连的策略,如先连接哪个运营商的网络就使用哪个,连接后我们会使用智能心跳策略,以适应不同运营商、不同地区维持连接的心跳时间差异。

在并发建连过程中,客户端可能同时存在多个长连接,数据包可能在传输过程中丢失,因此我们加入了柔性断连,确保正在传输的数据包能安全送达。

另外,多个连接建立后,客户端可能出现问题,服务端无法及时感知连接状态,因此我们加入了假连接监测。

数据包派发时携带序列号,客户端回报后,如果序列号返回,证明连接可用;否则,认为连接是假死状态,可在合适的时间点断开连接。

MTLS 是蚂蚁移动安全传输协议,基于 TLS1.3。我们在做的时候,TLS1.3 还没有正式发布,但是我们了解到一些它的特性,并将某些特性加入到了设计中。比如采用了 1RTT ECDHE 的握手方式。1RTT ECDHE 是基于 ECC 加密套件,ECC 的最大特点是密钥串比较小,更小的数据在移动方面有非常大的优势,例如提升传输效率,节省存储成本。在存储或传输过程中,数据包大小是移动领域特别关注的点。

也因为如此,我们选择了 ZSTD 压缩算法,ZSTD 有非常大的压缩比,且在该压缩比之下,压缩和解压缩的效率都不错。另外,在某些可支持重放的业务场景中,我们还加入了 0RTT 策略,第一时间把数据从客户端发送到服务端。通过上述优化,RPC 的平均响应效率提升了 5~6 倍。

蚂蚁金服通过统一接入网关和一系列网络协议优化,显著提升了移动环境下数据传输的效率和安全性能。这些优化不仅提高了数据传输的速度和响应时间,还确保了数据在复杂网络环境中的稳定性和可靠性。通过智能连接策略、柔性断连、假连接监测等技术手段,蚂蚁金服为移动应用提供了一种高效、安全的数据传输解决方案,进一步巩固了其在金融科技领域的领导地位。

SYNC 数据同步

图片

SYNC 数据同步听起来有点陌生,但实际上可以看作是 PUSH 的演进版本。

它是基于 TCP、双向传输的。尽管传统的 RPC 调用能够解决大部分问题,但在某些特定场景下,它仍存在缺陷。例如,客户端启动之后,需要通过 RPC  请求来检测服务端是否有新的数据。其实 90% 的情况是查询接口没有任何的变化或者返回的数据客户端已经存在了,所以这个过程非常冗余。不仅数据查询冗余,请求本身也是冗余的,因为没有变化发生,这些调用其实是可以避免的。

当初,在 all in 之后,我们对用户体验进行了一些优化,比如实现了预加载功能。当客户端启动时,会触发数据的预加载,尽管这时客户端还没有进入相关模块,但为了提升用户体验,客户端会发送大量 RPC 请求,这导致了大量的冗余并发请求。

另一个问题是客户端无法主动感知服务端数据的变化。

例如,在聊天应用场景中,用户是等待交互的,如果使用 RPC 定时拉取的方式,客户端和服务端的成本会很高,整体响应时间也会变慢。

而通过 SYNC 的推送模式,服务端在产生新数据时,可以直接通过 TCP 将数据推送到客户端,客户端可以立即接收到数据并进行业务处理,比如支付宝的扫码支付、当面付等功能都是通过 SYNC 服务来同步结果数据的。

图片

SYNC 的核心机制是 oplog,它类似于 MySQL 的 binlog,是对每条增量数据的快照。

SYNC 会为每条 oplog 生成一个唯一且递增的版本号,并通过记录客户端当前数据版本号来计算两端之间的差异,只同步这些差异数据。由于 SYNC 基于TCP,可以实现双向主动传输,从而实现实时、有序、可靠、增量的数据传输。

同时,SYNC 在客户端触发场景时,并不是基于业务场景,而是基于事件,如建立连接、登录、从后台切换到前台等操作,因此,它可以实现单次事件触发多个业务的增量计算。

当没有增量数据时,客户端无需进行任何 RPC 请求,从而大幅减少请求次数和冗余数据传输,不仅提高了效率和实时性,也间接减轻了系统的压力。

SYNC 数据同步通过优化传统 RPC 调用的局限性,提供了一种高效、实时的数据传输解决方案。

它通过 oplog 机制和 TCP 双向传输,实现了数据的增量同步和主动推送,显著提升了用户体验,并减轻了系统的负担。

SYNC 的应用场景广泛,特别是在需要快速响应和数据实时更新的金融支付领域,如支付宝的扫码支付等功能,都得益于 SYNC 服务的高效数据同步能力。

移动调度中心

图片

对于客户端请求而言,最重要的是在第一时间内找到正确的 IP 并把请求发出去。

之前这些工作一般是由传统 DNS 来做,但传统 DNS 会有一些问题,例如 DNS 劫持、DNS 解析失败、不同运营商 DNS 解析效率不同等等,解析 DNS 需要消耗额外的 RTT。

为了解决这些问题,我们设立了移动调度中心,它是基于 HTTPDNS,并在此基础上加入了用户分区信息。什么叫用户分区呢?

面对亿级并发,服务端肯定不会在一个机房里,可能是在多个机房中,且机房内部还有逻辑分区。

只有服务端知道用户属于哪个逻辑区,客户端本身无法感知。

当某个分区的用户接入进来后,如果没有在正确的分区内,且又需要转到其它分区做业务处理时,如果是采用传统 DNS 是无法实现的,因为无法解析出用户属于哪个 IP 列表。

而 HTTPDNS+ 分区数据的模型,可以让客户端快速拿到最准确的 IP 地址,同时客户端还可以针对这个 IP 地址做质量检测和有效性检测,在请求之前就确定最优的 IP 地址。

另外,HTTPDNS 还可以支持海外节点的部署。HTTPDNS 一定不会比 DNS 的效果差,因为它还有 DNS 来兜底,一旦 HTTPDNS 出现问题,那么就会切换到 DNS 去做解析。

以上的演进过程满足了绝大多数日常的需求,但是支付宝有很多大促场景,每次大促的玩法都不同,且峰值集中在一刹那。

针对这个场景,我们又孵化出了新的模式,一是 API 网关的去中心化,二是 SYNC-PULL 机制,三是 SYNC-Bucket 计算模式。

移动调度中心通过结合 HTTPDNS 和用户分区信息,提高了客户端请求的效率和准确性。它不仅优化了 DNS 解析的可靠性,还支持海外节点的灵活部署。

此外,针对支付宝特定的大促场景,我们采用了创新的去中心化 API 网关、SYNC-PULL 机制和 SYNC-Bucket 计算模式,以应对突发的高流量和复杂的业务需求。

这些技术的应用,确保了支付宝在大规模活动中能够提供稳定、高效的服务,满足了用户在关键时刻的支付体验。

图片

网关去中心化

中心化API网关指的是所有API请求都通过一个或几个集中的节点进行路由和处理。

去中心化API网关则分散了API请求的处理,通过多个节点来路由和处理请求,每个节点可以独立运作。

网关去中心化解决的一个核心问题就是成本。大促场景下,业务量不停上升,峰值可能非常高。但峰值只有一刹那,而在其余时间,服务器资源往往处于闲置状态,这无疑是一种巨大的资源浪费。而为了保证大促时不崩溃,机器又不能减少,所以对应用的压力是非常大的。

如果都是做单点,那么还会存在稳定性的问题。例如,如果在网关发布时出现错误,可能会影响到所有业务流程。此外,如果某个接口出现问题,可能会导致客户端陷入死循环,进而影响其他系统业务的正常进行。为了应对这些风险,我们采用了网关去中心化的策略就可以抵消这些风险,如果只是单个系统出问题,那么不会因为网络的问题导致其他业务发生问题。

网关去中心化通过分散风险和优化资源利用,有效解决了大型促销活动中面临的成本和稳定性问题。它确保了即使在极端的业务高峰期间,系统也能保持稳定运行,同时减少了资源浪费。通过这种方式,我们能够提供更加可靠和高效的服务,保障用户在关键时刻的顺畅体验。

SYNC-PULL 读扩散

图片

为什么会有 SYNC-PULL 读扩散的需求呢?

读扩散和写扩散是消息传递系统中处理消息分发和订阅的两种不同策略。它们主要在发布/订阅(pub/sub)消息模型中使用,决定了消息如何在发布者和订阅者之间传递。

读扩散是一种消息分发策略,在这种策略中,消息被发布到中央存储库或消息队列中,然后由订阅者读取。写扩散是一种消息分发策略,在这种策略中,消息被复制并发送给所有订阅者。

在支付宝内部,有许多高价值商户,他们各自拥有庞大的粉丝群体,需要定期或不定期地发布运营消息。

如果采用 SYNC 的写扩散方式,为每个粉丝发送一条数据,不仅会浪费存储资源,而且效率低下。假设某个商户有 5 亿关注用户,5 亿数据全部入库最快也要几十分钟。

此外,由于商户众多,大家都争夺同一资源,可能导致排队现象。对于商户来说,无法立即将活动信息触达用户,而对于服务端来说,存储了大量重复的消息,造成了资源的浪费。即使使用了缓存,每个用户的数据索引仍需存储,这对数据每秒处理量(TPS)的要求极高。

为了解决这些问题,我们采用了读扩散模式,将其抽象为关注关系,每个商户成为一个主题(Topic),所有数据存储在对应的 Topic 下。

由于用户关注的大 V 数量相对较少,且大 V 发布数据的频率不高,有效数据集并不多,因此可以将超级大 V 的数据首先存储在缓存中,然后通过二叉索引快速定位用户关注关系,并通过现有的 SYNC 机制将增量数据推送到客户端。

这样,原本亿级的数据存储需求降低为一条存储,响应时间也从分钟级缩短到秒级,大幅提升了效率和用户体验。

最初,我们在实施 SYNC 时,希望每个业务都能相对独立和隔离,计算也是独立的。

当时业务场景不多,但随着越来越多的业务接入,达到了 80 个独立业务场景,每个业务都需要独立计算。由于客户端基于事件驱动,建立连接后需要进行 80 次独立业务计算,在大促活动每秒百万次请求的情况下,很容易达到亿级,这对数据库、应用程序和缓存的压力极大,同时这种方式也无法满足未来的持续发展需求。

为了解决这些问题,我们针对原来的计算特性抽象出了几个分类。

例如,基于用户维度、基于设备维度、基于一次性、基于多端同步、基于全局用户配置的几个大类数据,抽象成几个抽象模型。

我们姑且认为是有 5 个 bucket,所有的计算都基于 bucket 方式来做,如果有新的业务加入,那就根据它的特性把它归到某个 bucket 中。

另外,大促场景下会有高优先级的业务,所以需要做一些特定的限流策略。

针对这种情况,bucket 可以动态的增减,业务进出 bucket 也可以随时切换。

bucket 上线之后,当时我们的计算量下降超过了 80%,在后面的 2、3 年中,业务从 80 个增加到 300 个,服务器也没有增加。整体来说,对性能的提升还是非常明显的。

大促活动场景应对之道

前面的内容主要是移动接入方面的组件设计如何支撑亿级场景,下面我们聊一下,如何切实的应对大促活动。

应对大促的几个步法

通过几年的大促经验,我们在技术上提炼出了应对大促的几个步法:

首先业务同学设定业务目标,确定业务玩法;技术同学在收到大促介绍之后,开始分解技术指标,并根据各自系统的能力、流程和特性确定相应的技术方案,确定技术方案的步骤则主要为:链路分析、容量评估、性能优化、流控方案、预案策略以及确定弹性流量规则。

在确定完成技术应对方案后,最重要的是进行全链路的压测,通过影子用户,影子表进行生产环境的全链路压测,每个系统压测周期短则几天,长则需要数月。

在不断的压测中发现问题,发现瓶颈,优化后再次进行压测,直到完成技术目标;在全链路完成压测指标后,进行多轮活动的演练,以模拟真实业务场景,并验证技术方案的准确性;

此后,根据实际需要,择时进入大促阶段。

在这个阶段,研发同学主要工作是配合运维进行预案的执行、观察大促期间各种指标的变化,并根据监控确认是否需要应急。

当然,应急方案在之前的演练中也需要进行验证。

随后大促活动结束后,需要进行预案 & 应急策略的回滚和验证,这样大促活动才算真正结束。

同时,更重要的是,我们需要对每年的大促进行复盘 review,以便发现不足,在后续的活动中加以改进。

大促活动场景应对之道—流控

图片

在大促执行过程中,最为关键的是流控。

对技术同学来说,让系统在活动中活下来是对大促最给力的支持,流控是系统最有力的屏障。

由于各系统在大促活动中发挥的作用、业务的紧急程度和集群规模各不相同,因此在促销活动中通常会牺牲一些特性来为主干链路释放性能,例如流水日志、压缩阈值、消息顺序等。

流量的管控也会分多级,在最上层 LVS 会在 VIP 上进行数十亿级别的流量控制,接入网关层则会根据连接数和包数进行亿级流量控制,而API网关层则进行千万级别的控制。

在这些层次上,通常简单的计数就可以满足需求。

然而,在业务层,特别是中低流量的业务层,通常采用令牌桶和分布式限流方法。此外,在API网关上,还可以执行一些自定义脚本,模拟返回结果,以帮助业务系统抵御一部分请求。

流量控制在大型促销活动中扮演着守护者的角色,通过精细化的分层管理,确保了系统的稳定性和业务的连续性。从高层到低层,从简单的计数到复杂的分布式限流,每一步都是为了让用户体验更加流畅,让促销活动能够顺利进行。

通过这些措施,我们不仅提高了系统的抗压能力,也保证了促销活动的效果,实现了技术和业务的双赢。

自动化真机测试

图片

除了核心链路之外,我们还需要一系列的后勤支持服务。例如,在测试阶段,我们依赖于自动化,尤其是真实的设备模拟测试,以减轻人工测试的工作量。

在我们的数据中心,部署了数以千计的智能手机,它们通常用于执行自动化的运维检查,包括应用的安装与卸载、性能消耗评估、功能验证等。

自动化测试不仅减少了重复的体力劳动,还起到了自动审核和服务监控的作用,用于检查小程序并及时发现潜在问题。利用自动化测试平台,我们能够节省超过60%的重复性人力成本。

勤服务的自动化不仅提高了测试效率,还增强了服务的可靠性和响应速度,为保障促销活动的顺利进行提供了坚实的后勤保障。通过这种自动化的方式,我们能够更好地利用资源,提高效率,同时确保了服务的高质量。

客户端智能发布—确保客户端万无一失

图片

如果要确保客户端万无一失,那么最核心的就是灰度流程,灰度流程结束之后,我们才能发布到生产环境中。

智能发布系统主要支持客户端的各种发布包,包括安装包、离线包、小程序包等。

经过多年的发布经验积累,我们已经形成了一些标准模板,例如灰度用户、灰度覆盖率等。在灰度测试阶段,我们可以根据需要选择合适的模板,并依照既定逻辑,利用自动化流程来替代人工操作。

图片

舆情分析—及时获取用户反馈

图片

客户端发布之后,业务同学一定非常关注用户的意见和市场的反馈,技术同学则希望第一时间收集到用户的真实反馈。

为了满足这些需求,我们引入了舆情分析系统求,舆情系统可以分为 三大 大块:

数据采集,主要采集渠道为各大媒体中心、应用市场评论、开会的反馈功能和客户满意中心的数据;数据内容则可以包含各种热点话题、热点事件和主要生产问题;

数据存储,目前主要由 4 大块来支撑:元数据一般可以采用关系型数据库,文档数据使用的是 MongoDB,爬虫采集的条目通过 MQ 来传输,所有数据最终会落至 ES 中,用来做检索和基础分析;

数据计算更多的是通过文件算法来对 ES 中的数据进行分析,最终产出各种趋势和各种事件、话题排行,同时针对每一个用户反馈又可以实时通知到相关的负责人。

图片

在这里我们说的移动分析主要是基于客户端日志埋点的数据分析能力。

客户端需要有标准的埋点 SDK 来采集 Native、H5、小程序的各种框架 & 容器埋点,也需要支持业务自定义的业务埋点。

同时,为了在大促场景能有效的提升服务端性能,埋点的写入与上报也需要有一些措施来进行动态的控制,埋点在客户端完成后,在合适的时机就会上报给服务端的移动日志网关,(移动日志网关目前也已经逐步被纳入到移动接入中进来)。

当客户端日志上报到服务端之后,即可由日志网关输出到服务端日志文件或投递至消息组件,供其他的平台进行消费计算,这包括如 Jstorm、kepler、Flink 这样实时计算平台,也可以投递到 Spark、odps 等离线大数据计算平台来进行进一步分析。

作为基础组件,移动分析除了日志采集和同步之外,也进行了一些框架输出日志的基本数据分析,行为分析(像日活、新增、流存在)、页面分析(停留时长,参与度)、闪退分析、卡顿分析,并提供了日志回溯和日志拉取等能力供研发同学进行问题排查和分析。

当然,这些数据可以用于各种业务分析,分析的形式完全取决于业务方想如何使用。

无论是舆情分析系统还是移动分析,都旨在通过数据的采集、存储、计算和分析,为业务和技术团队提供用户反馈和市场动态的深入了解。

这些系统的设计和实现,不仅要求技术上的精准和高效,更要求对业务需求的深刻理解和灵活应对。

通过这些分析,我们可以更好地理解用户行为,优化产品和服务,从而在激烈的市场竞争中保持领先地位。

对外输出的基础服务产品

技术组件产品服务输出:成熟一个,开放一个

经过这几年的努力,我们的基础能力也沉淀了不少可以输出的技术产品。

这些技术产品覆盖了从 APP 研发到测试到运维到运营的各个阶段,有客户端框架、客户端基础组件,有云端基础服务(像 API 网关、SYNC 数据同步、PUSH 通知这些),有开放工具,有插件,有伴随研发测试的研发协作平台来进行迭代管理、编译、构建、打包,真机测试平台,也有 APP 运维阶段所需的智能发布、日志管理、应急管理,还有用于 APP 运营的,各种数据分析和营销投放产品。

这些能力目前已经输出到了蚂蚁国际(印度 paytm、马来西亚、印度尼西亚、菲律宾等)的多个合作伙伴 APP,公有云的上百个企业级 APP,以及私有云的数十家金融 APP。

我们的宗旨是,成熟一个、开放一个,来与合作伙伴共建移动互联网的生态。

高德服务单元化方案和架构实践

本文主要分享了高德在服务单元化构建方面的实际操作经验在服务单元化构建过程中,会遇到许多共性问题,例如请求路由、单元封闭、数据同步等。

有些问题已经有成熟的解决方案可以参考和使用,但是不同公司的业务都有各自的特点,因此需要尽可能结合自身的业务特点来进行相应的设计和处理。

一、为什么要做单元化

  • 单机房资源瓶颈

随着业务规模和服务用户群体的扩大,单机房或同城双机房已经无法满足服务持续扩容的需求。

  • 服务异地容灾

异地容灾已经成为核心服务的标准配置。虽然有些服务已经在多地多机房进行部署,但数据仍然只在中心机房。要实现真正意义上的异地多活,就需要对服务进行单元化改造。

二、高德单元化的特点

在做高德的单元化项目时,我们首先要考虑的是结合高德的业务特点,看高德的单元化有什么不一样的诉求,这样就清楚哪些经验和方案是可以直接拿来用的,哪些又是需要我们去解决的。

高德的业务与传统在线交易业务存在差异,高德为用户提供以导航为代表的出行服务,这些服务在许多场景下对响应时间(RT)有极高的要求。

因此,在做单元化方案时,尽可能减少对整体服务RT的影响,就是我们需要重点考虑的一个性能问题,尽量做到数据离用户近一些。转换到单元化技术层面需要解决两个问题:

  1. 用户设备的单元接入应尽可能实现就近接入,用户真实地理位置接近哪个单元就接入哪个单元。

    例如华北用户接入到张北,华南接入到深圳。

  2. 用户的单元划分应与就近接入的单元保持一致,以减少单元间的跨单元路由。

    例如用户请求从深圳进来,用户的单元划分最好就在深圳单元,如果划到张北单元就会造成跨单元路由。

此外,高德的许多服务无需用户登录,因此我们的单元化方案不仅需要支持用户ID,还必须支持基于设备ID的单元化。

高德的单元化项目要求我们深入理解其业务特性,并在此基础上设计出既能满足响应时间要求又能适应无需登录服务需求的单元化方案。

这涉及到优化用户接入策略,确保单元划分与用户地理位置的一致性,以及支持无登录服务的单元化技术。

三、高德单元化实践

为了实施服务的单元化架构改造,需要一个至上而下的系统性设计,核心要解决三个核心问题:

  • 请求路由

  • 单元封闭

  • 数据同步

图片

  • 请求路由:根据高德业务的特点,我们提供了两种路由策略:取模路由和路由表路由,目前上线应用使用较多的是路由表路由策略。

  • 单元封闭:得益于集团的基础设施建设,我们使用vipserver、hsf等服务治理能力保证服务同机房调用,从而实现单元封闭(hsf unit模式也是一种可行的方案,但个人认为同机房调用的架构和模式更简洁且易于维护)。

  • 数据同步:数据部分使用的是集团DB产品提供的DRC数据同步。

单元路由服务采用什么样的部署方案是我们另一个要面临的问题,考虑过以下三种方案:

图片

首先,我们排除了Server SDK方式,因为它对业务的侵入性太强。

其次,考虑Proxy 统一接入层进行代理和去中心化Nginx Plugin插件集成两种方案。

这两种方案各有利弊,但当时首批要接入单元化架构的服务很多都还没有统一接入到gateway,所以基于现状的考虑使用了去中心化Nginx Plugin插件集成的方式,通过在应用的nginx集成UnitRouter。

实施高德单元化实践是一个全面而系统的改革过程,涉及到请求路由、单元封闭以及数据同步三大核心问题的解决。

通过深入分析和灵活应对,我们选择了最适合当前情况的策略和部署方案,确保了单元化架构的成功实施和高效运行。

服务单元化架构

目前高德账号系统,云同步系统、用户评论系统都完成了单元化改造,采用三地四机房部署,其中,写入量较高的云同步系统,单元写高峰能达到数w+QPS (存储是mongodb集群)。

以账号系统为例介绍下高德单元化应用的整体架构。

图片

账号系统服务是三地四机房部署,数据分别存储在tair为代表的缓存和XDB里,数据存储三地集群部署、全量同步。

账号系统服务器的Tengine上安装UntiRouter,它请求的负责单元识别和路由,用户单元划分是通过记录用户与单元关系的路由表来控制。

PS:由于历史原因,缓存使用了tair和自建的uredis(在redis基础上添加了基于log的数据同步功能),目前已经在逐步统一到tair。

数据同步依赖tair和alisql的数据同步方案,以及自建的uredis数据同步能力。

高德的单元化架构改造是一个复杂而全面的过程,涉及到多个服务和多个数据存储系统的整合与优化。

通过分布式部署和精细化的路由控制,高德成功提升了系统的可扩展性和稳定性,同时也为未来的服务升级和扩展打下了坚实的基础。

就近接入实现方案

为了满足高德对于低延迟的业务需求,关键在于让数据(单元)更靠近用户。其中有两个关键链路:一个是通过aserver接入的外网连接,另一个是服务内部路由(尽可能不产生跨单元路由)。

  • 措施1:客户端的外部网络接入通过aserver的配置,将不同地理区域(七个大区)的用户设备导向最近的单元,例如华北地区的用户接入张北单元。

  • 措施2:通过分析系统日志,记录用户与单元的关系路由表,以划分用户所属的单元。用户经常从哪个单元入口进来,就会把用户划分到哪个单元,这样确保了请求入口与单元划分的一致性,从而减少跨单元路由。

因此,在最终的单元路由实现上,我们提供了传统的取模路由,以及为了降低延时而设计的基于路由表路由两种策略。同时,为了解无须登录的业务场景问题,上述两种策略除了支持用户ID,我们同时也支持设备ID。

高德通过精细化的本地接入策略,显著提升了服务的响应速度和用户体验。通过智能路由分配和设备导向,高德确保了用户数据请求能够快速且高效地被处理,从而在竞争激烈的地图服务市场中保持领先地位。这种策略的实施不仅优化了网络延迟问题,还增强了服务的可靠性和稳定性,为用户提供了更加流畅和精准的服务体验。

图片

路由表设计

路由表分为两部分:一个是用户-分组的关系映射表,另一个是分组-单元的关系映射表。在使用时,通过路由表查对应的分组,再通过分组看用户所属单元。这些分组与中国大陆的七个大区相对应。

先看“用户-(大区)分组”:

路由表是定期通过系统日志分析出来的,看用户最近IP属于哪个大区就划分进哪个分组,同时也对应上了具体单元。例如,如果一个北京用户长期访问深圳,那么当IP地址变化时,路由表会更新,用户将被重新分配到新的深圳大区分组,实现用户从张北单元到深圳单元的迁移。

再看“分组-单元”:

分组与单元的映射有一个默认关系,通常是按照地理位置的接近性来配置的,例如华南地区对应深圳单元。除了默认的映射关系,还有几个用于切流预案的关系映射。

单元分组默认配置单元一切流预案单元二切流预案
东北单元一单元二单元一
华北单元一单元三单元一
西北单元二单元二单元三
……单元三单元三单元三
模1分组单元一单元二单元二
模2分组单元二单元二单元二
模3分组单元三单元三单元三

老用户可以通过路由表来查找单元,新用户怎么办?对于新用户的处理我们会降级成取模的策略进行单元路由,直至下次路由表的更新。因此,新用户跨单元路由的比例肯定会比老用户高得多。然而,由于新用户是一个相对稳定的增量,所以整体比例在可接受范围内。

BitMapMapDBBloom Filter
支持模型UidUid、Tid、...Uid、Tid、...
空间占用小大适中
效率良好一般良好
准确率100%100%>99%
实时修改是是否

高德通过这种精细化的路由策略构建,确保了用户数据能够高效、准确地被导向相应的单元。这种策略不仅考虑了用户的地理位置,还预设了灵活的映射关系,以便应对各种突发情况。同时,对于新用户的处理也体现出了系统的弹性和适应性。通过这种方式,高德在提供地图服务时能够更好地适应不同用户的需求,从而在竞争激烈的市场中保持领先地位。这种设计不仅提高了服务的响应速度,还增强了系统的弹性和可靠性,为用户提供了一种无缝且稳定的体验。

路由计算

有了路由表,接下来就要解决工程化应用的问题,性能、空间、灵活性和准确率,以及对服务稳定性的影响这几个方面是要进行综合考虑的,首先考虑外部存储会增加服务的稳定性风险,后面我们在BloomFilter 、BitMap和MapDB多种方案中选择BloomFilter,万分之几的误命中率导致的跨单元路由在业务可接受范围内。

在通过日志分析确定用户所属大区后,我们将不同分组制作成多个布隆过滤器,以便在计算时进行逐层过滤。这种计算方式存在两种特殊情况:

  1. 因为BloomFilter存在误算率,有可能存在一种情况,华南分组的用户被计算到华北了,这种情况比例在万分之3 (生成BloomFilter时可调整)。这种情况对业务影响不大,因为这些用户相当于被稳定地划分到了一个非所在大区的分组中,虽然会出现跨单元路由,但在业务上是可接受的。

  2. 对于新用户,由于他们不在分组信息中,即使经过逐层的计算也没有匹配到对应大区分组,此时会使用取模进行模除分组的计算。

图片

如果业务采用的是取模路由而非路由表路由策略,那么将直接根据tid或uid进行模除分组计算,这种方法的原理相对简单,不再详细说明。

路由计算是实现高效、准确的用户数据导向的关键环节。通过精心设计的路由策略和计算方法,我们能够确保用户数据被准确地分配到相应的大区分组和单元,同时保持了服务的稳定性。BloomFilter的使用虽然带来了一定的误算率,但其稳定性风险在可控范围内,且对新用户的处理也确保了系统的灵活性和适应性。通过这种方式,我们不仅提高了服务的响应速度,还增强了系统的弹性和可靠性,为用户提供了一种无缝且稳定的体验。

单元切流

在发生单元故障进行切流时,主要分为四步骤

打开单元禁写 (跨单元写不敏感业务可以不配置)

检查业务延时

切换预案

解除单元禁写

PS:更新路由表时,也需要上述操作,只是第3步的切换预案变成切换新版本路由表;单元禁写主要是了等待数据同步,避免数据不一致导致的业务问题。

核心指标

单元计算耗时1~2ms

跨单元路由比例底于5%

除了性能外,因就近接入的诉求,跨单元路由比例也是我们比较关心的重要指标。从线上观察看,路由表策略单元计算基本上在1、2ms内完成,跨单元路由比例3%左右,整体底于5%。

四、后续优化

统一接入集成单元化能力

目前,多数服务已经整合到统一的接入网关服务中。这种集成单元化能力的方法显著降低了服务单元化部署的成本。通过简易的配置,即可实现单元路由,使得服务能够更专注于业务单元的封闭性和数据同步。

分组机制的优化

按大区分组存在三个问题:

  • 通过IP地址计算大区存在一定的误算率,会导致部分用户被错误地分配到不正确的分组。

  • 分组粒度太大,当进行单元切流时,流量不好分配。例如,如果华东是用户密集的大区,切流时无论将该分组分配到哪个指定单元,都可能造成该单元的服务压力剧增。

  • 计算次数多,分多少个大区,理论最大计算次数是有多少次,最后采取取模策略。

针对上述几个问题我们计划对分组机制做如下改进

  • 通过记录用户进入单元的情况来确认用户所属的单元,而不是根据用户的IP地址所在大区来判断,以解决上述问题1。

  • 将每个单元划分4个虚拟分组,支持更细粒度单元切流,解上述问题2。

  • 用户确实单元后,通过取模来划分到不同的虚拟分组。每个单元只要一次计算就能完成,新用户只需经过3次计算,解上述问题3。

图片

通过统一接入集成单元化能力,我们能够简化服务的部署和管理,同时通过优化分组机制,提高了服务单元化部署的效率和准确性。这些改进不仅减少了误判率,还细化了分组粒度,确保了流量分配的均衡性,并简化了计算过程。这些措施共同提升了服务的整体性能和可靠性,为用户提供了更加稳定和高效的服务体验。

热更时的双表计算

与取模路由策略不同,路由表策略需要定期更新以维持跨单元路由的稳定性。然而,目前更新时需要一个短暂的单元禁写,这对于很多业务来说是难以接受的。

为优化这个问题,系统将在路由表更新时做双(路由)表计算,即将新老路由表同时加载进内存,更新时不再对业务做完全的禁写,我们会分别计算当前用户(或设备)在新老路由表的单元结果,如果单元一致,则说明路由表的更新没有导致该用户(或设备)变更单元,所以请求会被放行,反之,如果计算结果是不同单元,说明发生了单元变更,该请求会被拦截,直至到达新路由表的一个完全起用时间。

在优化前,服务会完全禁写比如10秒(具体时间取决于数据同步的时间)。而在优化后,只有在这10秒内路由发生变更的用户才会触发禁写。这将显著减少对业务的影响。

通过采用双表计算机制,我们能够在路由表更新时避免对业务造成不必要的干扰。这种机制通过同时处理新旧路由表,确保了即使在更新过程中,用户的请求也能够得到妥善处理。这样不仅提高了系统的可用性,还确保了业务的连续性,从而为用户提供了更加稳定和流畅的服务体验。

服务端数据驱动的单元化场景

前面提到,高德在路由策略上根据业务的特性进行了特别设计,尽管如此,整体的单元划分仍然是基于用户(或设备)这一维度进行的。然而,高德业务中还存在一个我们需要面对和解决的巨大挑战,那就是基于数据维度进行单元设计。这将意味着,基于终端的服务路由将转变为基于数据域的服务路由。

图片

高德的许多服务都是以服务数据为核心的,例如地图数据,这些数据并非直接由用户产生。随着业务的发展,数据存储量也将不断增长,尤其是在5G和自动驾驶等领域,数据的爆炸式增长使得单点全量存储变得不切实际。因此,基于服务端数据驱动的服务单元化设计,成为了我们接下来需要重点考虑的应用场景。

随着业务的不断发展和数据的激增,我们需要从传统的用户维度转向数据维度,进行服务单元化设计。这不仅能够更好地满足业务需求,还能够有效应对数据存储和处理的挑战。基于服务端数据的单元化设计,将为高德带来更加高效和灵活的服务架构,从而为用户提供更优质的服务体验。

一台服务器,支持的TCP连接数最大是多少?

一台服务器最大能打开的文件数:

操作系统维度的限制参数

在Linux中,一切皆文件。

那么一台服务器最大能打开多少个文件呢?

Linux上能打开的最大文件数量受三个参数影响,分别是:

  • fs.file-max (系统级别参数) :该参数描述了整个系统可以打开的最大文件数量。但是root用户不会受该参数限制(比如:现在整个系统打开的文件描述符数量已达到fs.file-max ,此时root用户仍然可以使用ps、kill等命令或打开其他文件描述符)。

  • soft nofile(进程级别参数) :限制单个进程上可以打开的最大文件数。只能在Linux上配置一次,不能针对不同用户配置不同的值。

  • fs.nr_open(进程级别参数) :限制单个进程上可以打开的最大文件数。可以针对不同用户配置不同的值。

这三个参数之间还有耦合关系,所以配置值的时候还需要注意以下三点:

  1. 如果想加大soft nofile,那么hard nofile参数值也需要一起调整。如果因为hard nofile参数值设置的低,那么soft nofile参数的值设置的再高也没有用,实际生效的值会按照二者最低的来。

  2. 如果增大了hard nofile,那么fs.nr_open也都需要跟着一起调整(fs.nr_open参数值一定要大于hard nofile参数值)。如果不小心把hard nofile的值设置的比fs.nr_open还大,那么后果比较严重。会导致该用户无法登录,如果设置的是*,那么所有用户都无法登录。

  3. 如果加大了fs.nr_open,但是是用的echo "xxx" > ../fs/nr_open命令来修改的fs.nr_open的值,那么刚改完可能不会有问题,但是只要机器一重启,那么之前通过echo命令设置的fs.nr_open值便会失效,用户还是无法登录。所以非常不建议使用echo的方式修改内核参数。

调整服务器能打开的最大文件数示例

假设想让进程可以打开100万个文件描述符,这里用修改conf文件的方式给出一个建议。

如果日后工作里有类似的需求可以作为参考。

vim /etc/sysctl.conf

fs.file-max=1100000 // 系统级别设置成110万,多留点buffer  
fs.nr_open=1100000 // 进程级别也设置成110万,因为要保证比hard nofile大

使上面的配置生效sysctl -p

vim /etc/security/limits.conf
    
// 用户进程级别都设置成100完  
soft nofile 1000000  
hard nofile 1000000

一台服务器最大能支持多少连接:

我们知道TCP连接,从根本上看其实就是client和server端在内存中维护的一组【socket内核对象】

一组【socket内核对象】也对应着TCP四元组:源IP、源端口、目标IP、目标端口,他们只要能够找到对方,那么就算是一条连接。

网络数据的四元组:源ip地址,源端口,目标ip地址,目标端口。可以类比为收发快递上的快递单:

图片

关于TCP协议,具体参见:

TCP协议详解 (史上最全)

网络三张表:ARP表, MAC表, 路由表,实现你的网络自由!!

了解了TCP链接之后,咱们来看看, 一台服务器最大能建立多少条连接呢?

  • 由于TCP连接本质上可以理解为是client-server端的一对socket内核对象,那么从理论上将应该是【2^32 (ip数) * 2^16 (端口数)】条连接(约等于两百多万亿)。

  • 但是实际上由于受其他软硬件的影响,我们一台服务器不可能能建立这么多连接(主要是受CPU和内存限制)。

如果只以ESTABLISH状态的连接来算(这些连接只是建立,但是不收发数据也不处理相关的业务逻辑),一台服务器最大能建立多少连接呢?以一台4GB内存的服务器为例!

  • 这种情况下,那么能建立的连接数量主要取决于【内存的大小】(因为如果是)ESTABLISH状态的空闲连接,不会消耗CPU(虽然有TCP保活包传输,但这个影响非常小,可以忽略不计)。

  • 我们知道一条ESTABLISH状态的连接大约消耗【8KB内存】,那么通过计算得知一台8GB内存的服务器,【可以建立100w+的TCP连接`】(当然这里只是计算所有的连接都只建立连接但不发送和处理数据的情况,如果真实场景中有数据往来和处理(数据接收和发送都需要申请内存,数据处理便需要CPU),那便会消耗更高的内存以及占用更多的CPU,并发不可能达到100w+)。

上面讨论的都是进建立连接的理想情况,在现实中如果有频繁的数据收发和处理(比如:压缩、加密等),那么一台服务器能支撑1000连接都算好的了,所以一台服务器能支撑多少连接还要结合具体的场景去分析,不能光靠理论值去算。抛开业务逻辑单纯的谈并发没有太大的实际意义。

服务器的开销大头往往并不是连接本身,而是每条连接上的数据收发,以及请求业务逻辑处理。

一台客户端机器最多能发起多少条连接:

我们知道客户端每和服务端建立一个连接便会消耗掉client端一个端口。

一台机器的端口范围是【0 ~ 65535】,那么是不是说一台client机器最多和一台服务端机器建立65535个连接呢?

由TCP连接的四元组特性可知,只要四元组里某一个元素不同,那么就认为这是不同的TCP连接。所以需要分情况讨论:

【情况一 】如果一台client仅有一个IP,server端也仅有一个IP并且仅启动一个程序,监听一个端口的情况下,client端和这台server端最大可建立的连接条数就是 65535 个。

因为源IP固定,目标IP和端口固定,四元组中唯一可变化的就是【源端口】,【源端口】的可用范围又是【0 ~ 65535】,所以一台client机器最大能建立65535个连接。

【情况二 】如果一台client有多个IP(假设客户端有 n 个IP),server端仅有一个IP并且仅启动一个程序,监听一个端口的情况下,一台client机器最大能建立的连接条数是:n * 65535 个。

因为目标IP和端口固定,有 n 个源IP,四元组中可变化的就是【源端口】+ 【源IP】,【源端口】的可用范围又是【0 ~ 65535】,所以一个IP最大能建立65535个连接,那么n个IP最大就能建立 n * 65535个连接了。

以现在的技术,给一个client分配多个IP是非常容易的事情,只需要去联系你们网管就可以做到。

【情况三 】如果一台client仅有一个IP,server端也仅有一个IP但是server端启动多个程序,每个程序监听一个端口的情况下(比如server端启动了m个程序,监听了m个不同端口),一台client机器最大能建立的连接数量为:65535 * m。

源IP固定,目标IP固定,目标端口数量为m个,可变化的是源端口,而源端口变化范围是【0 ~ 65535】,所以一台client机器最大能建立的TCP连接数量是 65535 * m个。

其余情况类推,但是客户端的可用端口范围一般达不到65535个,受内核参数net.ipv4.ip_local_port_range限制,如果要修改client所能使用的端口范围,可以修改这个内核参数的值。

这65535个端口里还有很多保留端口,可用端口可能只有64000个左右

总之,得到的结论是:

  • 一台server端可以接收100w+个TCP连接

  • 一台client照样能发出100w+个连接。

操作系统的其他配置:

  • 三次握手里socket的全连接队列长度由参数net.core.somaxconn来控制,默认大小是128,当两台机器离的非常近,但是建立连接的并发又非常高时,可能会导致半连接队列或全连接队列溢出,进而导致server端丢弃握手包。然后造成client超时重传握手包(至少1s以后才会重传),导致三次握手连接建立耗时过长。我们可以调整参数net.core.somaxconn来增加去按连接队列的长度,进而减小丢包的影响

  • 有时候我们通过 ctrl + c方式来终止了某个进程,但是当重启该进程的时候发现报错端口被占用,这种问题是因为【操作系统还没有来得及回收该端口,等一会儿重启应用就好了】

  • client程序在和server端建立连接时,如果client没有调用bind方法传入指定的端口,那么client在和server端建立连接的时候便会自己随机选择一个端口来建立连接。一旦我们client程序调用了bind方法传入了指定的端口,那么client将会使用我们bind里指定的端口来和server建立连接。所以不建议client调用bind方法,bind函数会改变内核选择端口的策略

public static void main(String[] args) throws IOException {  
    SocketChannel sc = SocketChannel.open();  
   // 客户端还可以调用bind方法  
    sc.bind(new InetSocketAddress("localhost", 9999));  
    sc.connect(new InetSocketAddress("localhost", 8080));  
    System.out.println("waiting..........");  
}
  • 在Linux一切皆文件,当然也包括之前TCP连接中说的socket。进程打开一个socket的时候需要创建好几个内核对象,换一句直白的话说就是打开文件对象吃内存,所以Linux系统基于安全角度考虑(比如:有用户进程恶意的打开无数的文件描述符,那不得把系统搞奔溃了),在多个位置都限制了可打开的文件描述符的数量。

  • 内核是通过【hash表】的方式来管理所有已经建立好连接的socket,以便于有请求到达时快速的通过【TCP四元组】查找到内核中对应的socket对象。

在epoll模型中,通过红黑树来管理epoll对象所管理的所有socket,用红黑树结构来平衡快速删除、插入、查找socket的效率。

相关实际问题:

在网络开发中,很多人对一个基础问题始终没有彻底搞明白,那就是一台机器最多能支撑多少条TCP连接。

不过由于客户端和服务端对端口使用方式不同,这个问题拆开来理解要容易一些。

注意,这里说的是客户端和服务端都只是角色,并不是指某一台具体的机器。例如对于我们自己开发的应用程序来说,当他响应客户端请求的时候,他就是服务端。当他向MySQL请求数据的时候,他又变成了客户端。

"too many open files" 报错是怎么回事,该如何解决

你在线上可能遇到过too many open files这个错误,那么你理解这个报错发生的原理吗?如果让你修复这个错误,应该如何处理呢?

  • 因为每打开一个文件(包括socket),都需要消耗一定的内存资源。为了避免个别进程不受控制的打开了过多文件而让整个服务器奔溃,Linux对打开的文件描述符数量有限制。如果你的进程触发到内核的限制,那么"too many open files" 报错就产生了。

  • 可以通过修改fs.file-max 、soft nofile、fs.nr_open这三个参数的值来修改进程能打开的最大文件描述符数量。

需要注意这三个参数之间的关系。

一台服务端机器最大究竟能支持多少条连接

因为这里要考虑的是最大数,因此先不考虑连接上的数据收发和处理,仅考虑ESTABLISH状态的空连接。那么一台服务端机器上最大可以支持多少条TCP连接?这个连接数会受哪些因素的影响?

  • 在不考虑连接上数据的收发和处理的情况下,仅考虑ESTABLISH状态下的空连接情况下,一台服务器上最大可支持的TCP连接数量基本上可以说是由内存大小来决定的。

  • 四元组唯一确定一条连接,但服务端可以接收来自任意客户端的请求,所以根据这个理论计算出来的数字太大,没有实际意义。另外文件描述符限制其实也是内核为了防止某些应用程序不受限制的打开【文件句柄】而添加的限制。这个限制只要修改几个内核参数就可以加大。

  • 一个socket大约消耗8kb左右的内存,这样真正制约服务端机器最大并发数的就是内存,拿一台8GB内存的服务器来说,可以支持的TCP连接数量大约是100w+。

一条客户端机器最大究竟能支持多少条连接

和服务端不同的是,客户端每次建立一条连接都需要消耗一个端口。在TCP协议中,端口是一个2字节的整数,因此范围只能是0~65535。那么客户单最大只能支持65535条连接吗?有没有办法突破这个限制,有的话有哪些办法?

  • 客户度每次建立一条连接都需要消耗一个端口。从数字上来看,似乎最多只能建立65535条连接。但实际上我们有两种办法破除65535这个限制。

方式一,为客户端配置多IP

方式二,分别连接不同的服务端

  • 所以一台client发起百万条连接是没有任何问题的。

做一个长连接推送产品,支持1亿用户需要多少台机器

假设你是系统架构师,现在老板给你一个需求,让你做一个类似友盟upush这样的产品。要在服务端机器上保持一个和客户端的长连接,绝大部分情况下连接都是空闲的,每天也就顶多推送两三次左右。总用户规模预计是1亿。那么现在请你来评估一下需要多少台服务器可以支撑这1亿条长连接。

  • 对于长连接推送模块这种服务来说,给客户端发送数据只是偶尔的,一般一天也就顶多一两次。绝大部分情况下TCP连接都是空闲的,CPU开销可以忽略。

  • 再基于内存来考虑,假设服务器内存是128G的,那么一台服务器可以考虑支持500w条并发。这样会消耗掉大约不到40GB内存用来保存这500w条连接对应的socket。还剩下80GB以上的内存来应对接其他的开销。所以,一亿用户,理论上,仅仅需要20台服务器就差不多够用了。

然后,实际上的一个亿的用户,核心服务器至少100台起步。

本文地址:https://www.limyvps.com/news/26_14343.html