全国直销电话:4006-854-568
IT-technology
以人为本,众志成城,以“用户至上”.“服务上乘”为原则,
追求产品和服务高质量,努力实现与客户之间真诚有效的沟通,
不断地圆梦、奔跑与腾飞。
新闻动态   NEWS
ES+Redis+MySQL的高可用架构设计-北京赛维博信科技发展有限公司
来源:本人摘自网络,如有侵权请联系删除 | 作者:毛豆 | 发布时间: 2023-09-25 | 863 次浏览 | 分享到:


经过以上优化,成果非常显著,ES 集群的 cpu 大幅下降,查询性能大幅提升。ES 集群的 cpu 使用率: 

会员系统的接口耗时:

会员 Redis 缓存方案

一直以来,会员系统是不做缓存的,原因主要有两个:

  • 第一个,前面讲的 ES 集群性能很好,秒并发 3 万多,99 线耗时 5 毫秒左右,已经足够应付各种棘手的场景。

  • 第二个,有的业务对会员的绑定关系要求实时一致,而会员是一个发展了 10 多年的老系统,是一个由好多接口、好多系统组成的分布式系统。


所以,只要有一个接口没有考虑到位,没有及时去更新缓存,就会导致脏数据,进而引发一系列的问题。


例如:用户在 APP 上看不到微信订单、APP 和微信的会员等级、里程等没合并、微信和 APP 无法交叉营销等等。


那后来为什么又要做缓存呢?是因为今年机票的盲盒活动,它带来的瞬时并发太高了。虽然会员系统安然无恙,但还是有点心有余悸,稳妥起见,最终还是决定实施缓存方案。


| ES 近一秒延时导致的 Redis 缓存数据不一致问题的解决方案

在做会员缓存方案的过程中,遇到一个 ES 引发的问题,该问题会导致缓存数据的不一致。


我们知道,ES 操作数据是近实时的,往 ES 新增一个 Document,此时立即去查,是查不到的,需要等待 1 秒后才能查询到。


如下图所示:

ES 的近实时机制为什么会导致 Redis 缓存数据不一致呢?具体来讲,假设一个用户注销了自己的 APP 账号,此时需要更新 ES,删除 APP 账号和微信账号的绑定关系。而 ES 的数据更新是近实时的,也就是说,1 秒后你才能查询到更新后的数据。


而就在这 1 秒内,有个请求来查询该用户的会员绑定关系,它先到 Redis 缓存中查,发现没有,然后到 ES 查,查到了,但查到的是更新前的旧数据。


最后,该请求把查询到的旧数据更新到 Redis 缓存并返回。就这样,1 秒后,ES 中该用户的会员数据更新了,但 Redis 缓存的数据还是旧数据,导致了 Redis 缓存跟 ES 的数据不一致。


如下图所示:

面对该问题,如何解决呢?我们的思路是,在更新 ES 数据时,加一个 2 秒的 Redis 分布式并发锁,为了保证缓存数据的一致性,接着再删除 Redis 中该会员的缓存数据。


如果此时有请求来查询数据,先获取分布式锁,发现该会员 ID 已经上锁了,说明 ES 刚刚更新的数据尚未生效,那么此时查询完数据后就不更新 Redis 缓存了,直接返回,这样就避免了缓存数据的不一致问题。

 

服务热线

1391-024-6332