防止缓存击穿之进程内共享调用

go-zero微服务框架中提供了许多开箱即用的工具，好的工具不仅能提升服务的性能而且还能提升代码的鲁棒性避免出错，实现代码风格的统一方便他人阅读等等。

本文主要讲述进程内共享调用神器SharedCalls。

使用场景

并发场景下，可能会有多个线程（协程）同时请求同一份资源，如果每个请求都要走一遍资源的请求过程，除了比较低效之外，还会对资源服务造成并发的压力。举一个具体例子，比如缓存失效，多个请求同时到达某服务请求某资源，该资源在缓存中已经失效，此时这些请求会继续访问DB做查询，会引起数据库压力瞬间增大。而使用SharedCalls可以使得同时多个请求只需要发起一次拿结果的调用，其他请求”坐享其成”，这种设计有效减少了资源服务的并发压力，可以有效防止缓存击穿。

高并发场景下，当某个热点key缓存失效后，多个请求会同时从数据库加载该资源，并保存到缓存，如果不做防范，可能会导致数据库被直接打死。针对这种场景，go-zero框架中已经提供了实现，具体可参看sqlc和mongoc等实现代码。

为了简化演示代码，我们通过多个线程同时去获取一个id来模拟缓存的场景。如下：

  1. func main() {
  2.   const round = 5
  3.   var wg sync.WaitGroup
  4.   barrier := syncx.NewSharedCalls()
  6.   wg.Add(round)
  7.   for i := 0; i < round; i++ {
  8.     // 多个线程同时执行
  9.     go func() {
  10.       defer wg.Done()
  11.       // 可以看到，多个线程在同一个key上去请求资源，获取资源的实际函数只会被调用一次
  12.       val, err := barrier.Do("once", func() (interface{}, error) {
  13.         // sleep 1秒，为了让多个线程同时取once这个key上的数据
  14.         time.Sleep(time.Second)
  15.         // 生成了一个随机的id
  16.         return stringx.RandId(), nil
  17.       })
  18.       if err != nil {
  19.         fmt.Println(err)
  20.       } else {
  21.         fmt.Println(val)
  22.       }
  23.     }()
  24.   }
  26.   wg.Wait()
  27. }

运行，打印结果为：

  1. 837c577b1008a0db
  2. 837c577b1008a0db
  3. 837c577b1008a0db
  4. 837c577b1008a0db
  5. 837c577b1008a0db

可以看出，只要是同一个key上的同时发起的请求，都会共享同一个结果，对获取DB数据进缓存等场景特别有用，可以有效防止缓存击穿。

关键源码分析

  • SharedCalls interface提供了Do和DoEx两种方法的抽象

    1. // SharedCalls接口提供了Do和DoEx两种方法
    2. type SharedCalls interface {
    3.   Do(key string, fn func() (interface{}, error)) (interface{}, error)
    4.   DoEx(key string, fn func() (interface{}, error)) (interface{}, bool, error)
    5. }

  • SharedCalls interface的具体实现sharedGroup

    1. // call代表对指定资源的一次请求
    2. type call struct {
    3.   wg  sync.WaitGroup  // 用于协调各个请求goroutine之间的资源共享
    4.   val interface{}     // 用于保存请求的返回值
    5.   err error           // 用于保存请求过程中发生的错误
    6. }
    8. type sharedGroup struct {
    9.   calls map[string]*call
    10.   lock  sync.Mutex
    11. }

  • sharedGroup的Do方法

    • key参数：可以理解为资源的唯一标识。
    • fn参数：真正获取资源的方法。
    • 处理过程分析：
    1. // 当多个请求同时使用Do方法请求资源时
    2. func (g *sharedGroup) Do(key string, fn func() (interface{}, error)) (interface{}, error) {
    3.   // 先申请加锁
    4.   g.lock.Lock()
    6.   // 根据key，获取对应的call结果,并用变量c保存
    7.   if c, ok := g.calls[key]; ok {
    8.     // 拿到call以后，释放锁，此处call可能还没有实际数据，只是一个空的内存占位
    9.     g.lock.Unlock()
    10.     // 调用wg.Wait，判断是否有其他goroutine正在申请资源，如果阻塞，说明有其他goroutine正在获取资源
    11.     c.wg.Wait()
    12.     // 当wg.Wait不再阻塞，表示资源获取已经结束，可以直接返回结果
    13.     return c.val, c.err
    14.   }
    16.   // 没有拿到结果，则调用makeCall方法去获取资源，注意此处仍然是锁住的，可以保证只有一个goroutine可以调用makecall
    17.   c := g.makeCall(key, fn)
    18.   // 返回调用结果
    19.   return c.val, c.err
    20. }

  • sharedGroup的DoEx方法

    • 和Do方法类似，只是返回值中增加了布尔值表示值是调用makeCall方法直接获取的，还是取的共享成果
    1. func (g *sharedGroup) DoEx(key string, fn func() (interface{}, error)) (val interface{}, fresh bool, err error) {
    2.   g.lock.Lock()
    3.   if c, ok := g.calls[key]; ok {
    4.     g.lock.Unlock()
    5.     c.wg.Wait()
    6.     return c.val, false, c.err
    7.   }
    9.   c := g.makeCall(key, fn)
    10.   return c.val, true, c.err
    11. }

  • sharedGroup的makeCall方法

    • 该方法由Do和DoEx方法调用，是真正发起资源请求的方法。
    1. // 进入makeCall的一定只有一个goroutine，因为要拿锁锁住的
    2. func (g *sharedGroup) makeCall(key string, fn func() (interface{}, error)) *call {
    3.   // 创建call结构，用于保存本次请求的结果
    4.   c := new(call)
    5.   // wg加1，用于通知其他请求资源的goroutine等待本次资源获取的结束
    6.   c.wg.Add(1)
    7.   // 将用于保存结果的call放入map中，以供其他goroutine获取
    8.   g.calls[key] = c
    9.   // 释放锁，这样其他请求的goroutine才能获取call的内存占位
    10.   g.lock.Unlock()
    12.   defer func() {
    13.     // delete key first, done later. can't reverse the order, because if reverse,
    14.     // another Do call might wg.Wait() without get notified with wg.Done()
    15.     g.lock.Lock()
    16.     delete(g.calls, key)
    17.     g.lock.Unlock()
    19.     // 调用wg.Done，通知其他goroutine可以返回结果，这样本批次所有请求完成结果的共享
    20.     c.wg.Done()
    21.   }()
    23.   // 调用fn方法，将结果填入变量c中
    24.   c.val, c.err = fn()
    25.   return c
    26. }

最后

本文主要介绍了go-zero框架中的 SharedCalls工具，对其应用场景和关键代码做了简单的梳理，希望本篇文章能给大家带来一些收获。