1. Context

在 Go http包的Server中，每一个请求在都有一个对应的 goroutine 去处理。请求处理函数通常会启动额外的 goroutine 用来访问后端服务，比如数据库和RPC服务。用来处理一个请求的 goroutine 通常需要访问一些与请求特定的数据，比如终端用户的身份认证信息、验证相关的token、请求的截止时间。 当一个请求被取消或超时时，所有用来处理该请求的 goroutine 都应该迅速退出，然后系统才能释放这些 goroutine 占用的资源。

1.1.1. 为什么需要Context

基本示例

  1. package main
  3. import (
  4.     "fmt"
  5.     "sync"
  7.     "time"
  8. )
  10. var wg sync.WaitGroup
  12. // 初始的例子
  14. func worker() {
  15.     for {
  16.         fmt.Println("worker")
  17.         time.Sleep(time.Second)
  18.     }
  19.     // 如何接收外部命令实现退出
  20.     wg.Done()
  21. }
  23. func main() {
  24.     wg.Add(1)
  25.     go worker()
  26.     // 如何优雅的实现结束子goroutine
  27.     wg.Wait()
  28.     fmt.Println("over")
  29. }

全局变量方式

  1. package main
  3. import (
  4.     "fmt"
  5.     "sync"
  7.     "time"
  8. )
  10. var wg sync.WaitGroup
  11. var exit bool
  13. // 全局变量方式存在的问题：
  14. // 1. 使用全局变量在跨包调用时不容易统一
  15. // 2. 如果worker中再启动goroutine，就不太好控制了。
  17. func worker() {
  18.     for {
  19.         fmt.Println("worker")
  20.         time.Sleep(time.Second)
  21.         if exit {
  22.             break
  23.         }
  24.     }
  25.     wg.Done()
  26. }
  28. func main() {
  29.     wg.Add(1)
  30.     go worker()
  31.     time.Sleep(time.Second * 3) // sleep3秒以免程序过快退出
  32.     exit = true                 // 修改全局变量实现子goroutine的退出
  33.     wg.Wait()
  34.     fmt.Println("over")
  35. }

通道方式

  1. package main
  3. import (
  4.     "fmt"
  5.     "sync"
  7.     "time"
  8. )
  10. var wg sync.WaitGroup
  12. // 管道方式存在的问题：
  13. // 1. 使用全局变量在跨包调用时不容易实现规范和统一，需要维护一个共用的channel
  15. func worker(exitChan chan struct{}) {
  16. LOOP:
  17.     for {
  18.         fmt.Println("worker")
  19.         time.Sleep(time.Second)
  20.         select {
  21.         case <-exitChan: // 等待接收上级通知
  22.             break LOOP
  23.         default:
  24.         }
  25.     }
  26.     wg.Done()
  27. }
  29. func main() {
  30.     var exitChan = make(chan struct{})
  31.     wg.Add(1)
  32.     go worker(exitChan)
  33.     time.Sleep(time.Second * 3) // sleep3秒以免程序过快退出
  34.     exitChan <- struct{}{}      // 给子goroutine发送退出信号
  35.     close(exitChan)
  36.     wg.Wait()
  37.     fmt.Println("over")
  38. }

官方版的方案

  1. package main
  3. import (
  4.     "context"
  5.     "fmt"
  6.     "sync"
  8.     "time"
  9. )
  11. var wg sync.WaitGroup
  13. func worker(ctx context.Context) {
  14. LOOP:
  15.     for {
  16.         fmt.Println("worker")
  17.         time.Sleep(time.Second)
  18.         select {
  19.         case <-ctx.Done(): // 等待上级通知
  20.             break LOOP
  21.         default:
  22.         }
  23.     }
  24.     wg.Done()
  25. }
  27. func main() {
  28.     ctx, cancel := context.WithCancel(context.Background())
  29.     wg.Add(1)
  30.     go worker(ctx)
  31.     time.Sleep(time.Second * 3)
  32.     cancel() // 通知子goroutine结束
  33.     wg.Wait()
  34.     fmt.Println("over")
  35. }

当子goroutine又开启另外一个goroutine时，只需要将ctx传入即可：

  1. package main
  3. import (
  4.     "context"
  5.     "fmt"
  6.     "sync"
  8.     "time"
  9. )
  11. var wg sync.WaitGroup
  13. func worker(ctx context.Context) {
  14.     go worker2(ctx)
  15. LOOP:
  16.     for {
  17.         fmt.Println("worker")
  18.         time.Sleep(time.Second)
  19.         select {
  20.         case <-ctx.Done(): // 等待上级通知
  21.             break LOOP
  22.         default:
  23.         }
  24.     }
  25.     wg.Done()
  26. }
  28. func worker2(ctx context.Context) {
  29. LOOP:
  30.     for {
  31.         fmt.Println("worker2")
  32.         time.Sleep(time.Second)
  33.         select {
  34.         case <-ctx.Done(): // 等待上级通知
  35.             break LOOP
  36.         default:
  37.         }
  38.     }
  39. }
  40. func main() {
  41.     ctx, cancel := context.WithCancel(context.Background())
  42.     wg.Add(1)
  43.     go worker(ctx)
  44.     time.Sleep(time.Second * 3)
  45.     cancel() // 通知子goroutine结束
  46.     wg.Wait()
  47.     fmt.Println("over")
  48. }

1.1.2. Context初识

Go1.7加入了一个新的标准库context，它定义了Context类型，专门用来简化 对于处理单个请求的多个 goroutine 之间与请求域的数据、取消信号、截止时间等相关操作，这些操作可能涉及多个 API 调用。

对服务器传入的请求应该创建上下文，而对服务器的传出调用应该接受上下文。它们之间的函数调用链必须传递上下文，或者可以使用WithCancel、WithDeadline、WithTimeout或WithValue创建的派生上下文。当一个上下文被取消时，它派生的所有上下文也被取消。

1.1.3. Context接口

context.Context是一个接口，该接口定义了四个需要实现的方法。具体签名如下：

  1. type Context interface {
  2.     Deadline() (deadline time.Time, ok bool)
  3.     Done() <-chan struct{}
  4.     Err() error
  5.     Value(key interface{}) interface{}
  6. }

其中：

  • Deadline方法需要返回当前Context被取消的时间，也就是完成工作的截止时间（deadline）；
  • Done方法需要返回一个Channel，这个Channel会在当前工作完成或者上下文被取消之后关闭，多次调用Done方法会返回同一个Channel；
  • Err方法会返回当前Context结束的原因，它只会在Done返回的Channel被关闭时才会返回非空的值；
    • 如果当前Context被取消就会返回Canceled错误；
    • 如果当前Context超时就会返回DeadlineExceeded错误；
  • Value方法会从Context中返回键对应的值，对于同一个上下文来说，多次调用Value 并传入相同的Key会返回相同的结果，该方法仅用于传递跨API和进程间跟请求域的数据；

1.1.4. Background()和TODO()

Go内置两个函数：Background()和TODO()，这两个函数分别返回一个实现了Context接口的background和todo。我们代码中最开始都是以这两个内置的上下文对象作为最顶层的partent context，衍生出更多的子上下文对象。

Background()主要用于main函数、初始化以及测试代码中，作为Context这个树结构的最顶层的Context，也就是根Context。

TODO()，它目前还不知道具体的使用场景，如果我们不知道该使用什么Context的时候，可以使用这个。

background和todo本质上都是emptyCtx结构体类型，是一个不可取消，没有设置截止时间，没有携带任何值的Context。

1.1.5. With系列函数

此外，context包中还定义了四个With系列函数。

1.1.6. WithCancel

WithCancel的函数签名如下：

  1.     func WithCancel(parent Context) (ctx Context, cancel CancelFunc)

WithCancel返回带有新Done通道的父节点的副本。当调用返回的cancel函数或当关闭父上下文的Done通道时，将关闭返回上下文的Done通道，无论先发生什么情况。

取消此上下文将释放与其关联的资源，因此代码应该在此上下文中运行的操作完成后立即调用cancel。

  1. func gen(ctx context.Context) <-chan int {
  2.         dst := make(chan int)
  3.         n := 1
  4.         go func() {
  5.             for {
  6.                 select {
  7.                 case <-ctx.Done():
  8.                     return // return结束该goroutine，防止泄露
  9.                 case dst <- n:
  10.                     n++
  11.                 }
  12.             }
  13.         }()
  14.         return dst
  15.     }
  16. func main() {
  17.     ctx, cancel := context.WithCancel(context.Background())
  18.     defer cancel() // 当我们取完需要的整数后调用cancel
  20.     for n := range gen(ctx) {
  21.         fmt.Println(n)
  22.         if n == 5 {
  23.             break
  24.         }
  25.     }
  26. }

上面的示例代码中，gen函数在单独的goroutine中生成整数并将它们发送到返回的通道。 gen的调用者在使用生成的整数之后需要取消上下文，以免gen启动的内部goroutine发生泄漏。

1.1.7. WithDeadline

WithDeadline的函数签名如下：

  1. func WithDeadline(parent Context, deadline time.Time) (Context, CancelFunc)

返回父上下文的副本，并将deadline调整为不迟于d。如果父上下文的deadline已经早于d，则WithDeadline(parent, d)在语义上等同于父上下文。当截止日过期时，当调用返回的cancel函数时，或者当父上下文的Done通道关闭时，返回上下文的Done通道将被关闭，以最先发生的情况为准。

取消此上下文将释放与其关联的资源，因此代码应该在此上下文中运行的操作完成后立即调用cancel。

  1. func main() {
  2.     d := time.Now().Add(50 * time.Millisecond)
  3.     ctx, cancel := context.WithDeadline(context.Background(), d)
  5.     // 尽管ctx会过期，但在任何情况下调用它的cancel函数都是很好的实践。
  6.     // 如果不这样做，可能会使上下文及其父类存活的时间超过必要的时间。
  7.     defer cancel()
  9.     select {
  10.     case <-time.After(1 * time.Second):
  11.         fmt.Println("overslept")
  12.     case <-ctx.Done():
  13.         fmt.Println(ctx.Err())
  14.     }
  15. }

上面的代码中，定义了一个50毫秒之后过期的deadline，然后我们调用context.WithDeadline(context.Background(), d)得到一个上下文（ctx）和一个取消函数（cancel），然后使用一个select让主程序陷入等待：等待1秒后打印overslept退出或者等待ctx过期后退出。 因为ctx50秒后就过期，所以ctx.Done()会先接收到值，上面的代码会打印ctx.Err()取消原因。

1.1.8. WithTimeout

WithTimeout的函数签名如下：

  1. func WithTimeout(parent Context, timeout time.Duration) (Context, CancelFunc)

WithTimeout返回WithDeadline(parent, time.Now().Add(timeout))。

取消此上下文将释放与其相关的资源，因此代码应该在此上下文中运行的操作完成后立即调用cancel，通常用于数据库或者网络连接的超时控制。具体示例如下：

  1. package main
  3. import (
  4.     "context"
  5.     "fmt"
  6.     "sync"
  8.     "time"
  9. )
  11. // context.WithTimeout
  13. var wg sync.WaitGroup
  15. func worker(ctx context.Context) {
  16. LOOP:
  17.     for {
  18.         fmt.Println("db connecting ...")
  19.         time.Sleep(time.Millisecond * 10) // 假设正常连接数据库耗时10毫秒
  20.         select {
  21.         case <-ctx.Done(): // 50毫秒后自动调用
  22.             break LOOP
  23.         default:
  24.         }
  25.     }
  26.     fmt.Println("worker done!")
  27.     wg.Done()
  28. }
  30. func main() {
  31.     // 设置一个50毫秒的超时
  32.     ctx, cancel := context.WithTimeout(context.Background(), time.Millisecond*50)
  33.     wg.Add(1)
  34.     go worker(ctx)
  35.     time.Sleep(time.Second * 5)
  36.     cancel() // 通知子goroutine结束
  37.     wg.Wait()
  38.     fmt.Println("over")
  39. }

1.1.9. WithValue

WithValue函数能够将请求作用域的数据与 Context 对象建立关系。声明如下：

  1.     func WithValue(parent Context, key, val interface{}) Context

WithValue返回父节点的副本，其中与key关联的值为val。

仅对API和进程间传递请求域的数据使用上下文值，而不是使用它来传递可选参数给函数。

所提供的键必须是可比较的，并且不应该是string类型或任何其他内置类型，以避免使用上下文在包之间发生冲突。WithValue的用户应该为键定义自己的类型。为了避免在分配给interface{}时进行分配，上下文键通常具有具体类型struct{}。或者，导出的上下文关键变量的静态类型应该是指针或接口。

  1. package main
  3. import (
  4.     "context"
  5.     "fmt"
  6.     "sync"
  8.     "time"
  9. )
  11. // context.WithValue
  13. type TraceCode string
  15. var wg sync.WaitGroup
  17. func worker(ctx context.Context) {
  18.     key := TraceCode("TRACE_CODE")
  19.     traceCode, ok := ctx.Value(key).(string) // 在子goroutine中获取trace code
  20.     if !ok {
  21.         fmt.Println("invalid trace code")
  22.     }
  23. LOOP:
  24.     for {
  25.         fmt.Printf("worker, trace code:%s\n", traceCode)
  26.         time.Sleep(time.Millisecond * 10) // 假设正常连接数据库耗时10毫秒
  27.         select {
  28.         case <-ctx.Done(): // 50毫秒后自动调用
  29.             break LOOP
  30.         default:
  31.         }
  32.     }
  33.     fmt.Println("worker done!")
  34.     wg.Done()
  35. }
  37. func main() {
  38.     // 设置一个50毫秒的超时
  39.     ctx, cancel := context.WithTimeout(context.Background(), time.Millisecond*50)
  40.     // 在系统的入口中设置trace code传递给后续启动的goroutine实现日志数据聚合
  41.     ctx = context.WithValue(ctx, TraceCode("TRACE_CODE"), "12512312234")
  42.     wg.Add(1)
  43.     go worker(ctx)
  44.     time.Sleep(time.Second * 5)
  45.     cancel() // 通知子goroutine结束
  46.     wg.Wait()
  47.     fmt.Println("over")
  48. }

1.1.10. 使用Context的注意事项

  • 推荐以参数的方式显示传递Context
  • 以Context作为参数的函数方法，应该把Context作为第一个参数。
  • 给一个函数方法传递Context的时候，不要传递nil，如果不知道传递什么，就使用context.TODO()
  • Context的Value相关方法应该传递请求域的必要数据，不应该用于传递可选参数
  • Context是线程安全的，可以放心的在多个goroutine中传递

1.1.11. 客户端超时取消示例

调用服务端API时如何在客户端实现超时控制？

1.1.12. server端

  1. // context_timeout/server/main.go
  2. package main
  4. import (
  5.     "fmt"
  6.     "math/rand"
  7.     "net/http"
  9.     "time"
  10. )
  12. // server端，随机出现慢响应
  14. func indexHandler(w http.ResponseWriter, r *http.Request) {
  15.     number := rand.Intn(2)
  16.     if number == 0 {
  17.         time.Sleep(time.Second * 10) // 耗时10秒的慢响应
  18.         fmt.Fprintf(w, "slow response")
  19.         return
  20.     }
  21.     fmt.Fprint(w, "quick response")
  22. }
  24. func main() {
  25.     http.HandleFunc("/", indexHandler)
  26.     err := http.ListenAndServe(":8000", nil)
  27.     if err != nil {
  28.         panic(err)
  29.     }
  30. }

client端

  1. // context_timeout/client/main.go
  2. package main
  4. import (
  5.     "context"
  6.     "fmt"
  7.     "io/ioutil"
  8.     "net/http"
  9.     "sync"
  10.     "time"
  11. )
  13. // 客户端
  15. type respData struct {
  16.     resp *http.Response
  17.     err  error
  18. }
  20. func doCall(ctx context.Context) {
  21.     transport := http.Transport{
  22.        // 请求频繁可定义全局的client对象并启用长链接
  23.        // 请求不频繁使用短链接
  24.        DisableKeepAlives: true,     }
  25.     client := http.Client{
  26.         Transport: &transport,
  27.     }
  29.     respChan := make(chan *respData, 1)
  30.     req, err := http.NewRequest("GET", "http://127.0.0.1:8000/", nil)
  31.     if err != nil {
  32.         fmt.Printf("new requestg failed, err:%v\n", err)
  33.         return
  34.     }
  35.     req = req.WithContext(ctx) // 使用带超时的ctx创建一个新的client request
  36.     var wg sync.WaitGroup
  37.     wg.Add(1)
  38.     defer wg.Wait()
  39.     go func() {
  40.         resp, err := client.Do(req)
  41.         fmt.Printf("client.do resp:%v, err:%v\n", resp, err)
  42.         rd := &respData{
  43.             resp: resp,
  44.             err:  err,
  45.         }
  46.         respChan <- rd
  47.         wg.Done()
  48.     }()
  50.     select {
  51.     case <-ctx.Done():
  52.         //transport.CancelRequest(req)
  53.         fmt.Println("call api timeout")
  54.     case result := <-respChan:
  55.         fmt.Println("call server api success")
  56.         if result.err != nil {
  57.             fmt.Printf("call server api failed, err:%v\n", result.err)
  58.             return
  59.         }
  60.         defer result.resp.Body.Close()
  61.         data, _ := ioutil.ReadAll(result.resp.Body)
  62.         fmt.Printf("resp:%v\n", string(data))
  63.     }
  64. }
  66. func main() {
  67.     // 定义一个100毫秒的超时
  68.     ctx, cancel := context.WithTimeout(context.Background(), time.Millisecond*100)
  69.     defer cancel() // 调用cancel释放子goroutine资源
  70.     doCall(ctx)
  71. }