Swoole协程之旅-后篇

 本篇我们开始深入PHP来分析Swoole协程的驱动部分，也就是C栈部分。

 由于我们系统存在C栈和PHP栈两部分，约定名字：

  • C协程 C栈管理部分，
  • PHP协程 PHP栈管理部分。
     增加C栈是4.x协程最重要也是最关键的部分，之前的版本种种无法完美支持PHP语法也是由于没有保存C栈信息。接下来我们将展开分析，C栈切换的支持最初我们是使用腾讯出品libco来支持，但通过压测会有内存读写错误而且开源社区很不活跃，有问题无法得到及时的反馈处理，所以，我们剥离的c++ boost库的汇编部分，现在的协程C栈的驱动就是在这个基础上做的。

 先来一张简单的系统架构图。Swoole4.x架构图可以发现，Swoole的角色是粘合在系统API和php ZendVM，给PHPer用户深度接口编写高性能的代码;不仅如此，也支持给C++/C用户开发使用，详细请参考文档C++开发者如何使用Swoole。C部分的代码主要分为几个部分

  • 汇编ASM驱动
  • Conext 上下文封装
  • Socket协程套接字封装
  • PHP Stream系封装，可以无缝协程化PHP相关函数
  • ZendVM结合层
    Swoole底层系统层次更加分明，Socket将作为整个网络驱动的基石，原来的版本中，每个客户端都要基于异步回调的方式维护上下文，所以4.x版本较之前版本比较，无论是从项目的复杂程度，还是系统的稳定性，可以说都有一个质的飞跃。代码目录层级
  1. $ tree swoole-src/src/coroutine/
  2. swoole-src/src/coroutine/
  3. ├── base.cc //C协程API,可回调PHP协程API
  4. ├── channel.cc //channel
  5. ├── context.cc //协程实现 基于ASM make_fcontext jump_fcontext
  6. ├── hook.cc //hook
  7. └── socket.cc //网络操作协程封装
  8. swoole-src/swoole_coroutine.cc //ZendVM相关封装，PHP协程API

我们从用户层到系统至上而下有 PHP协程API, C协程API, ASM协程API。其中Socket层是兼容系统API的网络封装。我们至下而上进行分析。ASMx86-64架构为例，共有16个64位通用寄存器，各寄存器及用途如下

  • %rax 通常用于存储函数调用的返回结果，同时也用于乘法和除法指令中。在imul 指令中，两个64位的乘法最多会产生128位的结果，需要 %rax 与 %rdx 共同存储乘法结果，在div 指令中被除数是128 位的，同样需要%rax 与 %rdx 共同存储被除数。
  • %rsp 是堆栈指针寄存器，通常会指向栈顶位置，堆栈的 pop 和push 操作就是通过改变 %rsp 的值即移动堆栈指针的位置来实现的。
  • %rbp 是栈帧指针，用于标识当前栈帧的起始位置
  • %rdi, %rsi, %rdx, %rcx,%r8, %r9 六个寄存器用于存储函数调用时的6个参数
  • %rbx，%r12，%r13，%14，%15 用作数据存储，遵循被调用者使用规则
  • %r10，%r11 用作数据存储，遵循调用者使用规则
    也就是说在进入汇编函数后，第一个参数值已经放到了 %rdi 寄存器中，第二个参数值已经放到了 %rsi 寄存器中，并且栈指针 %rsp 指向的位置即栈顶中存储的是父函数的返回地址x86-64使用swoole-src/thirdparty/boost/asm/make_x86_64_sysv_elf_gas.S
  1. //在当前栈顶创建一个上下文，用来执行执行第三个参数函数fn，返回初始化完成后的执行环境上下文
  2. fcontext_t make_fcontext(void *sp, size_t size, void (*fn)(intptr_t));
  3. make_fcontext:
  4.     /* first arg of make_fcontext() == top of context-stack */
  5.     movq  %rdi, %rax
  7.     /* shift address in RAX to lower 16 byte boundary */
  8.     andq  $-16, %rax
  10.     /* reserve space for context-data on context-stack */
  11.     /* size for fc_mxcsr .. RIP + return-address for context-function */
  12.     /* on context-function entry: (RSP -0x8) % 16 == 0 */
  13.     leaq  -0x48(%rax), %rax
  15.     /* third arg of make_fcontext() == address of context-function */
  16.     movq  %rdx, 0x38(%rax)
  18.     /* save MMX control- and status-word */
  19.     stmxcsr  (%rax)
  20.     /* save x87 control-word */
  21.     fnstcw   0x4(%rax)
  23.     /* compute abs address of label finish */
  24.     leaq  finish(%rip), %rcx
  25.     /* save address of finish as return-address for context-function */
  26.     /* will be entered after context-function returns */
  27.     movq  %rcx, 0x40(%rax)
  29.     ret /* return pointer to context-data * 返回rax指向的栈底指针，作为context返回/
  1. //将当前上下文(包括栈指针，PC程序计数器以及寄存器)保存至*ofc，从nfc恢复上下文并开始执行。
  2. intptr_t jump_fcontext(fcontext_t *ofc, fcontext_t nfc, intptr_t vp, bool preserve_fpu = false);
  4. jump_fcontext:
  5. //保存当前寄存器，压栈
  6.     pushq  %rbp  /* save RBP */
  7.     pushq  %rbx  /* save RBX */
  8.     pushq  %r15  /* save R15 */
  9.     pushq  %r14  /* save R14 */
  10.     pushq  %r13  /* save R13 */
  11.     pushq  %r12  /* save R12 */
  13.     /* prepare stack for FPU */
  14.     leaq  -0x8(%rsp), %rsp
  16.     /* test for flag preserve_fpu */
  17.     cmp  $0, %rcx
  18.     je  1f
  20.     /* save MMX control- and status-word */
  21.     stmxcsr  (%rsp)
  22.     /* save x87 control-word */
  23.     fnstcw   0x4(%rsp)
  25. 1:
  26.     /* store RSP (pointing to context-data) in RDI  保存当前栈顶到rdi 即:将当前栈顶指针保存到第一个参数%rdi ofc中*/
  27.     movq  %rsp, (%rdi)
  29.     /* restore RSP (pointing to context-data) from RSI 修改栈顶地址，为新协程的地址 ，rsi为第二个参数地址 */
  30.     movq  %rsi, %rsp
  32.     /* test for flag preserve_fpu */
  33.     cmp  $0, %rcx
  34.     je  2f
  36.     /* restore MMX control- and status-word */
  37.     ldmxcsr  (%rsp)
  38.     /* restore x87 control-word */
  39.     fldcw  0x4(%rsp)
  41. 2:
  42.     /* prepare stack for FPU */
  43.     leaq  0x8(%rsp), %rsp
  44. // 寄存器恢复
  45.     popq  %r12  /* restrore R12 */
  46.     popq  %r13  /* restrore R13 */
  47.     popq  %r14  /* restrore R14 */
  48.     popq  %r15  /* restrore R15 */
  49.     popq  %rbx  /* restrore RBX */
  50.     popq  %rbp  /* restrore RBP */
  52.     /* restore return-address  将返回地址放到 r8 寄存器中 */
  53.     popq  %r8
  55.     /* use third arg as return-value after jump*/
  56.     movq  %rdx, %rax
  57.     /* use third arg as first arg in context function */
  58.     movq  %rdx, %rdi
  60.     /* indirect jump to context */
  61.     jmp  *%r8

context管理位于context.cc，是对ASM的封装，提供两个API

  1. bool Context::SwapIn()
  2. bool Context::SwapOut()

最终的协程API位于base.cc,最主要的API为

  1. //创建一个c栈协程，并提供一个执行入口函数，并进入函数开始执行上下文
  2. //例如PHP栈的入口函数Coroutine::create(PHPCoroutine::create_func, (void*) &php_coro_args);
  3. long Coroutine::create(coroutine_func_t fn, void* args = nullptr); 
  4. //从当前上下文中切出，并且调用钩子函数 例如php栈切换函数 void PHPCoroutine::on_yield(void *arg)
  5. void Coroutine::yield()
  6. //从当前上下文中切入，并且调用钩子函数 例如php栈切换函数 void PHPCoroutine::on_resume(void *arg)
  7. void Coroutine::resume()
  8. //C协程执行结束，并且调用钩子函数 例如php栈清理 void PHPCoroutine::on_close(void *arg)
  9. void Coroutine::close()

接下来是ZendVM的粘合层 位于swoole-src/swoole_coroutine.cc

  1. PHPCoroutine 供C协程或者底层接口调用
  2. //PHP协程创建入口函数，参数为php函数
  3. static long create(zend_fcall_info_cache *fci_cache, uint32_t argc, zval *argv);
  4. //C协程创建API
  5. static void create_func(void *arg);
  6. //C协程钩子函数 上一部分base.cc的C协程会关联到以下三个钩子函数
  7. static void on_yield(void *arg);
  8. static void on_resume(void *arg);
  9. static void on_close(void *arg);
  10. //PHP栈管理
  11. static inline void vm_stack_init(void);
  12. static inline void vm_stack_destroy(void);
  13. static inline void save_vm_stack(php_coro_task *task);
  14. static inline void restore_vm_stack(php_coro_task *task);
  15. //输出缓存管理相关
  16. static inline void save_og(php_coro_task *task);
  17. static inline void restore_og(php_coro_task *task);

有了以上基础部分的建设，结合我们上一篇文章中PHP内核执行栈管理，就可以从C协程驱动PHP协程，实现C栈+PHP栈的双栈的原生协程。

下一篇文章，我们将挑一个客户端实现分析socket层，把协程和Swoole事件驱动结合来分析C协程以及PHP协程在底层网络库的应用和实践。