rpc_press

学习bRPC rpc_press 工具。

rpc_press无需写代码就压测各种rpc server，目前支持的协议有：

  • baidu_std
  • hulu-pbrpc
  • sofa-pbrpc
  • public_pbrpc
  • nova_pbrpc

获取工具

先按照Getting Started编译好brpc，再去tools/rpc_press编译。

在CentOS 6.3上如果出现找不到libssl.so.4的错误，可执行ln -s /usr/lib64/libssl.so.6 libssl.so.4临时解决

发压力

rpc_press会动态加载proto文件，无需把proto文件编译为c++源文件。rpc_press会加载json格式的输入文件，转为pb请求，发向server，收到pb回复后如有需要会转为json并写入用户指定的文件。

rpc_press的所有的选项都来自命令行参数，而不是配置文件.

如下的命令向下游0.0.0.0:8002用baidu_std重复发送两个pb请求，分别转自’{“message”:“hello”}和’{“message”:“world”}，持续压力直到按ctrl-c，qps为100。

json也可以写在文件中，假如./input.json包含了上述两个请求，-input=./input.json也是可以的。

必需参数：

  • -proto：指定相关的proto文件名。
  • -method：指定方法名，形式必须是package.service.method。
  • -server：当-lb_policy为空时，是服务器的ip:port；当-lb_policy不为空时，是集群地址，比如bns://node-name, file://server_list等等。具体见命名服务。
  • -input: 指定json请求或包含json请求的文件。r32157后json间不需要分隔符，r32157前json间用分号分隔。

可选参数:

  • -inc: 包含被import的proto文件的路径。rpc_press默认支持import目录下的其他proto文件，但如果proto文件在其他目录，就要通过这个参数指定，多个路径用分号(;)分隔。
  • -lb_policy: 指定负载均衡算法，默认为空，可选项为: rr random la c_murmurhash c_md5，具体见负载均衡。
  • -timeout_ms: 设定超时,单位是毫秒(milliseconds),默认是1000(1秒)
  • -max_retry: 最大的重试次数,默认是3, 一般无需修改. brpc的重试行为具体请见这里.
  • -protocol: 连接server使用的协议，可选项见协议, 默认是baidu_std
  • -connection_type: 连接方式，可选项为: single pooled short，具体见连接方式。默认会根据协议自动选择,无需指定.
  • -output: 如果不为空，response会转为json并写入这个文件，默认为空。
  • -duration：大于0时表示发送这么多秒的压力后退出，否则一直发直到按ctrl-c或进程被杀死。默认是0（一直发送）。
  • -qps：大于0时表示以这个压力发送，否则以最大速度(自适应)发送。默认是100。
  • -dummy_port：修改dummy_server的端口，默认是8888

常用的参数组合：

  • 向下游0.0.0.0:8002、用baidu_std重复发送./input.json中的所有请求，持续压力直到按ctrl-c，qps为100。 ./rpc_press -proto=echo.proto -method=example.EchoService.Echo -server=0.0.0.0:8002 -input=./input.json -qps=100
  • 以round-robin分流算法向bns://node-name代表的所有下游机器、用baidu_std重复发送两个pb请求，持续压力直到按ctrl-c，qps为100。 ./rpc_press -proto=echo.proto -method=example.EchoService.Echo -server=bns://node-name -lb_policy=rr -input=’{“message”:“hello”} {“message”:“world”}’ -qps=100
  • 向下游0.0.0.0:8002、用hulu协议重复发送两个pb请求，持续压力直到按ctrl-c，qps为100。 ./rpc_press -proto=echo.proto -method=example.EchoService.Echo -server=0.0.0.0:8002 -protocol=hulu_pbrpc -input=’{“message”:“hello”} {“message”:“world”}’ -qps=100
  • 向下游0.0.0.0:8002、用baidu_std重复发送两个pb请求，持续最大压力直到按ctrl-c。 ./rpc_press -proto=echo.proto -method=example.EchoService.Echo -server=0.0.0.0:8002 -input=’{“message”:“hello”} {“message”:“world”}’ -qps=0
  • 向下游0.0.0.0:8002、用baidu_std重复发送两个pb请求，持续最大压力10秒钟。 ./rpc_press -proto=echo.proto -method=example.EchoService.Echo -server=0.0.0.0:8002 -input=’{“message”:“hello”} {“message”:“world”}’ -qps=0 -duration=10
  • echo.proto中import了另一个目录下的proto文件 ./rpc_press -proto=echo.proto -inc= -method=example.EchoService.Echo -server=0.0.0.0:8002 -input=’{“message”:“hello”} {“message”:“world”}’ -qps=0 -duration=10

rpc_press启动后会默认在8888端口启动一个dummy server，用于观察rpc_press本身的运行情况：

  1. ./rpc_press -proto=echo.proto -service=example.EchoService -method=Echo -server=0.0.0.0:8002 -input=./input.json -duration=0 -qps=100
  2. TRACE: 01-30 16:10:04:   * 0 src/brpc/server.cpp:733] Server[dummy_servers] is serving on port=8888.
  3. TRACE: 01-30 16:10:04:   * 0 src/brpc/server.cpp:742] Check out http://xxx.com:8888 in your web browser.</code>

dummy_server启动时会在终端打印日志，一般按住ctrl点击那个链接可以直接打开对应的内置服务页面，就像这样：

img

切换到vars页面，在Search框中输入rpc_press可以看到当前压力的延时分布情况:

img

你可以通过-dummy_port参数修改dummy_server的端口，请确保端口可以在浏览器中访问。

如果你无法打开浏览器，命令行中也会定期打印信息：

  1. 2016/01/30-16:19:01     sent:101       success:101       error:0         total_error:0         total_sent:28379     
  2. 2016/01/30-16:19:02     sent:101       success:101       error:0         total_error:0         total_sent:28480     
  3. 2016/01/30-16:19:03     sent:101       success:101       error:0         total_error:0         total_sent:28581     
  4. 2016/01/30-16:19:04     sent:101       success:101       error:0         total_error:0         total_sent:28682     
  5. 2016/01/30-16:19:05     sent:101       success:101       error:0         total_error:0         total_sent:28783     
  6. 2016/01/30-16:19:06     sent:101       success:101       error:0         total_error:0         total_sent:28884     
  7. 2016/01/30-16:19:07     sent:101       success:101       error:0         total_error:0         total_sent:28985     
  8. 2016/01/30-16:19:08     sent:101       success:101       error:0         total_error:0         total_sent:29086     
  9. 2016/01/30-16:19:09     sent:101       success:101       error:0         total_error:0         total_sent:29187     
  10. 2016/01/30-16:19:10     sent:101       success:101       error:0         total_error:0         total_sent:29288     
  11. [Latency]
  12.   avg            122 us
  13.   50%            122 us
  14.   70%            135 us
  15.   90%            161 us
  16.   95%            164 us
  17.   97%            166 us
  18.   99%            172 us
  19.   99.9%          199 us
  20.   99.99%         199 us
  21.   max            199 us

上方的字段含义应该是自解释的，在此略过。下方是延时信息，第一项”avg”是10秒内的平均延时，最后一项”max”是10秒内的最大延时，其余以百分号结尾的则代表延时分位值，即有左侧这么多比例的请求延时小于右侧的延时（单位微秒）。一般性能测试需要关注99%之后的长尾区域。

FAQ

Q: 如果下游是基于j-protobuf框架的服务模块，压力工具该如何配置？

A：因为协议兼容性问题，启动rpc_press的时候需要带上-baidu_protocol_use_fullname=false

修改于 2024年10月7日: Oncall report (1b7065e)