一次 RabbitMQ 生产故障引发的服务重连限流思考

原由是生产环境 RabbitMQ 消息中间件因为某些原因出现了故障导致当时一些相关的服务短时间不可用，后来 RabbitMQ 修复之后，按理来说服务是要正常恢复的，但是一些潜在问题出现了，因为一些老服务很少受到关注，当人工发现的时候消息已经堆积了几百万条，造成堆积原因是这些服务做为消费方没有重连机制，但是生产端是有的导致生产端一直写消息，消费端不能消费从而导致消息堆积。

这个时候也许你会想到我去把服务重启下就可以了，是的，重启之后可以让消费端这边的服务正常工作，但是请不要忽略一点，如果这个时候你的队列里堆积了很多消息，且服务也没有做限流措施，请谨慎操作，否则可能又是一场灾难。总结起来本次需要做的两点就是服务重连、服务限流，也是以下要主要讲的两个点。

建立服务重连机制

以下我建立了 rabbitmq.js 文件主要做以下功能：

  • 初始化 Rabbitmq connection
  • 通过监听 error、close 事件获取异常消息，进行重连
  • isConnection 字段是为了防止建立多个连接（kill -9 processId 会同时触发 error、close 两个事件）
  • 建立重连机制，每隔 10 秒钟重试一次
  • 统计重连次数，这个可以设置一个阀值做为监控报警（扩展）
  • 链接成功之后初始化我们的消费端
  1. // rabbitmq.js
  2. const amqp = require('amqplib');
  3. const consumer = require('./consumer');
  5. let connection = null;
  6. let isConnection = false;
  7. let reconnectingCount = 0;
  8. const init = () => amqp.connect('amqp://localhost:5672').then(conn => {
  9.     connection = conn;
  10.     conn.on('error', function(err) {
  11.         reconnecting(err, 'error');
  12.     });
  13.     conn.on('close', function(err) {
  14.         reconnecting(err, 'close');
  15.     });
  17.     console.log('rabbitmq connect success');
  18.     isConnection = false;
  19.     consumer.run(connection); // 开启消费者
  20.     return connection;
  21. }).catch(err => {
  22.     isConnection = false;
  23.     reconnecting(err, 'catch')
  24. });
  26. /**
  27.  * 重连
  28.  * @param { Object } err 
  29.  */
  30. const reconnecting = (err, event) => {
  31.     if (!isConnection) {
  32.         isConnection = true;
  33.         reconnectingCount++;
  34.         console.error(`Lost connection to RMQ. reconnectingCount: ${reconnectingCount}. Reconnecting in 10 seconds...`);
  35.         console.error('Rabbitmq close: ', event, err);
  37.         return setTimeout(init, 10 * 1000);
  38.     }
  39. }
  41. module.exports = {
  42.     init,
  43.     connection: () => {
  44.         return connection;
  45.     },
  46. }

实现方式可以有多种，在 qmqplib 库的 issue How to reestablish connection after a failure? 也有人提到过这个问题，可以参考下。

消费端限流机制

和正常建立消费端一样，要实现限流操作需要借助 prefetch 方法，这是 Rabbitmq 提供的服务质量保证 ( QOS) 功能，详细内容参见我的另一篇文章 Node.js 结合 RabbitMQ 高级特性 Prefetch 实现消费端限流策略

  1. // consumer.js
  2. async function consumer ({
  3.     exchange,
  4.     queue,
  5.     routingKey,
  6.     connection,
  7. }, cb) {
  8.     const ch = await connection.createChannel();
  9.     await ch.assertExchange(exchange, 'direct', { durable: true });
  10.     const queueResult = await ch.assertQueue(queue, {
  11.         exclusive: false,
  12.     });
  14.     console.info('%j', queueResult);
  16.     await ch.bindQueue(queueResult.queue, exchange, routingKey);
  17.     await ch.prefetch(1, false);
  18.     await ch.consume(queueResult.queue, msg => {
  19.         cb(msg, ch);
  20.     }, { noAck: false });
  21. }
  23. module.exports = {
  24.     run: (connection) => { 
  25.         consumer({
  26.             exchange: 'task',
  27.             queue: 'order_tasks',
  28.             routingKey: 'order_task',
  29.             connection,
  30.         }, async function(msg, ch) {
  31.             const data = msg.content.toString();
  32.             console.info(`${(new Date()).getMinutes()}:${(new Date()).getSeconds()} consumer msg：%j`, data);
  34.             return setTimeout(function () {
  35.                 try {
  36.                     ch.ack(msg);
  37.                 } catch (err) {
  38.                     console.error('消息 Ack Error：', err)
  39.                 }
  40.             }, 5000);
  41.         })
  42.     }
  43. }

注意在 ack 时如果当前有消息正在消费且暴力退出（kill -9 processId）的情况，会报 IllegalOperationError: Channel closed 错误，需要 try catch 捕获。

建立生产端

同样的和正常建立生产者是没有区别的，示例如下：

  1. // producer.js
  2. const rabbitMQ = require('./rabbitmq');
  4. async function producer({
  5.     exchange,
  6.     routingKey,
  7. }) {
  8.     // 获取链接
  9.     const connection = await rabbitMQ.connection();
  11.     if (!connection) {
  12.         console.error('链接不存在！');
  13.         return;
  14.     }
  16.     try {
  17.         // 获取通道
  18.         const channel = await connection.createChannel();
  20.         // 声明交换机
  21.         await channel.assertExchange(exchange, 'direct', { durable: true });
  23.         for (let i=0; i<5; i++) {
  24.             const msg = `第${i}条消息`;
  25.             console.log('Producer：', msg);
  27.             // 发送消息
  28.             await channel.publish(exchange, routingKey, Buffer.from(msg));
  29.         }
  31.         await channel.close();
  32.     } catch (err) {
  33.         console.error('生产消息 Error：', err);
  34.     }
  35. }
  37. module.exports = {
  38.     run: () => {
  39.         producer({
  40.             exchange: 'task',
  41.             routingKey: 'order_task'
  42.         })
  43.     }
  44. }

重连限流测试

开启一个 HTTP 接口用于后续测试

  • 提供了生产消息接口：127.0.0.1:3000/producer
  • 初始化 RabbitMQ
  1. const http = require('http');
  2. const producer = require('./producer');
  3. const rabbitmq = require('./rabbitmq');
  5. http.createServer((req, res) => {
  6.     if (req.url === '/producer') {
  7.         producer.run();
  8.     }
  10.     res.end('ok!');
  11. }).listen(3000, () => {
  12.     rabbitmq.init();
  13.     console.log('the server is start at port:', 3000);
  14. });

这里假设你的 MQ 已经开启，如果不知道怎么开启的参见，RabbitMQ高级消息队列安装篇

  1. $ node app
  2. the server is start at port: 3000
  3. rabbitmq connect success
  4. {"queue":"order_tasks","messageCount":0,"consumerCount":0}

连接异常测试

ps -ef | grep 5672 找到进程 id，kill -9 26179 暴力退出，如下所示

RabbitMQ：服务异常重连 - 图1

正常情况下测试

curl http://127.0.0.1:3000/producer 如下所示，每次仅消费 1 条消息待消息确认后在推送下一条，5 分钟间隔时间为 setTimeout 设置的延迟。

  1. Producer： 第0条消息
  2. Producer： 第1条消息
  3. Producer： 第2条消息
  4. Producer： 第3条消息
  5. Producer： 第4条消息
  6. 32:12 consumer msg："第0条消息"
  7. 32:17 consumer msg："第1条消息"
  8. 32:22 consumer msg："第2条消息"
  9. 32:27 consumer msg："第3条消息"
  10. 32:32 consumer msg："第4条消息"

本节源码 Github 地址

以上就是本文对服务重连、服务限流的实践，文中对于生产者如果出现链接终断情况，没有做消息保存这样消息是会丢失的所以牵扯到另外一个内容高可用性，关于 RabbitMQ 消息的高可用性将会在下一节进行讲解。欢迎关注微信公众号 “Nodejs技术栈”、Github https://www.nodejs.red 获取最新消息。