写在前面

body-parser是非常常用的一个express中间件，作用是对http请求体进行解析。使用非常简单，以下两行代码已经覆盖了大部分的使用场景。

  1. app.use(bodyParser.json());
  2. app.use(bodyParser.urlencoded({ extended: false }));

本文从简单的例子出发，探究body-parser的内部实现。至于body-parser如何使用，感兴趣的同学可以参考官方文档。

入门基础

在正式讲解前，我们先来看一个POST请求的报文，如下所示。

  1. POST /test HTTP/1.1
  2. Host: 127.0.0.1:3000
  3. Content-Type: text/plain; charset=utf8
  4. Content-Encoding: gzip
  6. chyingp

其中需要我们注意的有Content-Type、Content-Encoding以及报文主体：

  • Content-Type：请求报文主体的类型、编码。常见的类型有text/plain、application/json、application/x-www-form-urlencoded。常见的编码有utf8、gbk等。
  • Content-Encoding：声明报文主体的压缩格式，常见的取值有gzip、deflate、identity。
  • 报文主体：这里是个普通的文本字符串chyingp。

body-parser主要做了什么

body-parser实现的要点如下：

  1. 处理不同类型的请求体：比如text、json、urlencoded等，对应的报文主体的格式不同。
  2. 处理不同的编码：比如utf8、gbk等。
  3. 处理不同的压缩类型：比如gzip、deflare等。
  4. 其他边界、异常的处理。

一、处理不同类型请求体

为了方便读者测试，以下例子均包含服务端、客户端代码，完整代码可在笔者github上找到。

解析text/plain

客户端请求的代码如下，采用默认编码，不对请求体进行压缩。请求体类型为text/plain。

  1. var http = require('http');
  3. var options = {
  4.     hostname: '127.0.0.1',
  5.     port: '3000',
  6.     path: '/test',
  7.     method: 'POST',
  8.     headers: {
  9.         'Content-Type': 'text/plain',
  10.         'Content-Encoding': 'identity'
  11.     }
  12. };
  14. var client = http.request(options, (res) => {
  15.     res.pipe(process.stdout);
  16. });
  18. client.end('chyingp');

服务端代码如下。text/plain类型处理比较简单，就是buffer的拼接。

  1. var http = require('http');
  3. var parsePostBody = function (req, done) {
  4.     var arr = [];
  5.     var chunks;
  7.     req.on('data', buff => {
  8.         arr.push(buff);
  9.     });
  11.     req.on('end', () => {
  12.         chunks = Buffer.concat(arr);
  13.         done(chunks);
  14.     });
  15. };
  17. var server = http.createServer(function (req, res) {
  18.     parsePostBody(req, (chunks) => {
  19.         var body = chunks.toString();
  20.         res.end(`Your nick is ${body}`)
  21.     });
  22. });
  24. server.listen(3000);

解析application/json

客户端代码如下，把Content-Type换成application/json。

  1. var http = require('http');
  2. var querystring = require('querystring');
  4. var options = {
  5.     hostname: '127.0.0.1',
  6.     port: '3000',
  7.     path: '/test',
  8.     method: 'POST',
  9.     headers: {
  10.         'Content-Type': 'application/json',
  11.         'Content-Encoding': 'identity'
  12.     }
  13. };
  15. var jsonBody = {
  16.     nick: 'chyingp'
  17. };
  19. var client = http.request(options, (res) => {
  20.     res.pipe(process.stdout);
  21. });
  23. client.end( JSON.stringify(jsonBody) );

服务端代码如下，相比text/plain，只是多了个JSON.parse()的过程。

  1. var http = require('http');
  3. var parsePostBody = function (req, done) {
  4.     var length = req.headers['content-length'] - 0;
  5.     var arr = [];
  6.     var chunks;
  8.     req.on('data', buff => {
  9.         arr.push(buff);
  10.     });
  12.     req.on('end', () => {
  13.         chunks = Buffer.concat(arr);
  14.         done(chunks);
  15.     });
  16. };
  18. var server = http.createServer(function (req, res) {
  19.     parsePostBody(req, (chunks) => {
  20.         var json = JSON.parse( chunks.toString() );    // 关键代码    
  21.         res.end(`Your nick is ${json.nick}`)
  22.     });
  23. });
  25. server.listen(3000);

解析application/x-www-form-urlencoded

客户端代码如下，这里通过querystring对请求体进行格式化，得到类似nick=chyingp的字符串。

  1. var http = require('http');
  2. var querystring = require('querystring');
  4. var options = {
  5.     hostname: '127.0.0.1',
  6.     port: '3000',
  7.     path: '/test',
  8.     method: 'POST',
  9.     headers: {
  10.         'Content-Type': 'form/x-www-form-urlencoded',
  11.         'Content-Encoding': 'identity'
  12.     }
  13. };
  15. var postBody = { nick: 'chyingp' };
  17. var client = http.request(options, (res) => {
  18.     res.pipe(process.stdout);
  19. });
  21. client.end( querystring.stringify(postBody) );

服务端代码如下，同样跟text/plain的解析差不多，就多了个querystring.parse()的调用。

  1. var http = require('http');
  2. var querystring = require('querystring');
  4. var parsePostBody = function (req, done) {
  5.     var length = req.headers['content-length'] - 0;
  6.     var arr = [];
  7.     var chunks;
  9.     req.on('data', buff => {
  10.         arr.push(buff);
  11.     });
  13.     req.on('end', () => {
  14.         chunks = Buffer.concat(arr);
  15.         done(chunks);
  16.     });
  17. };
  19. var server = http.createServer(function (req, res) {
  20.     parsePostBody(req, (chunks) => {
  21.         var body = querystring.parse( chunks.toString() );  // 关键代码
  22.         res.end(`Your nick is ${body.nick}`)
  23.     });
  24. });
  26. server.listen(3000);

二、处理不同编码

很多时候，来自客户端的请求，采用的不一定是默认的utf8编码，这个时候，就需要对请求体进行解码处理。

客户端请求如下，有两个要点。

  1. 编码声明：在Content-Type最后加上;charset=gbk
  2. 请求体编码：这里借助了iconv-lite，对请求体进行编码iconv.encode('程序猿小卡', encoding)
  1. var http = require('http');
  2. var iconv = require('iconv-lite');
  4. var encoding = 'gbk';  // 请求编码
  6. var options = {
  7.     hostname: '127.0.0.1',
  8.     port: '3000',
  9.     path: '/test',
  10.     method: 'POST',
  11.     headers: {
  12.         'Content-Type': 'text/plain; charset=' + encoding,
  13.         'Content-Encoding': 'identity',        
  14.     }
  15. };
  17. // 备注：nodejs本身不支持gbk编码，所以请求发送前，需要先进行编码
  18. var buff = iconv.encode('程序猿小卡', encoding);
  20. var client = http.request(options, (res) => {
  21.     res.pipe(process.stdout);
  22. });
  24. client.end(buff, encoding);

服务端代码如下，这里多了两个步骤：编码判断、解码操作。首先通过Content-Type获取编码类型gbk，然后通过iconv-lite进行反向解码操作。

  1. var http = require('http');
  2. var contentType = require('content-type');
  3. var iconv = require('iconv-lite');
  5. var parsePostBody = function (req, done) {
  6.     var obj = contentType.parse(req.headers['content-type']);
  7.     var charset = obj.parameters.charset;  // 编码判断：这里获取到的值是 'gbk'
  9.     var arr = [];
  10.     var chunks;
  12.     req.on('data', buff => {
  13.         arr.push(buff);
  14.     });
  16.     req.on('end', () => {
  17.         chunks = Buffer.concat(arr);
  18.         var body = iconv.decode(chunks, charset);  // 解码操作
  19.         done(body);
  20.     });
  21. };
  23. var server = http.createServer(function (req, res) {
  24.     parsePostBody(req, (body) => {
  25.         res.end(`Your nick is ${body}`)
  26.     });
  27. });
  29. server.listen(3000);

三、处理不同压缩类型

这里举个gzip压缩的例子。客户端代码如下，要点如下：

  1. 压缩类型声明：Content-Encoding赋值为gzip。
  2. 请求体压缩：通过zlib模块对请求体进行gzip压缩。
  1. var http = require('http');
  2. var zlib = require('zlib');
  4. var options = {
  5.     hostname: '127.0.0.1',
  6.     port: '3000',
  7.     path: '/test',
  8.     method: 'POST',
  9.     headers: {
  10.         'Content-Type': 'text/plain',
  11.         'Content-Encoding': 'gzip'
  12.     }
  13. };
  15. var client = http.request(options, (res) => {
  16.     res.pipe(process.stdout);
  17. });
  19. // 注意：将 Content-Encoding 设置为 gzip 的同时，发送给服务端的数据也应该先进行gzip
  20. var buff = zlib.gzipSync('chyingp');
  22. client.end(buff);

服务端代码如下，这里通过zlib模块，对请求体进行了解压缩操作（guzip）。

  1. var http = require('http');
  2. var zlib = require('zlib');
  4. var parsePostBody = function (req, done) {
  5.     var length = req.headers['content-length'] - 0;
  6.     var contentEncoding = req.headers['content-encoding'];
  7.     var stream = req;
  9.     // 关键代码如下
  10.     if(contentEncoding === 'gzip') {
  11.         stream = zlib.createGunzip();
  12.         req.pipe(stream);
  13.     }
  15.     var arr = [];
  16.     var chunks;
  18.     stream.on('data', buff => {
  19.         arr.push(buff);
  20.     });
  22.     stream.on('end', () => {
  23.         chunks = Buffer.concat(arr);        
  24.         done(chunks);
  25.     });
  27.     stream.on('error', error => console.error(error.message));
  28. };
  30. var server = http.createServer(function (req, res) {
  31.     parsePostBody(req, (chunks) => {
  32.         var body = chunks.toString();
  33.         res.end(`Your nick is ${body}`)
  34.     });
  35. });
  37. server.listen(3000);

写在后面

body-parser的核心实现并不复杂，翻看源码后你会发现，更多的代码是在处理异常跟边界。

另外，对于POST请求，还有一个非常常见的Content-Type是multipart/form-data，这个的处理相对复杂些，body-parser不打算对其进行支持。篇幅有限，后续章节再继续展开。

欢迎交流，如有错漏请指出。

相关链接

https://github.com/expressjs/body-parser/

https://github.com/ashtuchkin/iconv-lite