聚合操作

获取数据库集合的聚合操作实例

  1. db.collection('scores').aggregate()

addFields

聚合阶段。添加新字段到输出的记录。经过 addFields 聚合阶段,输出的所有记录中除了输入时带有的字段外,还将带有 addFields 指定的字段。

API 说明

addFields 等同于同时指定了所有已有字段和新增字段的 project 阶段。

addFields 的形式如下:

  1. addFields({
  2. <新字段>: <表达式>
  3. })

addFields 可指定多个新字段,每个新字段的值由使用的表达式决定。

如果指定的新字段与原有字段重名,则新字段的值会覆盖原有字段的值。注意 addFields 不能用来给数组字段添加元素。

示例 1:连续两次 addFields

假设集合 scores 有如下记录:

  1. {
  2. _id: 1,
  3. student: "Maya",
  4. homework: [ 10, 5, 10 ],
  5. quiz: [ 10, 8 ],
  6. extraCredit: 0
  7. }
  8. {
  9. _id: 2,
  10. student: "Ryan",
  11. homework: [ 5, 6, 5 ],
  12. quiz: [ 8, 8 ],
  13. extraCredit: 8
  14. }

应用两次 addFields,第一次增加两个字段分别为 homeworkquiz 的和值,第二次增加一个字段再基于上两个和值求一次和值。

  1. const $ = db.command.aggregate
  2. db.collection('scores').aggregate()
  3. .addFields({
  4. totalHomework: $.sum('$homework'),
  5. totalQuiz: $.sum('$quiz')
  6. })
  7. .addFields({
  8. totalScore: $.add(['$totalHomework', '$totalQuiz', '$extraCredit'])
  9. })
  10. .end()

返回结果如下:

  1. {
  2. "_id" : 1,
  3. "student" : "Maya",
  4. "homework" : [ 10, 5, 10 ],
  5. "quiz" : [ 10, 8 ],
  6. "extraCredit" : 0,
  7. "totalHomework" : 25,
  8. "totalQuiz" : 18,
  9. "totalScore" : 43
  10. }
  11. {
  12. "_id" : 2,
  13. "student" : "Ryan",
  14. "homework" : [ 5, 6, 5 ],
  15. "quiz" : [ 8, 8 ],
  16. "extraCredit" : 8,
  17. "totalHomework" : 16,
  18. "totalQuiz" : 16,
  19. "totalScore" : 40
  20. }

示例 2:在嵌套记录里增加字段

可以用点表示法在嵌套记录里增加字段。假设 vehicles 集合含有如下记录:

  1. { _id: 1, type: "car", specs: { doors: 4, wheels: 4 } }
  2. { _id: 2, type: "motorcycle", specs: { doors: 0, wheels: 2 } }
  3. { _id: 3, type: "jet ski" }

可以用如下操作在 specs 字段下增加一个新的字段 fuel_type,值都设为固定字符串 unleaded

  1. db.collection('vehicles').aggregate()
  2. .addFields({
  3. 'spec.fuel_type': 'unleaded'
  4. })
  5. .end()

返回结果如下:

  1. { _id: 1, type: "car",
  2. specs: { doors: 4, wheels: 4, fuel_type: "unleaded" } }
  3. { _id: 2, type: "motorcycle",
  4. specs: { doors: 0, wheels: 2, fuel_type: "unleaded" } }
  5. { _id: 3, type: "jet ski",
  6. specs: { fuel_type: "unleaded" } }

示例 3:设置字段值为另一个字段

可以通过 $ 加字段名组成的字符串作为值的表达式来设置字段的值为另一个字段的值。

同样用上一个集合示例,可以用如下操作添加一个字段 vehicle_type,将其值设置为 type 字段的值:

  1. db.collection('vehicles').aggregate()
  2. .addFields({
  3. vehicle_type: '$type'
  4. })
  5. .end()

返回结果如下:

  1. { _id: 1, type: "car", vehicle_type: "car",
  2. specs: { doors: 4, wheels: 4, fuel_type: "unleaded" } }
  3. { _id: 2, type: "motorcycle", vehicle_type: "motorcycle",
  4. specs: { doors: 0, wheels: 2, fuel_type: "unleaded" } }
  5. { _id: 3, type: "jet ski", vehicle_type: "jet ski",
  6. specs: { fuel_type: "unleaded" } }

bucket

聚合阶段。将输入记录根据给定的条件和边界划分成不同的组,每组即一个 bucket

API 说明

每组分别作为一个记录输出,包含一个以下界为值的 _id 字段和一个以组中记录数为值的 count 字段。count 在没有指定 output 的时候是默认输出的。

bucket 只会在组内有至少一个记录的时候输出。

bucket 的形式如下:

  1. bucket({
  2. groupBy: <expression>,
  3. boundaries: [<lowerbound1>, <lowerbound2>, ...],
  4. default: <literal>,
  5. output: {
  6. <output1>: <accumulator expr>,
  7. ...
  8. <outputN>: <accumulator expr>
  9. }
  10. })

groupBy 是一个用以决定分组的表达式,会应用在各个输入记录上。可以用 $ 前缀加上要用以分组的字段路径来作为表达式。除非用 default 指定了默认值,否则每个记录都需要包含指定的字段,且字段值必须在 boundaries 指定的范围之内。

boundaries 是一个数组,每个元素分别是每组的下界。必须至少指定两个边界值。数组值必须是同类型递增的值。

default 可选,指定之后,没有进入任何分组的记录将都进入一个默认分组,这个分组记录的 _id 即由 default 决定。default 的值必须小于 boundaries 中的最小值或大于等于其中的最大值。default 的值可以与 boundaries 元素值类型不同。

output 可选,用以决定输出记录除了 _id 外还要包含哪些字段,各个字段的值必须用累加器表达式指定。当 output 指定时,默认的 count 是不会被默认输出的,必须手动指定:

  1. output: {
  2. count: $.sum(1),
  3. ...
  4. <outputN>: <accumulator expr>
  5. }

使用 bucket 需要满足以下至少一个条件,否则会抛出错误:

每一个输入记录应用 groupBy 表达式获取的值都必须是一个在 boundaries 内的值

指定一个 default 值,该值在 boundaries 以外,或与 boundaries 元素的值不同的类型。

示例

假设集合 items 有如下记录:

  1. {
  2. _id: "1",
  3. price: 10
  4. }
  5. {
  6. _id: "2",
  7. price: 50
  8. }
  9. {
  10. _id: "3",
  11. price: 20
  12. }
  13. {
  14. _id: "4",
  15. price: 80
  16. }
  17. {
  18. _id: "5",
  19. price: 200
  20. }

对上述记录进行分组,将 [0, 50) 分为一组,[50, 100) 分为一组,其他分为一组:

  1. const $ = db.command.aggregate
  2. db.collection('items').aggregate()
  3. .bucket({
  4. groupBy: '$price',
  5. boundaries: [0, 50, 100],
  6. default: 'other',
  7. output: {
  8. count: $.sum(),
  9. ids: $.push('$_id')
  10. }
  11. })
  12. .end()

返回结果如下:

  1. [
  2. {
  3. "_id": 0,
  4. "count": 2,
  5. "ids": [
  6. "1",
  7. "3"
  8. ]
  9. },
  10. {
  11. "_id": 50,
  12. "count": 2,
  13. "ids": [
  14. "2",
  15. "4"
  16. ]
  17. },
  18. {
  19. "_id": "other",
  20. "count": 22,
  21. "ids": [
  22. "5"
  23. ]
  24. }
  25. ]

bucketAuto

聚合阶段。将输入记录根据给定的条件划分成不同的组,每组即一个 bucket。与 bucket 的其中一个不同之处在于无需指定 boundariesbucketAuto 会自动尝试将记录尽可能平均的分散到每组中。

API 说明每组分别作为一个记录输出,包含一个以包含组中最大值和最小值两个字段的对象为值的 _id 字段和一个以组中记录数为值的 count 字段。count 在没有指定 output 的时候是默认输出的。

bucketAuto 的形式如下:

  1. bucketAuto({
  2. groupBy: <expression>,
  3. buckets: <number>,
  4. granularity: <string>,
  5. output: {
  6. <output1>: <accumulator expr>,
  7. ...
  8. <outputN>: <accumulator expr>
  9. }
  10. })

groupBy 是一个用以决定分组的表达式,会应用在各个输入记录上。可以用 $ 前缀加上要用以分组的字段路径来作为表达式。除非用 default 指定了默认值,否则每个记录都需要包含指定的字段,且字段值必须在 boundaries 指定的范围之内。

buckets 是一个用于指定划分组数的正整数。

granularity 是可选枚举值字符串,用于保证自动计算出的边界符合给定的规则。这个字段仅可在所有 groupBy 值都是数字并且没有 NaN 的情况下使用。枚举值包括:R5、R10、R20、R40、R80、1-2-5、E6、E12、E24、E48、E96、E192、POWERSOF2

output 可选,用以决定输出记录除了 _id 外还要包含哪些字段,各个字段的值必须用累加器表达式指定。当 output 指定时,默认的 count 是不会被默认输出的,必须手动指定:

  1. output: {
  2. count: $.sum(1),
  3. ...
  4. <outputN>: <accumulator expr>
  5. }

在以下情况中,输出的分组可能会小于给定的组数:

输入记录数少于分组数

  • groupBy 计算得到的唯一值少于分组数
  • granularity 的间距少于分组数
  • granularity 不够精细以至于不能平均分配到各组

granularity 详细说明

granularity 用于保证边界值属于一个给定的数字序列。

Renard 序列

Renard 序列是以 10 的 5 / 10 / 20 / 40 / 80 次方根来推导的、在 1.0 到 10.0 (如果是 R80 则是 10.3) 之间的数字序列。

设置 granularity 为 R5 / R10 / R20 / R40 / R80 就把边界值限定在序列内。如果 groupBy 的值不在 1.0 到 10.0 (如果是 R80 则是 10.3) 内,则序列数字会自动乘以 10。

E 序列

E 序列是以 10 的 6 / 12 / 24 / 48 / 96 / 192 次方跟来推导的、带有一个特定误差的、在 1.0 到 10.0 之间的数字序列。

1-2-5 序列

1-2-5 序列 表现与三值 Renard 序列一样。

2的次方序列

由 2 的各次方组成的序列数字。

示例

假设集合 items 有如下记录:

  1. {
  2. _id: "1",
  3. price: 10.5
  4. }
  5. {
  6. _id: "2",
  7. price: 50.3
  8. }
  9. {
  10. _id: "3",
  11. price: 20.8
  12. }
  13. {
  14. _id: "4",
  15. price: 80.2
  16. }
  17. {
  18. _id: "5",
  19. price: 200.3
  20. }

对上述记录进行自动分组,分成三组:

  1. const $ = db.command.aggregate
  2. db.collection('items').aggregate()
  3. .bucket({
  4. groupBy: '$price',
  5. buckets: 3,
  6. })
  7. .end()

返回结果如下:

  1. {
  2. "_id": {
  3. "min": 10.5,
  4. "max": 50.3
  5. },
  6. "count": 2
  7. }
  8. {
  9. "_id": {
  10. "min": 50.3,
  11. "max": 200.3
  12. },
  13. "count": 2
  14. }
  15. {
  16. "_id": {
  17. "min": 200.3,
  18. "max": 200.3
  19. },
  20. "count": 1
  21. }

count

聚合阶段。计算上一聚合阶段输入到本阶段的记录数,输出一个记录,其中指定字段的值为记录数。

API 说明

count 的形式如下:

  1. count(<string>)
是输出记录数的字段的名字,不能是空字符串,不能以 $ 开头,不能包含 . 字符。

count 阶段等同于 group + project 的操作:

  1. const $ = db.command.aggregate
  2. db.collection('items').aggregate()
  3. .group({
  4. _id: null,
  5. count: $.sum(1),
  6. })
  7. .project({
  8. _id: 0,
  9. })
  10. .end()

上述操作会输出一个包含 count 字段的记录。

示例

假设集合 items 有如下记录:

  1. {
  2. _id: "1",
  3. price: 10.5
  4. }
  5. {
  6. _id: "2",
  7. price: 50.3
  8. }
  9. {
  10. _id: "3",
  11. price: 20.8
  12. }
  13. {
  14. _id: "4",
  15. price: 80.2
  16. }
  17. {
  18. _id: "5",
  19. price: 200.3
  20. }

找出价格大于 50 的记录数:

  1. const $ = db.command.aggregate
  2. db.collection('items').aggregate()
  3. .match({
  4. price: $.gt(50)
  5. })
  6. .count('expensiveCount')
  7. .end()

返回结果如下:

  1. {
  2. "expensiveCount": 3
  3. }

group

聚合阶段。将输入记录按给定表达式分组,输出时每个记录代表一个分组,每个记录的 _id 是区分不同组的 key。输出记录中也可以包括累计值,将输出字段设为累计值即会从该分组中计算累计值。

API 说明

group 的形式如下:

  1. group({
  2. _id: <expression>,
  3. <field1>: <accumulator1>,
  4. ...
  5. <fieldN>: <accumulatorN>
  6. })

_id 参数是必填的,如果填常量则只有一组。其他字段是可选的,都是累计值,用 $.sum 等累计器(const $ = db.command.aggregate),但也可以使用其他表达式。

累计器必须是以下操作符之一:

详细使用方法见累计器操作符

操作符说明
addToSet向数组中添加值,如果数组中已存在该值,不执行任何操作
avg返回一组集合中,指定字段对应数据的平均值
sum计算并且返回一组字段所有数值的总和
first返回指定字段在一组集合的第一条记录对应的值。仅当这组集合是按照某种定义排序( sort )后,此操作才有意义。
last返回指定字段在一组集合的最后一条记录对应的值。仅当这组集合是按照某种定义排序( sort )后,此操作才有意义。
max返回一组数值的最大值
min返回一组数值的最小值
push在 group 阶段,返回一组中表达式指定列与对应的值,一起组成的数组
stdDevPop返回一组字段对应值的标准差
stdDevSamp计算输入值的样本标准偏差。如果输入值代表数据总体,或者不概括更多的数据,请改用 db.command.aggregate.stdDevPop
mergeObjects将多个文档合并为单个文档

内存限制

该阶段有 100M 内存使用限制。

示例 1:按字段值分组

假设集合 avatar 有如下记录:

  1. {
  2. _id: "1",
  3. alias: "john",
  4. region: "asia",
  5. scores: [40, 20, 80],
  6. coins: 100
  7. }
  8. {
  9. _id: "2",
  10. alias: "arthur",
  11. region: "europe",
  12. scores: [60, 90],
  13. coins: 20
  14. }
  15. {
  16. _id: "3",
  17. alias: "george",
  18. region: "europe",
  19. scores: [50, 70, 90],
  20. coins: 50
  21. }
  22. {
  23. _id: "4",
  24. alias: "john",
  25. region: "asia",
  26. scores: [30, 60, 100, 90],
  27. coins: 40
  28. }
  29. {
  30. _id: "5",
  31. alias: "george",
  32. region: "europe",
  33. scores: [20],
  34. coins: 60
  35. }
  36. {
  37. _id: "6",
  38. alias: "john",
  39. region: "asia",
  40. scores: [40, 80, 70],
  41. coins: 120
  42. }
  1. const $ = db.command.aggregate
  2. db.collection('avatar').aggregate()
  3. .group({
  4. _id: '$alias',
  5. num: $.sum(1)
  6. })
  7. .end()

返回结果如下:

  1. {
  2. "_id": "john",
  3. "num": 3
  4. }
  5. {
  6. "_id": "authur",
  7. "num": 1
  8. }
  9. {
  10. "_id": "george",
  11. "num": 2
  12. }

示例 2:按多个值分组

可以给 _id 传入记录的方式按多个值分组。还是沿用上面的示例数据,按各个区域(region)获得相同最高分(score)的来分组,并求出各组虚拟币(coins)的总量:

  1. const $ = db.command.aggregate
  2. db.collection('avatar').aggregate()
  3. .group({
  4. _id: {
  5. region: '$region',
  6. maxScore: $.max('$scores')
  7. },
  8. totalCoins: $.sum('$coins')
  9. })
  10. .end()

返回结果如下:

  1. {
  2. "_id": {
  3. "region": "asia",
  4. "maxScore": 80
  5. },
  6. "totalCoins": 220
  7. }
  8. {
  9. "_id": {
  10. "region": "asia",
  11. "maxScore": 100
  12. },
  13. "totalCoins": 100
  14. }
  15. {
  16. "_id": {
  17. "region": "europe",
  18. "maxScore": 90
  19. },
  20. "totalCoins": 70
  21. }
  22. {
  23. "_id": {
  24. "region": "europe",
  25. "maxScore": 20
  26. },
  27. "totalCoins": 60
  28. }

limit

聚合阶段。限制输出到下一阶段的记录数。

示例

假设集合 items 有如下记录:

  1. {
  2. _id: "1",
  3. price: 10
  4. }
  5. {
  6. _id: "2",
  7. price: 50
  8. }
  9. {
  10. _id: "3",
  11. price: 20
  12. }
  13. {
  14. _id: "4",
  15. price: 80
  16. }
  17. {
  18. _id: "5",
  19. price: 200
  20. }

返回价格大于 20 的记录的最小的两个记录:

  1. const $ = db.command.aggregate
  2. db.collection('items').aggregate()
  3. .match({
  4. price: $.gt(20)
  5. })
  6. .sort({
  7. price: 1,
  8. })
  9. .limit(2)
  10. .end()

返回结果如下:

  1. {
  2. "_id": "3",
  3. "price": 20
  4. }
  5. {
  6. "_id": "4",
  7. "price": 80
  8. }

lookup

聚合阶段。联表查询。与同个数据库下的一个指定的集合做 left outer join(左外连接)。对该阶段的每一个输入记录,lookup 会在该记录中增加一个数组字段,该数组是被联表中满足匹配条件的记录列表。lookup 会将连接后的结果输出给下个阶段。

API 说明

lookup 有两种使用方式

相等匹配

将输入记录的一个字段和被连接集合的一个字段进行相等匹配时,采用以下定义:

  1. lookup({
  2. from: <要连接的集合名>,
  3. localField: <输入记录的要进行相等匹配的字段>,
  4. foreignField: <被连接集合的要进行相等匹配的字段>,
  5. as: <输出的数组字段名>
  6. })

参数详细说明

参数字段说明
from要进行连接的另外一个集合的名字
localField当前流水线的输入记录的字段名,该字段将被用于与 from 指定的集合的 foreignField 进行相等匹配。如果输入记录中没有该字段,则该字段的值在匹配时会被视作 null
foreignField被连接集合的字段名,该字段会被用于与 localField 进行相等匹配。如果被连接集合的记录中没有该字段,该字段的值将在匹配时被视作 null
as指定连接匹配出的记录列表要存放的字段名,这个数组包含的是匹配出的来自 from 集合的记录。如果输入记录中本来就已有该字段,则该字段会被覆写

这个操作等价于以下伪 SQL 操作:

  1. SELECT *, <output array field>
  2. FROM collection
  3. WHERE <output array field> IN (SELECT *
  4. FROM <collection to join>
  5. WHERE <foreignField>= <collection.localField>);

例子:

  • 指定一个相等匹配条件
  • 对数组字段应用相等匹配
  • 组合 mergeObjects 应用相等匹配

自定义连接条件、拼接子查询

此用法阿里云暂不支持

如果需要指定除相等匹配之外的连接条件,或指定多个相等匹配条件,或需要拼接被连接集合的子查询结果,那可以使用如下定义:

  1. lookup({
  2. from: <要连接的集合名>,
  3. let: { <变量1>: <表达式1>, ..., <变量n>: <表达式n> },
  4. pipeline: [ <在要连接的集合上进行的流水线操作> ],
  5. as: <输出的数组字段名>
  6. })

参数详细说明

参数字段说明
from要进行连接的另外一个集合的名字
let可选。指定在 pipeline 中可以使用的变量,变量的值可以引用输入记录的字段,比如 let: { userName: '$name' } 就代表将输入记录的 name 字段作为变量 userName 的值。在 pipeline 中无法直接访问输入记录的字段,必须通过 let 定义之后才能访问,访问的方式是在 expr 操作符中用 $$变量名 的方式访问,比如 $$userName。
pipeline指定要在被连接集合中运行的聚合操作。如果要返回整个集合,则该字段取值空数组 []。在 pipeline 中无法直接访问输入记录的字段,必须通过 let 定义之后才能访问,访问的方式是在 expr 操作符中用 $$变量名 的方式访问,比如 $$userName。
as指定连接匹配出的记录列表要存放的字段名,这个数组包含的是匹配出的来自 from 集合的记录。如果输入记录中本来就已有该字段,则该字段会被覆写

该操作等价于以下伪 SQL 语句:

  1. SELECT *, <output array field>
  2. FROM collection
  3. WHERE <output array field> IN (SELECT <documents as determined from the pipeline>
  4. FROM <collection to join>
  5. WHERE <pipeline> );

例子

  • 指定多个连接条件
  • 拼接被连接集合的子查询

示例

指定一个相等匹配条件

假设 orders 集合有以下记录:

  1. [
  2. {"_id":4,"book":"novel 1","price":30,"quantity":2},
  3. {"_id":5,"book":"science 1","price":20,"quantity":1},
  4. {"_id":6}
  5. ]

books 集合有以下记录:

  1. [
  2. {"_id":"book1","author":"author 1","category":"novel","stock":10,"time":1564456048486,"title":"novel 1"},
  3. {"_id":"book3","author":"author 3","category":"science","stock":30,"title":"science 1"},
  4. {"_id":"book4","author":"author 3","category":"science","stock":40,"title":"science 2"},
  5. {"_id":"book2","author":"author 2","category":"novel","stock":20,"title":"novel 2"},
  6. {"_id":"book5","author":"author 4","category":"science","stock":50,"title":null},
  7. {"_id":"book6","author":"author 5","category":"novel","stock":"60"}
  8. ]

以下聚合操作可以通过一个相等匹配条件连接 ordersbooks 集合,匹配的字段是 orders 集合的 book 字段和 books 集合的 title 字段:

  1. const db = cloud.database()
  2. db.collection('orders').aggregate()
  3. .lookup({
  4. from: 'books',
  5. localField: 'book',
  6. foreignField: 'title',
  7. as: 'bookList',
  8. })
  9. .end()
  10. .then(res => console.log(res))
  11. .catch(err => console.error(err))

结果:

  1. [
  2. {
  3. "_id": 4,
  4. "book": "novel 1",
  5. "price": 30,
  6. "quantity": 2,
  7. "bookList": [
  8. {
  9. "_id": "book1",
  10. "title": "novel 1",
  11. "author": "author 1",
  12. "category": "novel",
  13. "stock": 10
  14. }
  15. ]
  16. },
  17. {
  18. "_id": 5,
  19. "book": "science 1",
  20. "price": 20,
  21. "quantity": 1,
  22. "bookList": [
  23. {
  24. "_id": "book3",
  25. "category": "science",
  26. "title": "science 1",
  27. "author": "author 3",
  28. "stock": 30
  29. }
  30. ]
  31. },
  32. {
  33. "_id": 6,
  34. "bookList": [
  35. {
  36. "_id": "book5",
  37. "category": "science",
  38. "author": "author 4",
  39. "stock": 50,
  40. "title": null
  41. },
  42. {
  43. "_id": "book6",
  44. "author": "author 5",
  45. "stock": "60",
  46. "category": "novel"
  47. }
  48. ]
  49. }
  50. ]

对数组字段应用相等匹配假设 authors 集合有以下记录:

  1. [
  2. {"_id": 1, "name": "author 1", "intro": "Two-time best-selling sci-fiction novelist"},
  3. {"_id": 3, "name": "author 3", "intro": "UCB assistant professor"},
  4. {"_id": 4, "name": "author 4", "intro": "major in CS"}
  5. ]

books 集合有以下记录:

  1. [
  2. {"_id":"book1","authors":["author 1"],"category":"novel","stock":10,"time":1564456048486,"title":"novel 1"},
  3. {"_id":"book3","authors":["author 3", "author 4"],"category":"science","stock":30,"title":"science 1"},
  4. {"_id":"book4","authors":["author 3"],"category":"science","stock":40,"title":"science 2"}
  5. ]

以下操作获取作者信息及他们分别发表的书籍,使用了 lookup 操作匹配 authors 集合的 name 字段和 books 集合的 authors 数组字段:

  1. const db = cloud.database()
  2. db.collection('authors').aggregate()
  3. .lookup({
  4. from: 'books',
  5. localField: 'name',
  6. foreignField: 'authors',
  7. as: 'publishedBooks',
  8. })
  9. .end()
  10. .then(res => console.log(res))
  11. .catch(err => console.error(err))

结果

  1. [
  2. {
  3. "_id": 1,
  4. "intro": "Two-time best-selling sci-fiction novelist",
  5. "name": "author 1",
  6. "publishedBooks": [
  7. {
  8. "_id": "book1",
  9. "title": "novel 1",
  10. "category": "novel",
  11. "stock": 10,
  12. "authors": [
  13. "author 1"
  14. ]
  15. }
  16. ]
  17. },
  18. {
  19. "_id": 3,
  20. "name": "author 3",
  21. "intro": "UCB assistant professor",
  22. "publishedBooks": [
  23. {
  24. "_id": "book3",
  25. "category": "science",
  26. "title": "science 1",
  27. "stock": 30,
  28. "authors": [
  29. "author 3",
  30. "author 4"
  31. ]
  32. },
  33. {
  34. "_id": "book4",
  35. "title": "science 2",
  36. "category": "science",
  37. "stock": 40,
  38. "authors": [
  39. "author 3"
  40. ]
  41. }
  42. ]
  43. },
  44. {
  45. "_id": 4,
  46. "intro": "major in CS",
  47. "name": "author 4",
  48. "publishedBooks": [
  49. {
  50. "_id": "book3",
  51. "category": "science",
  52. "title": "science 1",
  53. "stock": 30,
  54. "authors": [
  55. "author 3",
  56. "author 4"
  57. ]
  58. }
  59. ]
  60. }
  61. ]

组合 mergeObjects 应用相等匹配

假设 orders 集合有以下记录:

  1. [
  2. {"_id":4,"book":"novel 1","price":30,"quantity":2},
  3. {"_id":5,"book":"science 1","price":20,"quantity":1},
  4. {"_id":6}
  5. ]

books 集合有以下记录:

  1. [
  2. {"_id":"book1","author":"author 1","category":"novel","stock":10,"time":1564456048486,"title":"novel 1"},
  3. {"_id":"book3","author":"author 3","category":"science","stock":30,"title":"science 1"},
  4. {"_id":"book4","author":"author 3","category":"science","stock":40,"title":"science 2"},
  5. {"_id":"book2","author":"author 2","category":"novel","stock":20,"title":"novel 2"},
  6. {"_id":"book5","author":"author 4","category":"science","stock":50,"title":null},
  7. {"_id":"book6","author":"author 5","category":"novel","stock":"60"}
  8. ]

以下操作匹配 orders 的 book 字段和 books 的 title 字段,并将 books 匹配结果直接 merge 到 orders 记录中。

  1. var db = cloud.database()
  2. var $ = db.command.aggregate
  3. db.collection('orders').aggregate()
  4. .lookup({
  5. from: "books",
  6. localField: "book",
  7. foreignField: "title",
  8. as: "bookList"
  9. })
  10. .replaceRoot({
  11. newRoot: $.mergeObjects([ $.arrayElemAt(['$bookList', 0]), '$$ROOT' ])
  12. })
  13. .project({
  14. bookList: 0
  15. })
  16. .end()
  17. .then(res => console.log(res))
  18. .catch(err => console.error(err))

结果

  1. [
  2. {
  3. "_id": 4,
  4. "title": "novel 1",
  5. "author": "author 1",
  6. "category": "novel",
  7. "stock": 10,
  8. "book": "novel 1",
  9. "price": 30,
  10. "quantity": 2
  11. },
  12. {
  13. "_id": 5,
  14. "category": "science",
  15. "title": "science 1",
  16. "author": "author 3",
  17. "stock": 30,
  18. "book": "science 1",
  19. "price": 20,
  20. "quantity": 1
  21. },
  22. {
  23. "_id": 6,
  24. "category": "science",
  25. "author": "author 4",
  26. "stock": 50,
  27. "title": null
  28. }
  29. ]

指定多个连接条件

假设 orders 集合有以下记录:

  1. [
  2. {"_id":4,"book":"novel 1","price":300,"quantity":20},
  3. {"_id":5,"book":"science 1","price":20,"quantity":1}
  4. ]

books 集合有以下记录:

  1. [
  2. {"_id":"book1","author":"author 1","category":"novel","stock":10,"time":1564456048486,"title":"novel 1"},
  3. {"_id":"book3","author":"author 3","category":"science","stock":30,"title":"science 1"}
  4. ]

以下操作连接 ordersbooks 集合,要求两个条件:

  • orders 的 book 字段与 books 的 title 字段相等
  • orders 的 quantity 字段大于或等于 books 的 stock 字段
  1. const db = cloud.database()
  2. const $ = db.command.aggregate
  3. db.collection('orders').aggregate()
  4. .lookup({
  5. from: 'books',
  6. let: {
  7. order_book: '$book',
  8. order_quantity: '$quantity'
  9. },
  10. pipeline: $.pipeline()
  11. .match(_.expr($.and([
  12. $.eq(['$title', '$$order_book']),
  13. $.gte(['$stock', '$$order_quantity'])
  14. ])))
  15. .project({
  16. _id: 0,
  17. title: 1,
  18. author: 1,
  19. stock: 1
  20. })
  21. .done(),
  22. as: 'bookList',
  23. })
  24. .end()
  25. .then(res => console.log(res))
  26. .catch(err => console.error(err))

结果:

  1. [
  2. {
  3. "_id": 4,
  4. "book": "novel 1",
  5. "price": 300,
  6. "quantity": 20,
  7. "bookList": []
  8. },
  9. {
  10. "_id": 5,
  11. "book": "science 1",
  12. "price": 20,
  13. "quantity": 1,
  14. "bookList": [
  15. {
  16. "title": "science 1",
  17. "author": "author 3",
  18. "stock": 30
  19. }
  20. ]
  21. }
  22. ]

拼接被连接集合的子查询

假设 orders 集合有以下记录:

  1. [
  2. {"_id":4,"book":"novel 1","price":30,"quantity":2},
  3. {"_id":5,"book":"science 1","price":20,"quantity":1}
  4. ]

books 集合有以下记录:

  1. [
  2. {"_id":"book1","author":"author 1","category":"novel","stock":10,"time":1564456048486,"title":"novel 1"},
  3. {"_id":"book3","author":"author 3","category":"science","stock":30,"title":"science 1"},
  4. {"_id":"book4","author":"author 3","category":"science","stock":40,"title":"science 2"}
  5. ]

在每条输出记录上加上一个数组字段,该数组字段的值是对 books 集合的一个查询语句的结果:

  1. const db = cloud.database()
  2. const $ = db.command.aggregate
  3. db.collection('orders').aggregate()
  4. .lookup({
  5. from: 'books',
  6. let: {
  7. order_book: '$book',
  8. order_quantity: '$quantity'
  9. },
  10. pipeline: $.pipeline()
  11. .match({
  12. author: 'author 3'
  13. })
  14. .project({
  15. _id: 0,
  16. title: 1,
  17. author: 1,
  18. stock: 1
  19. })
  20. .done(),
  21. as: 'bookList',
  22. })
  23. .end()
  24. .then(res => console.log(res))
  25. .catch(err => console.error(err))

结果

  1. [
  2. {
  3. "_id": 4,
  4. "book": "novel 1",
  5. "price": 30,
  6. "quantity": 20,
  7. "bookList": [
  8. {
  9. "title": "science 1",
  10. "author": "author 3",
  11. "stock": 30
  12. },
  13. {
  14. "title": "science 2",
  15. "author": "author 3",
  16. "stock": 40
  17. }
  18. ]
  19. },
  20. {
  21. "_id": 5,
  22. "book": "science 1",
  23. "price": 20,
  24. "quantity": 1,
  25. "bookList": [
  26. {
  27. "title": "science 1",
  28. "author": "author 3",
  29. "stock": 30
  30. },
  31. {
  32. "title": "science 2",
  33. "author": "author 3",
  34. "stock": 40
  35. }
  36. ]
  37. }
  38. ]

match

聚合阶段。根据条件过滤文档,并且把符合条件的文档传递给下一个流水线阶段。

API 说明

match 的形式如下:

  1. match(<查询条件>)

查询条件与普通查询一致,可以用普通查询操作符,注意 match 阶段和其他聚合阶段不同,不可使用聚合操作符,只能使用查询操作符。

  1. // 直接使用字符串
  2. match({
  3. name: 'Tony Stark'
  4. })
  1. // 使用操作符
  2. const _ = db.command
  3. match({
  4. age: _.gt(18)
  5. })

示例

假设集合 articles 有如下记录:

  1. { "_id" : "1", "author" : "stark", "score" : 80 }
  2. { "_id" : "2", "author" : "stark", "score" : 85 }
  3. { "_id" : "3", "author" : "bob", "score" : 60 }
  4. { "_id" : "4", "author" : "li", "score" : 55 }
  5. { "_id" : "5", "author" : "jimmy", "score" : 60 }
  6. { "_id" : "6", "author" : "li", "score" : 94 }
  7. { "_id" : "7", "author" : "justan", "score" : 95 }

匹配

下面是一个直接匹配的例子:

  1. db.collection('articles')
  2. .aggregate()
  3. .match({
  4. author: 'stark'
  5. })
  6. .end()

这里的代码尝试找到所有 author 字段是 stark 的文章,那么匹配如下:

  1. { "_id" : "1", "author" : "stark", "score" : 80 }
  2. { "_id" : "2", "author" : "stark", "score" : 85 }

计数

match 过滤出文档后,还可以与其他流水线阶段配合使用。

比如下面这个例子,我们使用 group 进行搭配,计算 score 字段大于 80 的文档数量:

  1. const _ = db.command
  2. const $ = _.aggregate
  3. db.collection('articles')
  4. .aggregate()
  5. .match({
  6. score: _.gt(80)
  7. })
  8. .group({
  9. _id: null,
  10. count: $.sum(1)
  11. })
  12. .end()

返回值如下:

  1. { "_id" : null, "count" : 3 }

project

聚合阶段。把指定的字段传递给下一个流水线,指定的字段可以是某个已经存在的字段,也可以是计算出来的新字段。

API 说明

project 的形式如下:

  1. project({
  2. <表达式>
  3. })

表达式可以有以下格式:

格式说明
<字段>: <1 或 true>指定包含某个已有字段
_id: <0 或 false>舍弃 _id 字段
<字段>: <表达式>加入一个新字段,或者重置某个已有字段
<字段>: <0 或 false>舍弃某个字段(如果你指定舍弃了某个非 _id 字段,那么在此次 project 中,你不能再使用其它表达式)

指定包含字段

_id 字段是默认包含在输出中的,除此之外其他任何字段,如果想要在输出中体现的话,必须在 project 中指定; 如果指定包含一个尚不存在的字段,那么 project 会忽略这个字段,不会加入到输出的文档中;

指定排除字段

如果你在 project 中指定排除某个字段,那么其它字段都会体现在输出中; 如果指定排除的是非 _id 字段,那么在本次 project 中,不能再使用其它表达式;

加入新的字段或重置某个已有字段

你可以使用一些特殊的表达式加入新的字段,或重置某个已有字段。

多层嵌套的字段

有时有些字段处于多层嵌套的底层,我们可以使用点记法:

  1. "contact.phone.number": <1 or 0 or 表达式>

也可以直接使用嵌套的格式:

  1. contact: { phone: { number: <1 or 0 or 表达式> } }

示例

假设我们有一个 articles 集合,其中含有以下文档:

  1. {
  2. "_id": 666,
  3. "title": "This is title",
  4. "author": "Nobody",
  5. "isbn": "123456789",
  6. "introduction": "......"
  7. }

指定包含某些字段

下面的代码使用 project,让输出只包含 _id、title 和 author 字段:

  1. db.collection('articles')
  2. .aggregate()
  3. .project({
  4. title: 1,
  5. author: 1
  6. })
  7. .end()

输出如下:

  1. { "_id" : 666, "title" : "This is title", "author" : "Nobody" }

去除输出中的 _id 字段

_id 是默认包含在输出中的,如果不想要它,可以指定去除它:

  1. db.collection('articles')
  2. .aggregate()
  3. .project({
  4. _id: 0, // 指定去除 _id 字段
  5. title: 1,
  6. author: 1
  7. })
  8. .end()

输出如下:

  1. { "title" : "This is title", "author" : "Nobody" }

去除某个非 _id 字段

我们还可以指定在输出中去掉某个非 _id 字段,这样其它字段都会被输出:

  1. db.collection('articles')
  2. .aggregate()
  3. .project({
  4. isbn: 0, // 指定去除 isbn 字段
  5. })
  6. .end()

输出如下,相比输入,没有了 isbn 字段:

  1. {
  2. "_id" : 666,
  3. "title" : "This is title",
  4. "author" : "Nobody",
  5. "introduction": "......"
  6. }

加入计算出的新字段

假设我们有一个 students 集合,其中包含以下文档:

  1. {
  2. "_id": 1,
  3. "name": "小明",
  4. "scores": {
  5. "chinese": 80,
  6. "math": 90,
  7. "english": 70
  8. }
  9. }

下面的代码,我们使用 project,在输出中加入了一个新的字段 totalScore:

  1. const { sum } = db.command.aggregate
  2. db.collection('students')
  3. .aggregate()
  4. .project({
  5. _id: 0,
  6. name: 1,
  7. totalScore: sum([
  8. "$scores.chinese",
  9. "$scores.math",
  10. "$scores.english"
  11. ])
  12. })
  13. .end()

输出为:

  1. { "name": "小明", "totalScore": 240 }

加入新的数组字段

假设我们有一个 points 集合,包含以下文档:

  1. { "_id": 1, "x": 1, "y": 1 }
  2. { "_id": 2, "x": 2, "y": 2 }
  3. { "_id": 3, "x": 3, "y": 3 }

下面的代码,我们使用 project,把 x 和 y 字段,放入到一个新的数组字段 coordinate 中:

  1. db.collection('points')
  2. .aggregate()
  3. .project({
  4. coordinate: ["$x", "$y"]
  5. })
  6. .end()

输出如下:

  1. { "_id": 1, "coordinate": [1, 1] }
  2. { "_id": 2, "coordinate": [2, 2] }
  3. { "_id": 3, "coordinate": [3, 3] }

replaceRoot

聚合阶段。指定一个已有字段作为输出的根节点,也可以指定一个计算出的新字段作为根节点。

API 说明

replaceRoot 使用形式如下:

  1. replaceRoot({
  2. newRoot: <表达式>
  3. })

表达式格式如下:

格式说明
<字段名>指定一个已有字段作为输出的根节点(如果字段不存在则报错)
<对象>计算一个新字段,并且把这个新字段作为根节点

示例

使用已有字段作为根节点

假设我们有一个 schools 集合,内容如下:

  1. {
  2. "_id": 1,
  3. "name": "SFLS",
  4. "teachers": {
  5. "chinese": 22,
  6. "math": 18,
  7. "english": 21,
  8. "other": 123
  9. }
  10. }

下面的代码使用 replaceRoot,把 teachers 字段作为根节点输出:

  1. db.collection('schools')
  2. .aggregate()
  3. .replaceRoot({
  4. newRoot: '$teachers'
  5. })
  6. .end()

输出如下:

  1. {
  2. "chinese": 22,
  3. "math": 18,
  4. "english": 21,
  5. "other": 123
  6. }

使用计算出的新字段作为根节点

假设我们有一个 roles 集合,内容如下:

  1. { "_id": 1, "first_name": "四郎", "last_name": "黄" }
  2. { "_id": 2, "first_name": "邦德", "last_name": "马" }
  3. { "_id": 3, "first_name": "牧之", "last_name": "张" }

下面的代码使用 replaceRoot,把 first_name 和 last_name 拼在一起:

  1. const { concat } = db.command.aggregate
  2. db.collection('roles')
  3. .aggregate()
  4. .replaceRoot({
  5. newRoot: {
  6. full_name: concat(['$last_name', '$first_name'])
  7. }
  8. })
  9. .end()

输出如下:

  1. { "full_name": "黄四郎" }
  2. { "full_name": "马邦德" }
  3. { "full_name": "张牧之" }

sample

聚合阶段。随机从文档中选取指定数量的记录。

API 说明

sample 的形式如下:

  1. sample({
  2. size: <正整数>
  3. })

请注意:size 是正整数,否则会出错。

示例

假设文档 users 有以下记录:

  1. { "name": "a" }
  2. { "name": "b" }

随机选取

如果现在进行抽奖活动,需要选出一名幸运用户。那么 sample 的调用方式如下:

  1. db.collection('users')
  2. .aggregate()
  3. .sample({
  4. size: 1
  5. })
  6. .end()

返回了随机选中的一个用户对应的记录,结果如下:

  1. { "_id": "696529e4-7e82-4e7f-812e-5144714edff6", "name": "b" }

skip

聚合阶段。指定一个正整数,跳过对应数量的文档,输出剩下的文档。

示例

  1. db.collection('users')
  2. .aggregate()
  3. .skip(5)
  4. .end()

这段代码会跳过查找到的前 5 个文档,并且把剩余的文档输出。

sort

聚合阶段。根据指定的字段,对输入的文档进行排序。

API 说明

形式如下:

  1. sort({
  2. <字段名1>: <排序规则>,
  3. <字段名2>: <排序规则>,
  4. })

<排序规则>可以是以下取值:

  • 1 代表升序排列(从小到大);
  • -1 代表降序排列(从大到小);

示例

升序/降序排列

假设我们有集合 articles,其中包含数据如下:

  1. { "_id": "1", "author": "stark", "score": 80, "age": 18 }
  2. { "_id": "2", "author": "bob", "score": 60, "age": 18 }
  3. { "_id": "3", "author": "li", "score": 55, "age": 19 }
  4. { "_id": "4", "author": "jimmy", "score": 60, "age": 22 }
  5. { "_id": "5", "author": "justan", "score": 95, "age": 33 }
  1. db.collection('articles')
  2. .aggregate()
  3. .sort({
  4. age: -1,
  5. score: -1
  6. })
  7. .end()

上面的代码在 students 集合中进行聚合搜索,并且将结果排序,首先根据 age 字段降序排列,然后再根据 score 字段进行降序排列。

输出结果如下:

  1. { "_id": "5", "author": "justan", "score": 95, "age": 33 }
  2. { "_id": "4", "author": "jimmy", "score": 60, "age": 22 }
  3. { "_id": "3", "author": "li", "score": 55, "age": 19 }
  4. { "_id": "1", "author": "stark", "score": 80, "age": 18 }
  5. { "_id": "2", "author": "bob", "score": 60, "age": 18 }

sortByCount

聚合阶段。根据传入的表达式,将传入的集合进行分组(group)。然后计算不同组的数量,并且将这些组按照它们的数量进行排序,返回排序后的结果。

API 说明

sortByCount 的调用方式如下:

  1. sortByCount(<表达式>)

表达式的形式是:$ + 指定字段。请注意:不要漏写 $ 符号。

示例

统计基础类型

假设集合 passages 的记录如下:

  1. { "category": "Web" }
  2. { "category": "Web" }
  3. { "category": "Life" }

下面的代码就可以统计文章的分类信息,并且计算每个分类的数量。即对 category 字段执行 sortByCount 聚合操作。

  1. db.collection('passages')
  2. .aggregate()
  3. .sortByCount('$category')
  4. .end()

返回的结果如下所示:Web 分类下有2篇文章,Life 分类下有1篇文章。

  1. { "_id": "Web", "count": 2 }
  2. { "_id": "Life", "count": 1 }

解构数组类型

假设集合 passages 的记录如下:tags 字段对应的值是数组类型。

  1. { "tags": [ "JavaScript", "C#" ] }
  2. { "tags": [ "Go", "C#" ] }
  3. { "tags": [ "Go", "Python", "JavaScript" ] }

如何统计文章的标签信息,并且计算每个标签的数量?因为 tags 字段对应的数组,所以需要借助 unwind 操作解构 tags 字段,然后再调用 sortByCount。

下面的代码实现了这个功能:

  1. db.collection('passages')
  2. .aggregate()
  3. .unwind(`$tags`)
  4. .sortByCount(`$tags`)
  5. .end()

返回的结果如下所示:

  1. { "_id": "Go", "count": 2 }
  2. { "_id": "C#", "count": 2 }
  3. { "_id": "JavaScript", "count": 2 }
  4. { "_id": "Python", "count": 1 }

unwind

聚合阶段。使用指定的数组字段中的每个元素,对文档进行拆分。拆分后,文档会从一个变为一个或多个,分别对应数组的每个元素。

API 说明

使用指定的数组字段中的每个元素,对文档进行拆分。拆分后,文档会从一个变为一个或多个,分别对应数组的每个元素。

unwind 有两种使用形式:

参数是一个字段名

  1. unwind(<字段名>)

参数是一个对象

  1. unwind({
  2. path: <字段名>,
  3. includeArrayIndex: <string>,
  4. preserveNullAndEmptyArrays: <boolean>
  5. })
字段类型说明
pathstring想要拆分的数组的字段名,需要以 $ 开头。
includeArrayIndexstring可选项,传入一个新的字段名,数组索引会保存在这个新的字段上。新的字段名不能以 $ 开头。
preserveNullAndEmptyArraysboolean如果为 true,那么在 path 对应的字段为 null、空数组或者这个字段不存在时,依然会输出这个文档;如果为 false,unwind 将不会输出这些文档。默认为 false。

示例

拆分数组

假设我们有一个 products 集合,包含数据如下:

  1. { "_id": "1", "product": "tshirt", "size": ["S", "M", "L"] }
  2. { "_id": "2", "product": "pants", "size": [] }
  3. { "_id": "3", "product": "socks", "size": null }
  4. { "_id": "4", "product": "trousers", "size": ["S"] }
  5. { "_id": "5", "product": "sweater", "size": ["M", "L"] }

我们根据 size 字段对这些文档进行拆分

  1. db.collection('products')
  2. .aggregate()
  3. .unwind('$size')
  4. .end()

输出如下:

  1. { "_id": "1", "product": "tshirt", "size": "S" }
  2. { "_id": "1", "product": "tshirt", "size": "M" }
  3. { "_id": "1", "product": "tshirt", "size": "L" }
  4. { "_id": "4", "product": "trousers", "size": "S" }
  5. { "_id": "5", "product": "sweater", "size": "M" }
  6. { "_id": "5", "product": "sweater", "size": "L" }

拆分后,保留原数组的索引

我们根据 size 字段对文档进行拆分后,想要保留原数组索引在新的 index 字段中。

  1. db.collection('products')
  2. .aggregate()
  3. .unwind({
  4. path: '$size',
  5. includeArrayIndex: 'index'
  6. })
  7. .end()

输出如下:

  1. { "_id": "1", "product": "tshirt", "size": "S", "index": 0 }
  2. { "_id": "1", "product": "tshirt", "size": "M", "index": 1 }
  3. { "_id": "1", "product": "tshirt", "size": "L", "index": 2 }
  4. { "_id": "4", "product": "trousers", "size": "S", "index": 0 }
  5. { "_id": "5", "product": "sweater", "size": "M", "index": 0 }
  6. { "_id": "5", "product": "sweater", "size": "L", "index": 1 }

保留字段为空的文档

注意到我们的集合中有两行特殊的空值数据:

  1. ...
  2. { "_id": "2", "product": "pants", "size": [] }
  3. { "_id": "3", "product": "socks", "size": null }
  4. ...

如果想要在输出中保留 size 为空数组、null,或者 size 字段不存在的文档,可以使用 preserveNullAndEmptyArrays 参数

  1. db.collection('products')
  2. .aggregate()
  3. .unwind({
  4. path: '$size',
  5. preserveNullAndEmptyArrays: true
  6. })
  7. .end()

输出如下:

  1. { "_id": "1", "product": "tshirt", "size": "S" }
  2. { "_id": "1", "product": "tshirt", "size": "M" }
  3. { "_id": "1", "product": "tshirt", "size": "L" }
  4. { "_id": "2", "product": "pants", "size": null }
  5. { "_id": "3", "product": "socks", "size": null }
  6. { "_id": "4", "product": "trousers", "size": "S" }
  7. { "_id": "5", "product": "sweater", "size": "M" }
  8. { "_id": "5", "product": "sweater", "size": "L" }

end

标志聚合操作定义完成,发起实际聚合操作

返回值

Promise.<Object>

属性类型说明
listArray.<any>聚合结果列表

示例代码

  1. const $ = db.command.aggregate
  2. db.collection('books').aggregate()
  3. .group({
  4. // 按 category 字段分组
  5. _id: '$category',
  6. // 让输出的每组记录有一个 avgSales 字段,其值是组内所有记录的 sales 字段的平均值
  7. avgSales: $.avg('$sales')
  8. })
  9. .end()
  10. .then(res => console.log(res))
  11. .catch(err => console.error(err))