12.2 GroupBy高级应用

尽管我们在第10章已经深度学习了Series和DataFrame的Groupby方法,还有一些方法也是很有用的。

分组转换和“解封”GroupBy

在第10章,我们在分组操作中学习了apply方法,进行转换。还有另一个transform方法,它与apply很像,但是对使用的函数有一定限制:

  • 它可以产生向分组形状广播标量值
  • 它可以产生一个和输入组形状相同的对象
  • 它不能修改输入

来看一个简单的例子:

  1. In [75]: df = pd.DataFrame({'key': ['a', 'b', 'c'] * 4,
  2. ....: 'value': np.arange(12.)})
  3. In [76]: df
  4. Out[76]:
  5. key value
  6. 0 a 0.0
  7. 1 b 1.0
  8. 2 c 2.0
  9. 3 a 3.0
  10. 4 b 4.0
  11. 5 c 5.0
  12. 6 a 6.0
  13. 7 b 7.0
  14. 8 c 8.0
  15. 9 a 9.0
  16. 10 b 10.0
  17. 11 c 11.0

按键进行分组:

  1. In [77]: g = df.groupby('key').value
  2. In [78]: g.mean()
  3. Out[78]:
  4. key
  5. a 4.5
  6. b 5.5
  7. c 6.5
  8. Name: value, dtype: float64

假设我们想产生一个和df[‘value’]形状相同的Series,但值替换为按键分组的平均值。我们可以传递函数lambda x: x.mean()进行转换:

  1. In [79]: g.transform(lambda x: x.mean())
  2. Out[79]:
  3. 0 4.5
  4. 1 5.5
  5. 2 6.5
  6. 3 4.5
  7. 4 5.5
  8. 5 6.5
  9. 6 4.5
  10. 7 5.5
  11. 8 6.5
  12. 9 4.5
  13. 10 5.5
  14. 11 6.5
  15. Name: value, dtype: float64

对于内置的聚合函数,我们可以传递一个字符串假名作为GroupBy的agg方法:

  1. In [80]: g.transform('mean')
  2. Out[80]:
  3. 0 4.5
  4. 1 5.5
  5. 2 6.5
  6. 3 4.5
  7. 4 5.5
  8. 5 6.5
  9. 6 4.5
  10. 7 5.5
  11. 8 6.5
  12. 9 4.5
  13. 10 5.5
  14. 11 6.5
  15. Name: value, dtype: float64

与apply类似,transform的函数会返回Series,但是结果必须与输入大小相同。举个例子,我们可以用lambda函数将每个分组乘以2:

  1. In [81]: g.transform(lambda x: x * 2)
  2. Out[81]:
  3. 0 0.0
  4. 1 2.0
  5. 2 4.0
  6. 3 6.0
  7. 4 8.0
  8. 5 10.0
  9. 6 12.0
  10. 7 14.0
  11. 8 16.0
  12. 9 18.0
  13. 10 20.0
  14. 11 22.0
  15. Name: value, dtype: float64

再举一个复杂的例子,我们可以计算每个分组的降序排名:

  1. In [82]: g.transform(lambda x: x.rank(ascending=False))
  2. Out[82]:
  3. 0 4.0
  4. 1 4.0
  5. 2 4.0
  6. 3 3.0
  7. 4 3.0
  8. 5 3.0
  9. 6 2.0
  10. 7 2.0
  11. 8 2.0
  12. 9 1.0
  13. 10 1.0
  14. 11 1.0
  15. Name: value, dtype: float64

看一个由简单聚合构造的的分组转换函数:

  1. def normalize(x):
  2. return (x - x.mean()) / x.std()

我们用transform或apply可以获得等价的结果:

  1. In [84]: g.transform(normalize)
  2. Out[84]:
  3. 0 -1.161895
  4. 1 -1.161895
  5. 2 -1.161895
  6. 3 -0.387298
  7. 4 -0.387298
  8. 5 -0.387298
  9. 6 0.387298
  10. 7 0.387298
  11. 8 0.387298
  12. 9 1.161895
  13. 10 1.161895
  14. 11 1.161895
  15. Name: value, dtype: float64
  16. In [85]: g.apply(normalize)
  17. Out[85]:
  18. 0 -1.161895
  19. 1 -1.161895
  20. 2 -1.161895
  21. 3 -0.387298
  22. 4 -0.387298
  23. 5 -0.387298
  24. 6 0.387298
  25. 7 0.387298
  26. 8 0.387298
  27. 9 1.161895
  28. 10 1.161895
  29. 11 1.161895
  30. Name: value, dtype: float64

内置的聚合函数,比如mean或sum,通常比apply函数快,也比transform快。这允许我们进行一个所谓的解封(unwrapped)分组操作:

  1. In [86]: g.transform('mean')
  2. Out[86]:
  3. 0 4.5
  4. 1 5.5
  5. 2 6.5
  6. 3 4.5
  7. 4 5.5
  8. 5 6.5
  9. 6 4.5
  10. 7 5.5
  11. 8 6.5
  12. 9 4.5
  13. 10 5.5
  14. 11 6.5
  15. Name: value, dtype: float64
  16. In [87]: normalized = (df['value'] - g.transform('mean')) / g.transform('std')
  17. In [88]: normalized
  18. Out[88]:
  19. 0 -1.161895
  20. 1 -1.161895
  21. 2 -1.161895
  22. 3 -0.387298
  23. 4 -0.387298
  24. 5 -0.387298
  25. 6 0.387298
  26. 7 0.387298
  27. 8 0.387298
  28. 9 1.161895
  29. 10 1.161895
  30. 11 1.161895
  31. Name: value, dtype: float64

解封分组操作可能包括多个分组聚合,但是矢量化操作还是会带来收益。

分组的时间重采样

对于时间序列数据,resample方法从语义上是一个基于内在时间的分组操作。下面是一个示例表:

  1. In [89]: N = 15
  2. In [90]: times = pd.date_range('2017-05-20 00:00', freq='1min', periods=N)
  3. In [91]: df = pd.DataFrame({'time': times,
  4. ....: 'value': np.arange(N)})
  5. In [92]: df
  6. Out[92]:
  7. time value
  8. 0 2017-05-20 00:00:00 0
  9. 1 2017-05-20 00:01:00 1
  10. 2 2017-05-20 00:02:00 2
  11. 3 2017-05-20 00:03:00 3
  12. 4 2017-05-20 00:04:00 4
  13. 5 2017-05-20 00:05:00 5
  14. 6 2017-05-20 00:06:00 6
  15. 7 2017-05-20 00:07:00 7
  16. 8 2017-05-20 00:08:00 8
  17. 9 2017-05-20 00:09:00 9
  18. 10 2017-05-20 00:10:00 10
  19. 11 2017-05-20 00:11:00 11
  20. 12 2017-05-20 00:12:00 12
  21. 13 2017-05-20 00:13:00 13
  22. 14 2017-05-20 00:14:00 14

这里,我们可以用time作为索引,然后重采样:

  1. In [93]: df.set_index('time').resample('5min').count()
  2. Out[93]:
  3. value
  4. time
  5. 2017-05-20 00:00:00 5
  6. 2017-05-20 00:05:00 5
  7. 2017-05-20 00:10:00 5

假设DataFrame包含多个时间序列,用一个额外的分组键的列进行标记:

  1. In [94]: df2 = pd.DataFrame({'time': times.repeat(3),
  2. ....: 'key': np.tile(['a', 'b', 'c'], N),
  3. ....: 'value': np.arange(N * 3.)})
  4. In [95]: df2[:7]
  5. Out[95]:
  6. key time value
  7. 0 a 2017-05-20 00:00:00 0.0
  8. 1 b 2017-05-20 00:00:00 1.0
  9. 2 c 2017-05-20 00:00:00 2.0
  10. 3 a 2017-05-20 00:01:00 3.0
  11. 4 b 2017-05-20 00:01:00 4.0
  12. 5 c 2017-05-20 00:01:00 5.0
  13. 6 a 2017-05-20 00:02:00 6.0

要对每个key值进行相同的重采样,我们引入pandas.TimeGrouper对象:

  1. In [96]: time_key = pd.TimeGrouper('5min')

我们然后设定时间索引,用key和time_key分组,然后聚合:

  1. In [97]: resampled = (df2.set_index('time')
  2. ....: .groupby(['key', time_key])
  3. ....: .sum())
  4. In [98]: resampled
  5. Out[98]:
  6. value
  7. key time
  8. a 2017-05-20 00:00:00 30.0
  9. 2017-05-20 00:05:00 105.0
  10. 2017-05-20 00:10:00 180.0
  11. b 2017-05-20 00:00:00 35.0
  12. 2017-05-20 00:05:00 110.0
  13. 2017-05-20 00:10:00 185.0
  14. c 2017-05-20 00:00:00 40.0
  15. 2017-05-20 00:05:00 115.0
  16. 2017-05-20 00:10:00 190.0
  17. In [99]: resampled.reset_index()
  18. Out[99]:
  19. key time value
  20. 0 a 2017-05-20 00:00:00 30.0
  21. 1 a 2017-05-20 00:05:00 105.0
  22. 2 a 2017-05-20 00:10:00 180.0
  23. 3 b 2017-05-20 00:00:00 35.0
  24. 4 b 2017-05-20 00:05:00 110.0
  25. 5 b 2017-05-20 00:10:00 185.0
  26. 6 c 2017-05-20 00:00:00 40.0
  27. 7 c 2017-05-20 00:05:00 115.0
  28. 8 c 2017-05-20 00:10:00 190.0

使用TimeGrouper的限制是时间必须是Series或DataFrame的索引。