6. 时间序列与日期用法

依托 NumPy 的 datetime64、timedelta64 等数据类型，Pandas 可以处理各种时间序列数据，还能调用 scikits.timeseries 等 Python 支持库的时间序列功能。

Pandas 支持以下操作：

解析 时间字符串、np.datetime64、datetime.datetime 等多种时间序列数据。

  1. In [1]: import datetime
  3. In [2]: dti = pd.to_datetime(['1/1/2018', np.datetime64('2018-01-01'),
  4.    ...:                       datetime.datetime(2018, 1, 1)])
  5.    ...: 
  7. In [3]: dti
  8. Out[3]: DatetimeIndex(['2018-01-01', '2018-01-01', '2018-01-01'], dtype='datetime64[ns]', freq=None)

生成 DatetimeIndex、TimedeltaIndex、PeriodIndex 等定频日期与时间段序列。

  1. In [4]: dti = pd.date_range('2018-01-01', periods=3, freq='H')
  3. In [5]: dti
  4. Out[5]: 
  5. DatetimeIndex(['2018-01-01 00:00:00', '2018-01-01 01:00:00',
  6.                '2018-01-01 02:00:00'],
  7.               dtype='datetime64[ns]', freq='H')

处理、转换带时区的日期时间数据。

  1. In [6]: dti = dti.tz_localize('UTC')
  3. In [7]: dti
  4. Out[7]: 
  5. DatetimeIndex(['2018-01-01 00:00:00+00:00', '2018-01-01 01:00:00+00:00',
  6.                '2018-01-01 02:00:00+00:00'],
  7.               dtype='datetime64[ns, UTC]', freq='H')
  9. In [8]: dti.tz_convert('US/Pacific')
  10. Out[8]: 
  11. DatetimeIndex(['2017-12-31 16:00:00-08:00', '2017-12-31 17:00:00-08:00',
  12.                '2017-12-31 18:00:00-08:00'],
  13.               dtype='datetime64[ns, US/Pacific]', freq='H')

按指定频率重采样，并转换为时间序列。

  1. In [9]: idx = pd.date_range('2018-01-01', periods=5, freq='H')
  3. In [10]: ts = pd.Series(range(len(idx)), index=idx)
  5. In [11]: ts
  6. Out[11]: 
  7. 2018-01-01 00:00:00    0
  8. 2018-01-01 01:00:00    1
  9. 2018-01-01 02:00:00    2
  10. 2018-01-01 03:00:00    3
  11. 2018-01-01 04:00:00    4
  12. Freq: H, dtype: int64
  14. In [12]: ts.resample('2H').mean()
  15. Out[12]: 
  16. 2018-01-01 00:00:00    0.5
  17. 2018-01-01 02:00:00    2.5
  18. 2018-01-01 04:00:00    4.0
  19. Freq: 2H, dtype: float64

用绝对或相对时间差计算日期与时间。

  1. In [13]: friday = pd.Timestamp('2018-01-05')
  3. In [14]: friday.day_name()
  4. Out[14]: 'Friday'
  6. # 添加 1 个日历日
  7. In [15]: saturday = friday + pd.Timedelta('1 day')
  9. In [16]: saturday.day_name()
  10. Out[16]: 'Saturday'
  12. # 添加 1 个工作日，从星期五跳到星期一
  13. In [17]: monday = friday + pd.offsets.BDay()
  15. In [18]: monday.day_name()
  16. Out[18]: 'Monday'

Pandas 提供了一组精悍、实用的工具集以完成上述操作。

6.1. 时间序列纵览

Pandas 支持 4 种常见时间概念：

  1. 日期时间（Datetime）：带时区的日期时间，类似于标准库的 datetime.datetime 。
  2. 时间差（Timedelta）：绝对时间周期，类似于标准库的 datetime.timedelta。
  3. 时间段（Timespan）：在某一时点以指定频率定义的时间跨度。
  4. 日期偏移（Dateoffset）：与日历运算对应的时间段，类似于 dateutil 的 dateutil.relativedelta.relativedelta。
时间概念标量类数组类Pandas 数据类型主要构建方法
Date timesTimestampDatetimeIndexdatetime64[ns] 或 datetime64[ns,tz]to_datetime 或 date_range
Time deltasTimedeltaTimedeltaIndextimedelta64[ns]to_timedelta 或 timedelta_range
Time spansPeriodPeriodIndexperiod[freq]Period 或 period_range
Date offsetsDateOffsetNoneNoneDateOffset

一般情况下，时间序列主要是 Series 或 DataFrame 的时间型索引，可以用时间元素进行操控。

  1. In [19]: pd.Series(range(3), index=pd.date_range('2000', freq='D', periods=3))
  2. Out[19]: 
  3. 2000-01-01    0
  4. 2000-01-02    1
  5. 2000-01-03    2
  6. Freq: D, dtype: int64

当然，Series 与 DataFrame 也可以直接把时间序列当成数据。

  1. In [20]: pd.Series(pd.date_range('2000', freq='D', periods=3))
  2. Out[20]: 
  3. 0   2000-01-01
  4. 1   2000-01-02
  5. 2   2000-01-03
  6. dtype: datetime64[ns]

Series 与 DataFrame 提供了 datetime、timedelta 、Period 扩展类型与专有用法，不过，Dateoffset 则保存为 object。

  1. In [21]: pd.Series(pd.period_range('1/1/2011', freq='M', periods=3))
  2. Out[21]: 
  3. 0    2011-01
  4. 1    2011-02
  5. 2    2011-03
  6. dtype: period[M]
  8. In [22]: pd.Series([pd.DateOffset(1), pd.DateOffset(2)])
  9. Out[22]: 
  10. 0         <DateOffset>
  11. 1    <2 * DateOffsets>
  12. dtype: object
  14. In [23]: pd.Series(pd.date_range('1/1/2011', freq='M', periods=3))
  15. Out[23]: 
  16. 0   2011-01-31
  17. 1   2011-02-28
  18. 2   2011-03-31
  19. dtype: datetime64[ns]

Pandas 用 NaT 表示日期时间、时间差及时间段的空值，代表了缺失日期或空日期的值，类似于浮点数的 np.nan。

  1. In [24]: pd.Timestamp(pd.NaT)
  2. Out[24]: NaT
  4. In [25]: pd.Timedelta(pd.NaT)
  5. Out[25]: NaT
  7. In [26]: pd.Period(pd.NaT)
  8. Out[26]: NaT
  10. # 与 np.nan 一样，pd.NaT 不等于 pd.NaT 
  11. In [27]: pd.NaT == pd.NaT
  12. Out[27]: False

6.2. 时间戳 vs. 时间段

时间戳是最基本的时间序列数据，用于把数值与时点关联在一起。Pandas 对象通过时间戳调用时点数据。

  1. In [28]: pd.Timestamp(datetime.datetime(2012, 5, 1))
  2. Out[28]: Timestamp('2012-05-01 00:00:00')
  4. In [29]: pd.Timestamp('2012-05-01')
  5. Out[29]: Timestamp('2012-05-01 00:00:00')
  7. In [30]: pd.Timestamp(2012, 5, 1)
  8. Out[30]: Timestamp('2012-05-01 00:00:00')

不过，大多数情况下，用时间段改变变量更自然。Period 表示的时间段更直观，还可以用日期时间格式的字符串进行推断。

示例如下：

  1. In [31]: pd.Period('2011-01')
  2. Out[31]: Period('2011-01', 'M')
  4. In [32]: pd.Period('2012-05', freq='D')
  5. Out[32]: Period('2012-05-01', 'D')

Timestamp 与 Period 可以用作索引。作为索引的 Timestamp 与 Period 列表则被强制转换为对应的 DatetimeIndex 与 PeriodIndex。

  1. In [33]: dates = [pd.Timestamp('2012-05-01'),
  2.    ....:          pd.Timestamp('2012-05-02'),
  3.    ....:          pd.Timestamp('2012-05-03')]
  4.    ....: 
  6. In [34]: ts = pd.Series(np.random.randn(3), dates)
  8. In [35]: type(ts.index)
  9. Out[35]: pandas.core.indexes.datetimes.DatetimeIndex
  11. In [36]: ts.index
  12. Out[36]: DatetimeIndex(['2012-05-01', '2012-05-02', '2012-05-03'], dtype='datetime64[ns]', freq=None)
  14. In [37]: ts
  15. Out[37]: 
  16. 2012-05-01    0.469112
  17. 2012-05-02   -0.282863
  18. 2012-05-03   -1.509059
  19. dtype: float64
  21. In [38]: periods = [pd.Period('2012-01'), pd.Period('2012-02'), pd.Period('2012-03')]
  23. In [39]: ts = pd.Series(np.random.randn(3), periods)
  25. In [40]: type(ts.index)
  26. Out[40]: pandas.core.indexes.period.PeriodIndex
  28. In [41]: ts.index
  29. Out[41]: PeriodIndex(['2012-01', '2012-02', '2012-03'], dtype='period[M]', freq='M')
  31. In [42]: ts
  32. Out[42]: 
  33. 2012-01   -1.135632
  34. 2012-02    1.212112
  35. 2012-03   -0.173215
  36. Freq: M, dtype: float64

Pandas 可以识别这两种表现形式，并在两者之间进行转化。Pandas 后台用 Timestamp 实例代表时间戳，用 DatetimeIndex 实例代表时间戳序列。Pandas 用 Period 对象表示符合规律的时间段标量值，用 PeriodIndex 表示时间段序列。未来版本会支持用任意起止时间实现不规律时间间隔。

6.3. 转换时间戳

to_datetime 函数用于转换字符串、纪元式及混合的日期 Series 或日期列表。转换 Series，返回具有相同索引的 Series，日期时间列表被转换为 DatetimeIndex：

  1. In [43]: pd.to_datetime(pd.Series(['Jul 31, 2009', '2010-01-10', None]))
  2. Out[43]: 
  3. 0   2009-07-31
  4. 1   2010-01-10
  5. 2          NaT
  6. dtype: datetime64[ns]
  8. In [44]: pd.to_datetime(['2005/11/23', '2010.12.31'])
  9. Out[44]: DatetimeIndex(['2005-11-23', '2010-12-31'], dtype='datetime64[ns]', freq=None)

解析欧式日期（日-月-年），要用 dayfirst 关键字参数：

  1. In [45]: pd.to_datetime(['04-01-2012 10:00'], dayfirst=True)
  2. Out[45]: DatetimeIndex(['2012-01-04 10:00:00'], dtype='datetime64[ns]', freq=None)
  4. In [46]: pd.to_datetime(['14-01-2012', '01-14-2012'], dayfirst=True)
  5. Out[46]: DatetimeIndex(['2012-01-14', '2012-01-14'], dtype='datetime64[ns]', freq=None)

::: danger 警告

从上例可以看出，dayfirst 并不严苛，如果不能把第一个数解析为日，就会以 dayfirst 为 False 进行解析。

:::

to_datetime 转换单个字符串时，返回单个 Timestamp。Timestamp 仅支持字符串输入，不支持 dayfirst、format 等字符串解析选项，如果要使用这些选项，就要用 to_datetime。

  1. In [47]: pd.to_datetime('2010/11/12')
  2. Out[47]: Timestamp('2010-11-12 00:00:00')
  4. In [48]: pd.Timestamp('2010/11/12')
  5. Out[48]: Timestamp('2010-11-12 00:00:00')

Pandas 还支持直接使用 DatetimeIndex 构建器：

  1. In [49]: pd.DatetimeIndex(['2018-01-01', '2018-01-03', '2018-01-05'])
  2. Out[49]: DatetimeIndex(['2018-01-01', '2018-01-03', '2018-01-05'], dtype='datetime64[ns]', freq=None)

创建 DatetimeIndex 时，传递字符串 infer 可推断索引的频率。

  1. In [50]: pd.DatetimeIndex(['2018-01-01', '2018-01-03', '2018-01-05'], freq='infer')
  2. Out[50]: DatetimeIndex(['2018-01-01', '2018-01-03', '2018-01-05'], dtype='datetime64[ns]', freq='2D')

提供格式参数

要实现精准转换，除了传递 datetime 字符串，还要指定 format 参数，指定此参数还可以加速转换速度。

  1. In [51]: pd.to_datetime('2010/11/12', format='%Y/%m/%d')
  2. Out[51]: Timestamp('2010-11-12 00:00:00')
  4. In [52]: pd.to_datetime('12-11-2010 00:00', format='%d-%m-%Y %H:%M')
  5. Out[52]: Timestamp('2010-11-12 00:00:00')

要了解更多 format 选项，请参阅 Python 日期时间文档。

用多列组合日期时间

0.18.1 版新增。

Pandas 还可以把 DataFrame 里的整数或字符串列组合成 Timestamp Series。

  1. In [53]: df = pd.DataFrame({'year': [2015, 2016],
  2.    ....:                    'month': [2, 3],
  3.    ....:                    'day': [4, 5],
  4.    ....:                    'hour': [2, 3]})
  5.    ....: 
  7. In [54]: pd.to_datetime(df)
  8. Out[54]: 
  9. 0   2015-02-04 02:00:00
  10. 1   2016-03-05 03:00:00
  11. dtype: datetime64[ns]

只传递组合所需的列也可以。

  1. In [55]: pd.to_datetime(df[['year', 'month', 'day']])
  2. Out[55]: 
  3. 0   2015-02-04
  4. 1   2016-03-05
  5. dtype: datetime64[ns]

pd.to_datetime 查找列名里日期时间组件的标准名称，包括：

  • 必填：year、month、day
  • 可选：hour、minute、second、millisecond、microsecond、nanosecond

无效数据

不可解析时，默认值 errors='raise' 会触发错误：

  1. In [2]: pd.to_datetime(['2009/07/31', 'asd'], errors='raise')
  2. ValueError: Unknown string format

errors='ignore' 返回原始输入：

  1. In [56]: pd.to_datetime(['2009/07/31', 'asd'], errors='ignore')
  2. Out[56]: Index(['2009/07/31', 'asd'], dtype='object')

errors='coerce' 把无法解析的数据转换为 NaT，即不是时间（Not a Time）：

  1. In [57]: pd.to_datetime(['2009/07/31', 'asd'], errors='coerce')
  2. Out[57]: DatetimeIndex(['2009-07-31', 'NaT'], dtype='datetime64[ns]', freq=None)

纪元时间戳

Pandas 支持把整数或浮点数纪元时间转换为 Timestamp 与 DatetimeIndex。鉴于 Timestamp 对象内部存储方式，这种转换的默认单位是纳秒。不过，一般都会用指定其它时间单位 unit 来存储纪元数据，纪元时间从 origin 参数指定的时点开始计算。

  1. In [58]: pd.to_datetime([1349720105, 1349806505, 1349892905,
  2.    ....:                 1349979305, 1350065705], unit='s')
  3.    ....: 
  4. Out[58]: 
  5. DatetimeIndex(['2012-10-08 18:15:05', '2012-10-09 18:15:05',
  6.                '2012-10-10 18:15:05', '2012-10-11 18:15:05',
  7.                '2012-10-12 18:15:05'],
  8.               dtype='datetime64[ns]', freq=None)
  10. In [59]: pd.to_datetime([1349720105100, 1349720105200, 1349720105300,
  11.    ....:                 1349720105400, 1349720105500], unit='ms')
  12.    ....: 
  13. Out[59]: 
  14. DatetimeIndex(['2012-10-08 18:15:05.100000', '2012-10-08 18:15:05.200000',
  15.                '2012-10-08 18:15:05.300000', '2012-10-08 18:15:05.400000',
  16.                '2012-10-08 18:15:05.500000'],
  17.               dtype='datetime64[ns]', freq=None)

用带 tz 参数的纪元时间戳创建 Timestamp 或 DatetimeIndex 时，要先把纪元时间戳转化为 UTC，然后再把结果转换为指定时区。不过这种操作方式现在已经废弃了，对于其它时区 Wall Time 里的纪元时间戳，建议先把纪元时间戳转换为无时区时间戳，再本地化时区。

  1. In [60]: pd.Timestamp(1262347200000000000).tz_localize('US/Pacific')
  2. Out[60]: Timestamp('2010-01-01 12:00:00-0800', tz='US/Pacific')
  4. In [61]: pd.DatetimeIndex([1262347200000000000]).tz_localize('US/Pacific')
  5. Out[61]: DatetimeIndex(['2010-01-01 12:00:00-08:00'], dtype='datetime64[ns, US/Pacific]', freq=None)

::: tip 注意

纪元时间取整到最近的纳秒。

:::

::: danger 警告

Python 浮点数只精确到 15 位小数，因此，转换浮点纪元时间可能会导致不精准或失控的结果。转换过程中，免不了对高精度 Timestamp 取整，只有用 int64 等定宽类型才有可能实现极其精准的效果。

  1. In [62]: pd.to_datetime([1490195805.433, 1490195805.433502912], unit='s')
  2. Out[62]: DatetimeIndex(['2017-03-22 15:16:45.433000088', '2017-03-22 15:16:45.433502913'], dtype='datetime64[ns]', freq=None)
  4. In [63]: pd.to_datetime(1490195805433502912, unit='ns')
  5. Out[63]: Timestamp('2017-03-22 15:16:45.433502912')

:::

::: tip 参阅

应用 origin 参数

:::

把时间戳转换为纪元

反转上述操作，把 Timestamp 转换为 unix 纪元：

  1. In [64]: stamps = pd.date_range('2012-10-08 18:15:05', periods=4, freq='D')
  3. In [65]: stamps
  4. Out[65]: 
  5. DatetimeIndex(['2012-10-08 18:15:05', '2012-10-09 18:15:05',
  6.                '2012-10-10 18:15:05', '2012-10-11 18:15:05'],
  7.               dtype='datetime64[ns]', freq='D')

首先与纪元开始时点（1970 年 1 月 1 日午夜，UTC）相减，然后以 1 秒为时间单位（unit='1s'）取底整除。

  1. In [66]: (stamps - pd.Timestamp("1970-01-01")) // pd.Timedelta('1s')
  2. Out[66]: Int64Index([1349720105, 1349806505, 1349892905, 1349979305], dtype='int64')

应用 origin 参数

0.20.0 版新增。

origin 参数可以指定 DatetimeIndex 的备选开始时点。例如，把1960-01-01 作为开始日期：

  1. In [67]: pd.to_datetime([1, 2, 3], unit='D', origin=pd.Timestamp('1960-01-01'))
  2. Out[67]: DatetimeIndex(['1960-01-02', '1960-01-03', '1960-01-04'], dtype='datetime64[ns]', freq=None)

默认值为 origin='unix'，即 1970-01-01 00:00:00，一般把这个时点称为 unix 纪元 或 POSIX 时间。

  1. In [68]: pd.to_datetime([1, 2, 3], unit='D')
  2. Out[68]: DatetimeIndex(['1970-01-02', '1970-01-03', '1970-01-04'], dtype='datetime64[ns]', freq=None)

6.4. 生成时间戳范围

DatetimeIndex、Index 构建器可以生成时间戳索引，此处要提供 datetime 对象列表。

  1. In [69]: dates = [datetime.datetime(2012, 5, 1),
  2.    ....:          datetime.datetime(2012, 5, 2),
  3.    ....:          datetime.datetime(2012, 5, 3)]
  4.    ....: 
  6. # 注意频率信息
  7. In [70]: index = pd.DatetimeIndex(dates)
  9. In [71]: index
  10. Out[71]: DatetimeIndex(['2012-05-01', '2012-05-02', '2012-05-03'], dtype='datetime64[ns]', freq=None)
  12. # 自动转换为 DatetimeIndex
  13. In [72]: index = pd.Index(dates)
  15. In [73]: index
  16. Out[73]: DatetimeIndex(['2012-05-01', '2012-05-02', '2012-05-03'], dtype='datetime64[ns]', freq=None)

实际工作中，生成大量时间戳的超长索引时，一个个输入时间戳又枯燥，又低效。如果时间戳是定频的，用 date_range() 与 bdate_range() 函数即可创建 DatetimeIndex。date_range 默认的频率是日历日，bdate_range 的默认频率是工作日：

  1. In [74]: start = datetime.datetime(2011, 1, 1)
  3. In [75]: end = datetime.datetime(2012, 1, 1)
  5. In [76]: index = pd.date_range(start, end)
  7. In [77]: index
  8. Out[77]: 
  9. DatetimeIndex(['2011-01-01', '2011-01-02', '2011-01-03', '2011-01-04',
  10.                '2011-01-05', '2011-01-06', '2011-01-07', '2011-01-08',
  11.                '2011-01-09', '2011-01-10',
  12.                ...
  13.                '2011-12-23', '2011-12-24', '2011-12-25', '2011-12-26',
  14.                '2011-12-27', '2011-12-28', '2011-12-29', '2011-12-30',
  15.                '2011-12-31', '2012-01-01'],
  16.               dtype='datetime64[ns]', length=366, freq='D')
  18. In [78]: index = pd.bdate_range(start, end)
  20. In [79]: index
  21. Out[79]: 
  22. DatetimeIndex(['2011-01-03', '2011-01-04', '2011-01-05', '2011-01-06',
  23.                '2011-01-07', '2011-01-10', '2011-01-11', '2011-01-12',
  24.                '2011-01-13', '2011-01-14',
  25.                ...
  26.                '2011-12-19', '2011-12-20', '2011-12-21', '2011-12-22',
  27.                '2011-12-23', '2011-12-26', '2011-12-27', '2011-12-28',
  28.                '2011-12-29', '2011-12-30'],
  29.               dtype='datetime64[ns]', length=260, freq='B')

date_range、bdate_range 等便捷函数可以调用各种频率别名：

  1. In [80]: pd.date_range(start, periods=1000, freq='M')
  2. Out[80]: 
  3. DatetimeIndex(['2011-01-31', '2011-02-28', '2011-03-31', '2011-04-30',
  4.                '2011-05-31', '2011-06-30', '2011-07-31', '2011-08-31',
  5.                '2011-09-30', '2011-10-31',
  6.                ...
  7.                '2093-07-31', '2093-08-31', '2093-09-30', '2093-10-31',
  8.                '2093-11-30', '2093-12-31', '2094-01-31', '2094-02-28',
  9.                '2094-03-31', '2094-04-30'],
  10.               dtype='datetime64[ns]', length=1000, freq='M')
  12. In [81]: pd.bdate_range(start, periods=250, freq='BQS')
  13. Out[81]: 
  14. DatetimeIndex(['2011-01-03', '2011-04-01', '2011-07-01', '2011-10-03',
  15.                '2012-01-02', '2012-04-02', '2012-07-02', '2012-10-01',
  16.                '2013-01-01', '2013-04-01',
  17.                ...
  18.                '2071-01-01', '2071-04-01', '2071-07-01', '2071-10-01',
  19.                '2072-01-01', '2072-04-01', '2072-07-01', '2072-10-03',
  20.                '2073-01-02', '2073-04-03'],
  21.               dtype='datetime64[ns]', length=250, freq='BQS-JAN')

date_range 与 bdate_range 通过指定 start、end、period 与 freq 等参数，简化了生成日期范围这项工作。开始与结束日期是必填项，因此，不会生成指定范围之外的日期。

  1. In [82]: pd.date_range(start, end, freq='BM')
  2. Out[82]: 
  3. DatetimeIndex(['2011-01-31', '2011-02-28', '2011-03-31', '2011-04-29',
  4.                '2011-05-31', '2011-06-30', '2011-07-29', '2011-08-31',
  5.                '2011-09-30', '2011-10-31', '2011-11-30', '2011-12-30'],
  6.               dtype='datetime64[ns]', freq='BM')
  8. In [83]: pd.date_range(start, end, freq='W')
  9. Out[83]: 
  10. DatetimeIndex(['2011-01-02', '2011-01-09', '2011-01-16', '2011-01-23',
  11.                '2011-01-30', '2011-02-06', '2011-02-13', '2011-02-20',
  12.                '2011-02-27', '2011-03-06', '2011-03-13', '2011-03-20',
  13.                '2011-03-27', '2011-04-03', '2011-04-10', '2011-04-17',
  14.                '2011-04-24', '2011-05-01', '2011-05-08', '2011-05-15',
  15.                '2011-05-22', '2011-05-29', '2011-06-05', '2011-06-12',
  16.                '2011-06-19', '2011-06-26', '2011-07-03', '2011-07-10',
  17.                '2011-07-17', '2011-07-24', '2011-07-31', '2011-08-07',
  18.                '2011-08-14', '2011-08-21', '2011-08-28', '2011-09-04',
  19.                '2011-09-11', '2011-09-18', '2011-09-25', '2011-10-02',
  20.                '2011-10-09', '2011-10-16', '2011-10-23', '2011-10-30',
  21.                '2011-11-06', '2011-11-13', '2011-11-20', '2011-11-27',
  22.                '2011-12-04', '2011-12-11', '2011-12-18', '2011-12-25',
  23.                '2012-01-01'],
  24.               dtype='datetime64[ns]', freq='W-SUN')
  26. In [84]: pd.bdate_range(end=end, periods=20)
  27. Out[84]: 
  28. DatetimeIndex(['2011-12-05', '2011-12-06', '2011-12-07', '2011-12-08',
  29.                '2011-12-09', '2011-12-12', '2011-12-13', '2011-12-14',
  30.                '2011-12-15', '2011-12-16', '2011-12-19', '2011-12-20',
  31.                '2011-12-21', '2011-12-22', '2011-12-23', '2011-12-26',
  32.                '2011-12-27', '2011-12-28', '2011-12-29', '2011-12-30'],
  33.               dtype='datetime64[ns]', freq='B')
  35. In [85]: pd.bdate_range(start=start, periods=20)
  36. Out[85]: 
  37. DatetimeIndex(['2011-01-03', '2011-01-04', '2011-01-05', '2011-01-06',
  38.                '2011-01-07', '2011-01-10', '2011-01-11', '2011-01-12',
  39.                '2011-01-13', '2011-01-14', '2011-01-17', '2011-01-18',
  40.                '2011-01-19', '2011-01-20', '2011-01-21', '2011-01-24',
  41.                '2011-01-25', '2011-01-26', '2011-01-27', '2011-01-28'],
  42.               dtype='datetime64[ns]', freq='B')

0.23.0 版新增。

指定 start、end、periods 即可生成从 start 开始至 end 结束的等距日期范围，这个日期范围包含了 start 与 end，生成的 DatetimeIndex 里的元素数量为 periods 的值。

  1. In [86]: pd.date_range('2018-01-01', '2018-01-05', periods=5)
  2. Out[86]: 
  3. DatetimeIndex(['2018-01-01', '2018-01-02', '2018-01-03', '2018-01-04',
  4.                '2018-01-05'],
  5.               dtype='datetime64[ns]', freq=None)
  7. In [87]: pd.date_range('2018-01-01', '2018-01-05', periods=10)
  8. Out[87]: 
  9. DatetimeIndex(['2018-01-01 00:00:00', '2018-01-01 10:40:00',
  10.                '2018-01-01 21:20:00', '2018-01-02 08:00:00',
  11.                '2018-01-02 18:40:00', '2018-01-03 05:20:00',
  12.                '2018-01-03 16:00:00', '2018-01-04 02:40:00',
  13.                '2018-01-04 13:20:00', '2018-01-05 00:00:00'],
  14.               dtype='datetime64[ns]', freq=None)

自定义频率范围

设定 weekmask 与 holidays 参数，bdate_range 还可以生成自定义频率日期范围。这些参数只用于传递自定义字符串。

  1. In [88]: weekmask = 'Mon Wed Fri'
  3. In [89]: holidays = [datetime.datetime(2011, 1, 5), datetime.datetime(2011, 3, 14)]
  5. In [90]: pd.bdate_range(start, end, freq='C', weekmask=weekmask, holidays=holidays)
  6. Out[90]: 
  7. DatetimeIndex(['2011-01-03', '2011-01-07', '2011-01-10', '2011-01-12',
  8.                '2011-01-14', '2011-01-17', '2011-01-19', '2011-01-21',
  9.                '2011-01-24', '2011-01-26',
  10.                ...
  11.                '2011-12-09', '2011-12-12', '2011-12-14', '2011-12-16',
  12.                '2011-12-19', '2011-12-21', '2011-12-23', '2011-12-26',
  13.                '2011-12-28', '2011-12-30'],
  14.               dtype='datetime64[ns]', length=154, freq='C')
  16. In [91]: pd.bdate_range(start, end, freq='CBMS', weekmask=weekmask)
  17. Out[91]: 
  18. DatetimeIndex(['2011-01-03', '2011-02-02', '2011-03-02', '2011-04-01',
  19.                '2011-05-02', '2011-06-01', '2011-07-01', '2011-08-01',
  20.                '2011-09-02', '2011-10-03', '2011-11-02', '2011-12-02'],
  21.               dtype='datetime64[ns]', freq='CBMS')

::: tip 参阅

自定义工作日

:::

6.5. 时间戳的界限

Pandas 时间戳的最低单位为纳秒，64 位整数显示的时间跨度约为 584 年，这就是 Timestamp 的界限：

  1. In [92]: pd.Timestamp.min
  2. Out[92]: Timestamp('1677-09-21 00:12:43.145225')
  4. In [93]: pd.Timestamp.max
  5. Out[93]: Timestamp('2262-04-11 23:47:16.854775807')

::: tip 参阅

时间段越界展示

:::

6.6. 索引

DatetimeIndex 主要用于 Pandas 对象的索引，为时间序列做了很多优化：

  • 预计算了各种偏移量的日期范围，并在后台缓存，让后台生成后续日期范围的速度非常快（仅需抓取切片）。
  • 在 Pandas 对象上用 shift 与 tshift 方法进行快速偏移。
  • 合并具有相同频率的重叠 DatetimeIndex 对象的速度非常快（这点对快速数据对齐非常重要）。
  • 通过 year、month 等属性快速访问日期字段。
  • snap 等正则函数与超快的 asof 逻辑。

DatetimeIndex 支持 Index 的所有基本用法，以及一些列简化频率处理的高级时间序列专有方法。

::: tip 参阅

重置索引

:::

::: tip 注意

Pandas 不强制排序日期索引，但如果日期未排序，可能会引发失控或错误操作。

:::

DatetimeIndex 可以当作常规索引，支持选择、切片等方法。

  1. In [94]: rng = pd.date_range(start, end, freq='BM')
  3. In [95]: ts = pd.Series(np.random.randn(len(rng)), index=rng)
  5. In [96]: ts.index
  6. Out[96]: 
  7. DatetimeIndex(['2011-01-31', '2011-02-28', '2011-03-31', '2011-04-29',
  8.                '2011-05-31', '2011-06-30', '2011-07-29', '2011-08-31',
  9.                '2011-09-30', '2011-10-31', '2011-11-30', '2011-12-30'],
  10.               dtype='datetime64[ns]', freq='BM')
  12. In [97]: ts[:5].index
  13. Out[97]: 
  14. DatetimeIndex(['2011-01-31', '2011-02-28', '2011-03-31', '2011-04-29',
  15.                '2011-05-31'],
  16.               dtype='datetime64[ns]', freq='BM')
  18. In [98]: ts[::2].index
  19. Out[98]: 
  20. DatetimeIndex(['2011-01-31', '2011-03-31', '2011-05-31', '2011-07-29',
  21.                '2011-09-30', '2011-11-30'],
  22.               dtype='datetime64[ns]', freq='2BM')

局部字符串索引

能解析为时间戳的日期与字符串可以作为索引的参数：

  1. In [99]: ts['1/31/2011']
  2. Out[99]: 0.11920871129693428
  4. In [100]: ts[datetime.datetime(2011, 12, 25):]
  5. Out[100]: 
  6. 2011-12-30    0.56702
  7. Freq: BM, dtype: float64
  9. In [101]: ts['10/31/2011':'12/31/2011']
  10. Out[101]: 
  11. 2011-10-31    0.271860
  12. 2011-11-30   -0.424972
  13. 2011-12-30    0.567020
  14. Freq: BM, dtype: float64

Pandas 为访问较长的时间序列提供了便捷方法，年、年月字符串均可：

  1. In [102]: ts['2011']
  2. Out[102]: 
  3. 2011-01-31    0.119209
  4. 2011-02-28   -1.044236
  5. 2011-03-31   -0.861849
  6. 2011-04-29   -2.104569
  7. 2011-05-31   -0.494929
  8. 2011-06-30    1.071804
  9. 2011-07-29    0.721555
  10. 2011-08-31   -0.706771
  11. 2011-09-30   -1.039575
  12. 2011-10-31    0.271860
  13. 2011-11-30   -0.424972
  14. 2011-12-30    0.567020
  15. Freq: BM, dtype: float64
  17. In [103]: ts['2011-6']
  18. Out[103]: 
  19. 2011-06-30    1.071804
  20. Freq: BM, dtype: float64

带 DatetimeIndex 的 DateFrame 也支持这种切片方式。局部字符串是标签切片的一种形式，这种切片也包含截止时点，即，与日期匹配的时间也会包含在内：

  1. In [104]: dft = pd.DataFrame(np.random.randn(100000, 1), columns=['A'],
  2.    .....:                    index=pd.date_range('20130101', periods=100000, freq='T'))
  3.    .....: 
  5. In [105]: dft
  6. Out[105]: 
  7.                             A
  8. 2013-01-01 00:00:00  0.276232
  9. 2013-01-01 00:01:00 -1.087401
  10. 2013-01-01 00:02:00 -0.673690
  11. 2013-01-01 00:03:00  0.113648
  12. 2013-01-01 00:04:00 -1.478427
  13. ...                       ...
  14. 2013-03-11 10:35:00 -0.747967
  15. 2013-03-11 10:36:00 -0.034523
  16. 2013-03-11 10:37:00 -0.201754
  17. 2013-03-11 10:38:00 -1.509067
  18. 2013-03-11 10:39:00 -1.693043
  20. [100000 rows x 1 columns]
  22. In [106]: dft['2013']
  23. Out[106]: 
  24.                             A
  25. 2013-01-01 00:00:00  0.276232
  26. 2013-01-01 00:01:00 -1.087401
  27. 2013-01-01 00:02:00 -0.673690
  28. 2013-01-01 00:03:00  0.113648
  29. 2013-01-01 00:04:00 -1.478427
  30. ...                       ...
  31. 2013-03-11 10:35:00 -0.747967
  32. 2013-03-11 10:36:00 -0.034523
  33. 2013-03-11 10:37:00 -0.201754
  34. 2013-03-11 10:38:00 -1.509067
  35. 2013-03-11 10:39:00 -1.693043
  37. [100000 rows x 1 columns]

下列代码截取了自 1 月 1 日凌晨起，至 2 月 28 日午夜的日期与时间。

  1. In [107]: dft['2013-1':'2013-2']
  2. Out[107]: 
  3.                             A
  4. 2013-01-01 00:00:00  0.276232
  5. 2013-01-01 00:01:00 -1.087401
  6. 2013-01-01 00:02:00 -0.673690
  7. 2013-01-01 00:03:00  0.113648
  8. 2013-01-01 00:04:00 -1.478427
  9. ...                       ...
  10. 2013-02-28 23:55:00  0.850929
  11. 2013-02-28 23:56:00  0.976712
  12. 2013-02-28 23:57:00 -2.693884
  13. 2013-02-28 23:58:00 -1.575535
  14. 2013-02-28 23:59:00 -1.573517
  16. [84960 rows x 1 columns]

下列代码截取了包含截止日期及其时间在内的日期与时间。

  1. In [108]: dft['2013-1':'2013-2-28']
  2. Out[108]: 
  3.                             A
  4. 2013-01-01 00:00:00  0.276232
  5. 2013-01-01 00:01:00 -1.087401
  6. 2013-01-01 00:02:00 -0.673690
  7. 2013-01-01 00:03:00  0.113648
  8. 2013-01-01 00:04:00 -1.478427
  9. ...                       ...
  10. 2013-02-28 23:55:00  0.850929
  11. 2013-02-28 23:56:00  0.976712
  12. 2013-02-28 23:57:00 -2.693884
  13. 2013-02-28 23:58:00 -1.575535
  14. 2013-02-28 23:59:00 -1.573517
  16. [84960 rows x 1 columns]

下列代码指定了精准的截止时间，注意此处的结果与上述截取结果的区别：

  1. In [109]: dft['2013-1':'2013-2-28 00:00:00']
  2. Out[109]: 
  3.                             A
  4. 2013-01-01 00:00:00  0.276232
  5. 2013-01-01 00:01:00 -1.087401
  6. 2013-01-01 00:02:00 -0.673690
  7. 2013-01-01 00:03:00  0.113648
  8. 2013-01-01 00:04:00 -1.478427
  9. ...                       ...
  10. 2013-02-27 23:56:00  1.197749
  11. 2013-02-27 23:57:00  0.720521
  12. 2013-02-27 23:58:00 -0.072718
  13. 2013-02-27 23:59:00 -0.681192
  14. 2013-02-28 00:00:00 -0.557501
  16. [83521 rows x 1 columns]

截止时间是索引的一部分，包含在截取的内容之内：

  1. In [110]: dft['2013-1-15':'2013-1-15 12:30:00']
  2. Out[110]: 
  3.                             A
  4. 2013-01-15 00:00:00 -0.984810
  5. 2013-01-15 00:01:00  0.941451
  6. 2013-01-15 00:02:00  1.559365
  7. 2013-01-15 00:03:00  1.034374
  8. 2013-01-15 00:04:00 -1.480656
  9. ...                       ...
  10. 2013-01-15 12:26:00  0.371454
  11. 2013-01-15 12:27:00 -0.930806
  12. 2013-01-15 12:28:00 -0.069177
  13. 2013-01-15 12:29:00  0.066510
  14. 2013-01-15 12:30:00 -0.003945
  16. [751 rows x 1 columns]

0.18.0 版新增。

DatetimeIndex 局部字符串索引还支持多层索引 DataFrame。

  1. In [111]: dft2 = pd.DataFrame(np.random.randn(20, 1),
  2.    .....:                     columns=['A'],
  3.    .....:                     index=pd.MultiIndex.from_product(
  4.    .....:                         [pd.date_range('20130101', periods=10, freq='12H'),
  5.    .....:                          ['a', 'b']]))
  6.    .....: 
  8. In [112]: dft2
  9. Out[112]: 
  10.                               A
  11. 2013-01-01 00:00:00 a -0.298694
  12.                     b  0.823553
  13. 2013-01-01 12:00:00 a  0.943285
  14.                     b -1.479399
  15. 2013-01-02 00:00:00 a -1.643342
  16. ...                         ...
  17. 2013-01-04 12:00:00 b  0.069036
  18. 2013-01-05 00:00:00 a  0.122297
  19.                     b  1.422060
  20. 2013-01-05 12:00:00 a  0.370079
  21.                     b  1.016331
  23. [20 rows x 1 columns]
  25. In [113]: dft2.loc['2013-01-05']
  26. Out[113]: 
  27.                               A
  28. 2013-01-05 00:00:00 a  0.122297
  29.                     b  1.422060
  30. 2013-01-05 12:00:00 a  0.370079
  31.                     b  1.016331
  33. In [114]: idx = pd.IndexSlice
  35. In [115]: dft2 = dft2.swaplevel(0, 1).sort_index()
  37. In [116]: dft2.loc[idx[:, '2013-01-05'], :]
  38. Out[116]: 
  39.                               A
  40. a 2013-01-05 00:00:00  0.122297
  41.   2013-01-05 12:00:00  0.370079
  42. b 2013-01-05 00:00:00  1.422060
  43.   2013-01-05 12:00:00  1.016331

0.25.0 版新增。

字符串索引切片支持 UTC 偏移。

  1. In [117]: df = pd.DataFrame([0], index=pd.DatetimeIndex(['2019-01-01'], tz='US/Pacific'))
  3. In [118]: df
  4. Out[118]: 
  5.                            0
  6. 2019-01-01 00:00:00-08:00  0
  8. In [119]: df['2019-01-01 12:00:00+04:00':'2019-01-01 13:00:00+04:00']
  9. Out[119]: 
  10.                            0
  11. 2019-01-01 00:00:00-08:00  0

切片 vs. 精准匹配

0.20.0 版新增。

基于索引的精度，字符串既可用于切片，也可用于精准匹配。字符串精度比索引精度低，就是切片，比索引精度高，则是精准匹配。

  1. In [120]: series_minute = pd.Series([1, 2, 3],
  2.    .....:                           pd.DatetimeIndex(['2011-12-31 23:59:00',
  3.    .....:                                             '2012-01-01 00:00:00',
  4.    .....:                                             '2012-01-01 00:02:00']))
  5.    .....: 
  7. In [121]: series_minute.index.resolution
  8. Out[121]: 'minute'

下例中的时间戳字符串没有 Series 对象的精度高。series_minute 到秒，时间戳字符串只到分。

  1. In [122]: series_minute['2011-12-31 23']
  2. Out[122]: 
  3. 2011-12-31 23:59:00    1
  4. dtype: int64

精度为分钟（或更高精度）的时间戳字符串，给出的是标量，不会被当作切片。

  1. In [123]: series_minute['2011-12-31 23:59']
  2. Out[123]: 1
  4. In [124]: series_minute['2011-12-31 23:59:00']
  5. Out[124]: 1

索引的精度为秒时，精度为分钟的时间戳返回的是 Series。

  1. In [125]: series_second = pd.Series([1, 2, 3],
  2.    .....:                           pd.DatetimeIndex(['2011-12-31 23:59:59',
  3.    .....:                                             '2012-01-01 00:00:00',
  4.    .....:                                             '2012-01-01 00:00:01']))
  5.    .....: 
  7. In [126]: series_second.index.resolution
  8. Out[126]: 'second'
  10. In [127]: series_second['2011-12-31 23:59']
  11. Out[127]: 
  12. 2011-12-31 23:59:59    1
  13. dtype: int64

用时间戳字符串切片时，还可以用 [] 索引 DataFrame。

  1. In [128]: dft_minute = pd.DataFrame({'a': [1, 2, 3], 'b': [4, 5, 6]},
  2.    .....:                           index=series_minute.index)
  3.    .....: 
  5. In [129]: dft_minute['2011-12-31 23']
  6. Out[129]: 
  7.                      a  b
  8. 2011-12-31 23:59:00  1  4

::: danger 警告

字符串执行精确匹配时，用 [] 按列，而不是按行截取 DateFrame ，参阅索引基础。如，dft_minute ['2011-12-31 23:59'] 会触发 KeyError，这是因为 2012-12-31 23:59与索引的精度一样，但没有叫这个名字的列。

为了实现精准切片，要用 .loc 对行进行切片或选择。

  1. In [130]: dft_minute.loc['2011-12-31 23:59']
  2. Out[130]: 
  3. a    1
  4. b    4
  5. Name: 2011-12-31 23:59:00, dtype: int64

:::

注意：DatetimeIndex 精度不能低于日。

  1. In [131]: series_monthly = pd.Series([1, 2, 3],
  2.    .....:                            pd.DatetimeIndex(['2011-12', '2012-01', '2012-02']))
  3.    .....: 
  5. In [132]: series_monthly.index.resolution
  6. Out[132]: 'day'
  8. In [133]: series_monthly['2011-12']  # 返回的是 Series
  9. Out[133]: 
  10. 2011-12-01    1
  11. dtype: int64

精确索引

正如上节所述，局部字符串依靠时间段的精度索引 DatetimeIndex，即时间间隔与索引精度相关。反之，用 Timestamp 或 datetime 索引更精准，这些对象指定的时间更精确。注意，精确索引包含了起始时点。

就算没有显式指定，Timestamp 与datetime 也支持 hours、minutes、seconds，默认值为 0。

  1. In [134]: dft[datetime.datetime(2013, 1, 1):datetime.datetime(2013, 2, 28)]
  2. Out[134]: 
  3.                             A
  4. 2013-01-01 00:00:00  0.276232
  5. 2013-01-01 00:01:00 -1.087401
  6. 2013-01-01 00:02:00 -0.673690
  7. 2013-01-01 00:03:00  0.113648
  8. 2013-01-01 00:04:00 -1.478427
  9. ...                       ...
  10. 2013-02-27 23:56:00  1.197749
  11. 2013-02-27 23:57:00  0.720521
  12. 2013-02-27 23:58:00 -0.072718
  13. 2013-02-27 23:59:00 -0.681192
  14. 2013-02-28 00:00:00 -0.557501
  16. [83521 rows x 1 columns]

不用默认值。

  1. In [135]: dft[datetime.datetime(2013, 1, 1, 10, 12, 0):
  2.    .....:     datetime.datetime(2013, 2, 28, 10, 12, 0)]
  3.    .....: 
  4. Out[135]: 
  5.                             A
  6. 2013-01-01 10:12:00  0.565375
  7. 2013-01-01 10:13:00  0.068184
  8. 2013-01-01 10:14:00  0.788871
  9. 2013-01-01 10:15:00 -0.280343
  10. 2013-01-01 10:16:00  0.931536
  11. ...                       ...
  12. 2013-02-28 10:08:00  0.148098
  13. 2013-02-28 10:09:00 -0.388138
  14. 2013-02-28 10:10:00  0.139348
  15. 2013-02-28 10:11:00  0.085288
  16. 2013-02-28 10:12:00  0.950146
  18. [83521 rows x 1 columns]

截断与花式索引

truncate() 便捷函数与切片类似。注意，与切片返回的是部分匹配日期不同， truncate 假设 DatetimeIndex 里未标明时间组件的值为 0。

  1. In [136]: rng2 = pd.date_range('2011-01-01', '2012-01-01', freq='W')
  3. In [137]: ts2 = pd.Series(np.random.randn(len(rng2)), index=rng2)
  5. In [138]: ts2.truncate(before='2011-11', after='2011-12')
  6. Out[138]: 
  7. 2011-11-06    0.437823
  8. 2011-11-13   -0.293083
  9. 2011-11-20   -0.059881
  10. 2011-11-27    1.252450
  11. Freq: W-SUN, dtype: float64
  13. In [139]: ts2['2011-11':'2011-12']
  14. Out[139]: 
  15. 2011-11-06    0.437823
  16. 2011-11-13   -0.293083
  17. 2011-11-20   -0.059881
  18. 2011-11-27    1.252450
  19. 2011-12-04    0.046611
  20. 2011-12-11    0.059478
  21. 2011-12-18   -0.286539
  22. 2011-12-25    0.841669
  23. Freq: W-SUN, dtype: float64

花式索引返回 DatetimeIndex， 但因为打乱了 DatetimeIndex 频率，丢弃了频率信息，见 freq=None：

  1. In [140]: ts2[[0, 2, 6]].index
  2. Out[140]: DatetimeIndex(['2011-01-02', '2011-01-16', '2011-02-13'], dtype='datetime64[ns]', freq=None)

6.7. 日期/时间组件

以下日期/时间属性可以访问 Timestamp 或 DatetimeIndex。

属性说明
yeardatetime 的年
monthdatetime 的月
daydatetime 的日
hourdatetime 的小时
minutedatetime 的分钟
seconddatetime 的秒
microseconddatetime 的微秒
nanoseconddatetime 的纳秒
date返回 datetime.date（不包含时区信息）
time返回 datetime.time（不包含时区信息）
timetz返回带本地时区信息的 datetime.time
dayofyear一年里的第几天
weekofyear一年里的第几周
week一年里的第几周
dayofweek一周里的第几天，Monday=0, Sunday=6
weekday一周里的第几天，Monday=0, Sunday=6
weekday_name这一天是星期几 （如，Friday）
quarter日期所处的季节：Jan-Mar = 1，Apr-Jun = 2 等
days_in_month日期所在的月有多少天
is_month_start逻辑判断是不是月初（由频率定义）
is_month_end逻辑判断是不是月末（由频率定义）
is_quarter_start逻辑判断是不是季初（由频率定义）
is_quarter_end逻辑判断是不是季末（由频率定义）
is_year_start逻辑判断是不是年初（由频率定义）
is_year_end逻辑判断是不是年末（由频率定义）
is_leap_year逻辑判断是不是日期所在年是不是闰年

参照 .dt 访问器 一节介绍的知识点，Series 的值为 datetime 时，还可以用 .dt 访问这些属性。

6.8. DateOffset 对象

上例中，频率字符串（如，D）用于定义指定的频率：

频率字符串表示的是 DateOffset 对象及其子类。DateOffset 类似于时间差 Timedelta ，但遵循指定的日历日规则。例如，Timedelta 表示的每日时间差一直都是 24 小时，而 DateOffset 的每日偏移量则是与下一天相同的时间差，使用夏时制时，每日偏移时间有可能是 23 或 24 小时，甚至还有可能是 25 小时。不过，DateOffset 子类只能是等于或小于小时的时间单位（Hour、Minute、Second、Milli、Micro、Nano），操作类似于 Timedelta 及对应的绝对时间。

DateOffset 基础操作类似于 dateutil.relativedelta（relativedelta 文档），可按指定的日历日时间段偏移日期时间。可用算数运算符（+）或 apply 方法执行日期偏移操作。

  1. # 指定包含夏时制变迁的某天
  2. In [141]: ts = pd.Timestamp('2016-10-30 00:00:00', tz='Europe/Helsinki')
  4. # 对应的绝对时间
  5. In [142]: ts + pd.Timedelta(days=1)
  6. Out[142]: Timestamp('2016-10-30 23:00:00+0200', tz='Europe/Helsinki')
  8. # 对应的日历时间
  9. In [143]: ts + pd.DateOffset(days=1)
  10. Out[143]: Timestamp('2016-10-31 00:00:00+0200', tz='Europe/Helsinki')
  12. In [144]: friday = pd.Timestamp('2018-01-05')
  14. In [145]: friday.day_name()
  15. Out[145]: 'Friday'
  17. # 与两个工作日相加（星期五 --> 星期二）
  18. In [146]: two_business_days = 2 * pd.offsets.BDay()
  20. In [147]: two_business_days.apply(friday)
  21. Out[147]: Timestamp('2018-01-09 00:00:00')
  23. In [148]: friday + two_business_days
  24. Out[148]: Timestamp('2018-01-09 00:00:00')
  26. In [149]: (friday + two_business_days).day_name()
  27. Out[149]: 'Tuesday'

大多数 DateOffset 都支持频率字符串或偏移别名，可用作 freq 关键字参数。有效的日期偏移及频率字符串如下：

日期偏移量频率字符串说明
DateOffset无通用偏移类，默认为一个日历日
BDay 或 BusinessDay‘B’工作日
CDay 或 CustomBusinessDay‘C’自定义工作日
Week‘W’一周，可选周内固定某日
WeekOfMonth‘WOM’每月第几周的第几天
LastWeekOfMonth‘LWOM’每月最后一周的第几天
MonthEnd‘M’日历日月末
MonthBegin‘MS’日历日月初
BMonthEnd 或 BusinessMonthEnd‘BM’工作日月末
BMonthBegin 或 BusinessMonthBegin‘BMS’工作日月初
CBMonthEnd 或 CustomBusinessMonthEnd‘CBM’自定义工作日月末
CBMonthBegin 或 CustomBusinessMonthBegin‘CBMS’自定义工作日月初
SemiMonthEnd‘SM’某月第 15 天（或其它半数日期）与日历日月末
SemiMonthBegin‘SMS’日历日月初与第 15 天（或其它半数日期）
QuarterEnd‘Q’日历日季末
QuarterBegin‘QS’日历日季初
BQuarterEnd‘BQ工作日季末
BQuarterBegin‘BQS’工作日季初
FY5253Quarter‘REQ’零售季，又名 52-53 周
YearEnd‘A’日历日年末
YearBegin‘AS’ 或 ‘BYS’日历日年初
BYearEnd‘BA’工作日年末
BYearBegin‘BAS’工作日年初
FY5253‘RE’零售年（又名 52-53 周）
Easter无复活节假日
BusinessHour‘BH’工作小时
CustomBusinessHour‘CBH’自定义工作小时
Day‘D’一天
Hour‘H’一小时
Minute‘T’ 或 ‘min’一分钟
Second‘S’一秒
Milli‘L’ 或 ‘ms’一毫秒
Micro‘U’ 或 ‘us’一微秒
Nano‘N’一纳秒

DateOffset 还支持 rollforward() 与 rollback() 方法，按偏移量把某一日期向前或向后移动至有效偏移日期。例如，工作日偏移滚动日期时会跳过周末（即，星期六与星期日），直接到星期一，因为工作日偏移针对的是工作日。

  1. In [150]: ts = pd.Timestamp('2018-01-06 00:00:00')
  3. In [151]: ts.day_name()
  4. Out[151]: 'Saturday'
  6. # 工作时间的有效偏移日期为星期一至星期五
  7. In [152]: offset = pd.offsets.BusinessHour(start='09:00')
  9. # 向前偏移到最近的工作日，即星期一
  10. In [153]: offset.rollforward(ts)
  11. Out[153]: Timestamp('2018-01-08 09:00:00')
  13. # 向前偏移至最近的工作日，同时，小时也相应增加了
  14. In [154]: ts + offset
  15. Out[154]: Timestamp('2018-01-08 10:00:00')

这些操作默认保存时间（小时、分钟等）信息。normalize() 可以把时间重置为午夜零点，是否应用此操作，取决于是否需要保留时间信息。

  1. In [155]: ts = pd.Timestamp('2014-01-01 09:00')
  3. In [156]: day = pd.offsets.Day()
  5. In [157]: day.apply(ts)
  6. Out[157]: Timestamp('2014-01-02 09:00:00')
  8. In [158]: day.apply(ts).normalize()
  9. Out[158]: Timestamp('2014-01-02 00:00:00')
  11. In [159]: ts = pd.Timestamp('2014-01-01 22:00')
  13. In [160]: hour = pd.offsets.Hour()
  15. In [161]: hour.apply(ts)
  16. Out[161]: Timestamp('2014-01-01 23:00:00')
  18. In [162]: hour.apply(ts).normalize()
  19. Out[162]: Timestamp('2014-01-01 00:00:00')
  21. In [163]: hour.apply(pd.Timestamp("2014-01-01 23:30")).normalize()
  22. Out[163]: Timestamp('2014-01-02 00:00:00')

参数偏移

偏移量支持参数，可以让不同操作生成不同结果。例如，Week 偏移生成每周数据时支持 weekday 参数，生成日期始终位于一周中的指定日期。

  1. In [164]: d = datetime.datetime(2008, 8, 18, 9, 0)
  3. In [165]: d
  4. Out[165]: datetime.datetime(2008, 8, 18, 9, 0)
  6. In [166]: d + pd.offsets.Week()
  7. Out[166]: Timestamp('2008-08-25 09:00:00')
  9. In [167]: d + pd.offsets.Week(weekday=4)
  10. Out[167]: Timestamp('2008-08-22 09:00:00')
  12. In [168]: (d + pd.offsets.Week(weekday=4)).weekday()
  13. Out[168]: 4
  15. In [169]: d - pd.offsets.Week()
  16. Out[169]: Timestamp('2008-08-11 09:00:00')

加减法也支持 normalize 选项。

  1. In [170]: d + pd.offsets.Week(normalize=True)
  2. Out[170]: Timestamp('2008-08-25 00:00:00')
  4. In [171]: d - pd.offsets.Week(normalize=True)
  5. Out[171]: Timestamp('2008-08-11 00:00:00')

YearEnd 也支持参数，如 month 参数，用于指定月份 。

  1. In [172]: d + pd.offsets.YearEnd()
  2. Out[172]: Timestamp('2008-12-31 09:00:00')
  4. In [173]: d + pd.offsets.YearEnd(month=6)
  5. Out[173]: Timestamp('2009-06-30 09:00:00')

Series 与 DatetimeIndex 偏移

可以为 Series 或 DatetimeIndex 里的每个元素应用偏移。

  1. In [174]: rng = pd.date_range('2012-01-01', '2012-01-03')
  3. In [175]: s = pd.Series(rng)
  5. In [176]: rng
  6. Out[176]: DatetimeIndex(['2012-01-01', '2012-01-02', '2012-01-03'], dtype='datetime64[ns]', freq='D')
  8. In [177]: rng + pd.DateOffset(months=2)
  9. Out[177]: DatetimeIndex(['2012-03-01', '2012-03-02', '2012-03-03'], dtype='datetime64[ns]', freq='D')
  11. In [178]: s + pd.DateOffset(months=2)
  12. Out[178]: 
  13. 0   2012-03-01
  14. 1   2012-03-02
  15. 2   2012-03-03
  16. dtype: datetime64[ns]
  18. In [179]: s - pd.DateOffset(months=2)
  19. Out[179]: 
  20. 0   2011-11-01
  21. 1   2011-11-02
  22. 2   2011-11-03
  23. dtype: datetime64[ns]

如果偏移直接映射 Timedelta （Day、Hour、Minute、Second、Micro、Milli、Nano），则该偏移与 Timedelta 的使用方式完全一样。参阅时间差 - Timedelta，查看更多示例。

  1. In [180]: s - pd.offsets.Day(2)
  2. Out[180]: 
  3. 0   2011-12-30
  4. 1   2011-12-31
  5. 2   2012-01-01
  6. dtype: datetime64[ns]
  8. In [181]: td = s - pd.Series(pd.date_range('2011-12-29', '2011-12-31'))
  10. In [182]: td
  11. Out[182]: 
  12. 0   3 days
  13. 1   3 days
  14. 2   3 days
  15. dtype: timedelta64[ns]
  17. In [183]: td + pd.offsets.Minute(15)
  18. Out[183]: 
  19. 0   3 days 00:15:00
  20. 1   3 days 00:15:00
  21. 2   3 days 00:15:00
  22. dtype: timedelta64[ns]

注意，某些偏移量（如 BQuarterEnd）不支持矢量操作，即使可以执行运算，速度也非常慢，并可能显示 PerformanceWaring（性能警告）。

  1. In [184]: rng + pd.offsets.BQuarterEnd()
  2. Out[184]: DatetimeIndex(['2012-03-30', '2012-03-30', '2012-03-30'], dtype='datetime64[ns]', freq='D')

自定义工作日

Cday 或 CustomBusinessDay 类可以参数化 BusinessDay 类，用于创建支持本地周末与传统节假日的自定义工作日历。

下面这个例子就很有意思，知道吗？埃及的周末是星期五与星期六。

  1. In [185]: weekmask_egypt = 'Sun Mon Tue Wed Thu'
  4. # 下面是 2012 - 2014 年的五一劳动节
  5. In [186]: holidays = ['2012-05-01',
  6.    .....:             datetime.datetime(2013, 5, 1),
  7.    .....:             np.datetime64('2014-05-01')]
  8.    .....: 
  10. In [187]: bday_egypt = pd.offsets.CustomBusinessDay(holidays=holidays,
  11.    .....:                                           weekmask=weekmask_egypt)
  12.    .....: 
  14. In [188]: dt = datetime.datetime(2013, 4, 30)
  16. In [189]: dt + 2 * bday_egypt
  17. Out[189]: Timestamp('2013-05-05 00:00:00')

下列代码实现了日期与工作日之间的映射关系。

  1. In [190]: dts = pd.date_range(dt, periods=5, freq=bday_egypt)
  3. In [191]: pd.Series(dts.weekday, dts).map(
  4.    .....:     pd.Series('Mon Tue Wed Thu Fri Sat Sun'.split()))
  5.    .....: 
  6. Out[191]: 
  7. 2013-04-30    Tue
  8. 2013-05-02    Thu
  9. 2013-05-05    Sun
  10. 2013-05-06    Mon
  11. 2013-05-07    Tue
  12. Freq: C, dtype: object

节日日历支持节假日列表。更多信息，请参阅节日日历文档。

  1. In [192]: from pandas.tseries.holiday import USFederalHolidayCalendar
  3. In [193]: bday_us = pd.offsets.CustomBusinessDay(calendar=USFederalHolidayCalendar())
  5. # 马丁路德金纪念日前的星期五
  6. In [194]: dt = datetime.datetime(2014, 1, 17)
  8. # 马丁路德金纪念日后的星期二，因为星期一放假，所以跳过了
  9. In [195]: dt + bday_us
  10. Out[195]: Timestamp('2014-01-21 00:00:00')

遵循节日日历规则的月偏移可以用正常方式定义。

  1. In [196]: bmth_us = pd.offsets.CustomBusinessMonthBegin(
  2.    .....:     calendar=USFederalHolidayCalendar())
  3.    .....: 
  5. # 跳过新年
  6. In [197]: dt = datetime.datetime(2013, 12, 17)
  8. In [198]: dt + bmth_us
  9. Out[198]: Timestamp('2014-01-02 00:00:00')
  11. # 定义带自定义偏移的日期索引
  12. In [199]: pd.date_range(start='20100101', end='20120101', freq=bmth_us)
  13. Out[199]: 
  14. DatetimeIndex(['2010-01-04', '2010-02-01', '2010-03-01', '2010-04-01',
  15.                '2010-05-03', '2010-06-01', '2010-07-01', '2010-08-02',
  16.                '2010-09-01', '2010-10-01', '2010-11-01', '2010-12-01',
  17.                '2011-01-03', '2011-02-01', '2011-03-01', '2011-04-01',
  18.                '2011-05-02', '2011-06-01', '2011-07-01', '2011-08-01',
  19.                '2011-09-01', '2011-10-03', '2011-11-01', '2011-12-01'],
  20.               dtype='datetime64[ns]', freq='CBMS')

::: tip 注意

频率字符串 ‘C’ 验证 CustomBusinessDay 日期偏移 调用，注意，CustomBusinessDay 可实现参数化，CustomBusinessDay 实例会各不相同，且频率字符串 ‘C’ 无法识别这个问题。用户应确保应用里调用的频率字符串 ‘C’ 的一致性 。

工作时间

BusinessHour 表示 BusinessDay 基础上的工作时间，用于指定开始与结束工作时间。

BusinessHour 默认的工作时间是 9:00 - 17:00。BusinessHour 加法以小时频率增加 Timestamp 。如果目标 Timestamp 超出了一小时，则要先移动到下一个工作小时，再行增加。如果超过了当日工作时间的范围，剩下的时间则添加到下一个工作日。

  1. In [200]: bh = pd.offsets.BusinessHour()
  3. In [201]: bh
  4. Out[201]: <BusinessHour: BH=09:00-17:00>
  6. # 2014 年 8 月 1 日是星期五
  7. In [202]: pd.Timestamp('2014-08-01 10:00').weekday()
  8. Out[202]: 4
  10. In [203]: pd.Timestamp('2014-08-01 10:00') + bh
  11. Out[203]: Timestamp('2014-08-01 11:00:00')
  13. # 下例等同于： pd.Timestamp('2014-08-01 09:00') + bh
  14. In [204]: pd.Timestamp('2014-08-01 08:00') + bh
  15. Out[204]: Timestamp('2014-08-01 10:00:00')
  17. # 如果计算结果为当日下班时间，则转移到下一个工作日的上班时间
  18. In [205]: pd.Timestamp('2014-08-01 16:00') + bh
  19. Out[205]: Timestamp('2014-08-04 09:00:00')
  21. # 剩下的时间也会添加到下一天
  22. In [206]: pd.Timestamp('2014-08-01 16:30') + bh
  23. Out[206]: Timestamp('2014-08-04 09:30:00')
  25. # 添加 2 个工作小时
  26. In [207]: pd.Timestamp('2014-08-01 10:00') + pd.offsets.BusinessHour(2)
  27. Out[207]: Timestamp('2014-08-01 12:00:00')
  29. # 减掉 3 个工作小时
  30. In [208]: pd.Timestamp('2014-08-01 10:00') + pd.offsets.BusinessHour(-3)
  31. Out[208]: Timestamp('2014-07-31 15:00:00')

还可以用关键字指定 start 与 end 时间。参数必须是hour:minute 格式的字符串或 datetime.time 实例。把秒、微秒、纳秒设置为工作时间会导致 ValueError。

  1. In [209]: bh = pd.offsets.BusinessHour(start='11:00', end=datetime.time(20, 0))
  3. In [210]: bh
  4. Out[210]: <BusinessHour: BH=11:00-20:00>
  6. In [211]: pd.Timestamp('2014-08-01 13:00') + bh
  7. Out[211]: Timestamp('2014-08-01 14:00:00')
  9. In [212]: pd.Timestamp('2014-08-01 09:00') + bh
  10. Out[212]: Timestamp('2014-08-01 12:00:00')
  12. In [213]: pd.Timestamp('2014-08-01 18:00') + bh
  13. Out[213]: Timestamp('2014-08-01 19:00:00')

start 时间晚于 end 时间表示夜班工作时间。此时，工作时间将从午夜延至第二天。工作时间是否有效取决于该时间是否开始于有效的 BusinessDay。

  1. In [214]: bh = pd.offsets.BusinessHour(start='17:00', end='09:00')
  3. In [215]: bh
  4. Out[215]: <BusinessHour: BH=17:00-09:00>
  6. In [216]: pd.Timestamp('2014-08-01 17:00') + bh
  7. Out[216]: Timestamp('2014-08-01 18:00:00')
  9. In [217]: pd.Timestamp('2014-08-01 23:00') + bh
  10. Out[217]: Timestamp('2014-08-02 00:00:00')
  12. # 虽然 2014 年 8 月 2 日是星期六，
  13. # 但因为工作时间开始于星期五，因此，也是有效的
  14. In [218]: pd.Timestamp('2014-08-02 04:00') + bh
  15. Out[218]: Timestamp('2014-08-02 05:00:00')
  18. # 虽然 2014 年 8 月 4 日是星期一，
  19. # 但开始时间是星期日，因此，超出了工作时间
  20. In [219]: pd.Timestamp('2014-08-04 04:00') + bh
  21. Out[219]: Timestamp('2014-08-04 18:00:00')

BusinessHour.rollforward 与 rollback 操作将前滚至下一天的上班时间，或回滚至前一天的下班时间。与其它偏移量不同，BusinessHour.rollforward 输出与 apply 定义不同的结果。

这是因为一天工作时间的结束等同于第二天工作时间的开始。默认情况下，工作时间为 9:00 - 17:00，Pandas 认为 2014-08-01 17:00 与 2014-08-04 09:00 之间的时间间隔为 0 分钟。

  1. # 把时间戳回滚到前一天的下班时间
  2. In [220]: pd.offsets.BusinessHour().rollback(pd.Timestamp('2014-08-02 15:00'))
  3. Out[220]: Timestamp('2014-08-01 17:00:00')
  5. # 把时间戳前滚到下一个工作日的上班时间
  6. In [221]: pd.offsets.BusinessHour().rollforward(pd.Timestamp('2014-08-02 15:00'))
  7. Out[221]: Timestamp('2014-08-04 09:00:00')
  9. # 等同于：BusinessHour().apply(pd.Timestamp('2014-08-01 17:00'))
  10. # 与 BusinessHour().apply(pd.Timestamp('2014-08-04 09:00'))
  11. In [222]: pd.offsets.BusinessHour().apply(pd.Timestamp('2014-08-02 15:00'))
  12. Out[222]: Timestamp('2014-08-04 10:00:00')
  14. # 工作日的结果（仅供参考）
  15. In [223]: pd.offsets.BusinessHour().rollforward(pd.Timestamp('2014-08-02'))
  16. Out[223]: Timestamp('2014-08-04 09:00:00')
  18. # 等同于 BusinessDay().apply(pd.Timestamp('2014-08-01'))
  19. # 等同于 rollforward 因为工作日不会重叠
  20. In [224]: pd.offsets.BusinessHour().apply(pd.Timestamp('2014-08-02'))
  21. Out[224]: Timestamp('2014-08-04 10:00:00')

BusinessHour 把星期六与星期日当成假日。CustomBusinessHour 可以把节假日设为工作时间，详见下文。

自定义工作时间

0.18.1 版新增。

CustomBusinessHour 是 BusinessHour 和 CustomBusinessDay 的混合体，可以指定任意节假日。除了跳过自定义节假日之外，CustomBusinessHour 的运作方式与 BusinessHour 一样。

  1. In [225]: from pandas.tseries.holiday import USFederalHolidayCalendar
  3. In [226]: bhour_us = pd.offsets.CustomBusinessHour(calendar=USFederalHolidayCalendar())
  5. # 马丁路德金纪念日之前的星期五
  6. In [227]: dt = datetime.datetime(2014, 1, 17, 15)
  8. In [228]: dt + bhour_us
  9. Out[228]: Timestamp('2014-01-17 16:00:00')
  11. # 跳至马丁路德金纪念日之后的星期二，星期一过节，所以跳过了
  12. In [229]: dt + bhour_us * 2
  13. Out[229]: Timestamp('2014-01-21 09:00:00')

BusinessHour 支持与 CustomBusinessDay 一样的关键字参数。

  1. In [230]: bhour_mon = pd.offsets.CustomBusinessHour(start='10:00',
  2.    .....:                                           weekmask='Tue Wed Thu Fri')
  3.    .....: 
  5. # 跳过了星期一，因为星期一过节，工作时间从 10 点开始
  6. In [231]: dt + bhour_mon * 2
  7. Out[231]: Timestamp('2014-01-21 10:00:00')

偏移量别名

时间序列频率的字符串别名在这里叫偏移量别名。

别名说明
B工作日频率
C自定义工作日频率
D日历日频率
W周频率
M月末频率
SM半月末频率（15 号与月末）
BM工作日月末频率
CBM自定义工作日月末频率
MS月初频率
SMS半月初频率（1 号与 15 号）
BMS工作日月初频率
CBMS自定义工作日月初频率
Q季末频率
BQ工作日季末频率
QS季初频率
BQS工作日季初频率
A, Y年末频率
BA, BY工作日年末频率
AS, YS年初频率
BAS, BYS工作日年初频率
BH工作时间频率
H小时频率
T, min分钟频率
S秒频率
L, ms毫秒
U, us微秒
N纳秒

别名组合

如前说述，别名与偏移量实例在绝大多数函数里可以互换：

  1. In [232]: pd.date_range(start, periods=5, freq='B')
  2. Out[232]: 
  3. DatetimeIndex(['2011-01-03', '2011-01-04', '2011-01-05', '2011-01-06',
  4.                '2011-01-07'],
  5.               dtype='datetime64[ns]', freq='B')
  7. In [233]: pd.date_range(start, periods=5, freq=pd.offsets.BDay())
  8. Out[233]: 
  9. DatetimeIndex(['2011-01-03', '2011-01-04', '2011-01-05', '2011-01-06',
  10.                '2011-01-07'],
  11.               dtype='datetime64[ns]', freq='B')

可以组合日与当日偏移量。

  1. In [234]: pd.date_range(start, periods=10, freq='2h20min')
  2. Out[234]: 
  3. DatetimeIndex(['2011-01-01 00:00:00', '2011-01-01 02:20:00',
  4.                '2011-01-01 04:40:00', '2011-01-01 07:00:00',
  5.                '2011-01-01 09:20:00', '2011-01-01 11:40:00',
  6.                '2011-01-01 14:00:00', '2011-01-01 16:20:00',
  7.                '2011-01-01 18:40:00', '2011-01-01 21:00:00'],
  8.               dtype='datetime64[ns]', freq='140T')
  10. In [235]: pd.date_range(start, periods=10, freq='1D10U')
  11. Out[235]: 
  12. DatetimeIndex([       '2011-01-01 00:00:00', '2011-01-02 00:00:00.000010',
  13.                '2011-01-03 00:00:00.000020', '2011-01-04 00:00:00.000030',
  14.                '2011-01-05 00:00:00.000040', '2011-01-06 00:00:00.000050',
  15.                '2011-01-07 00:00:00.000060', '2011-01-08 00:00:00.000070',
  16.                '2011-01-09 00:00:00.000080', '2011-01-10 00:00:00.000090'],
  17.               dtype='datetime64[ns]', freq='86400000010U')

锚定偏移量

可以指定某些频率的锚定后缀：

别名说明
W-SUN周频率（星期日），与 “W” 相同
W-MON周频率（星期一）
W-TUE周频率（星期二）
W-WED周频率（星期三）
W-THU周频率（星期四）
W-FRI周频率（星期五）
W-SAT周频率（星期六）
(B)Q(S)-DEC季频率，该年结束于十二月，与 “Q” 相同
(B)Q(S)-JAN季频率，该年结束于一月
(B)Q(S)-FEB季频率，该年结束于二月
(B)Q(S)-MAR季频率，该年结束于三月
(B)Q(S)-APR季频率，该年结束于四月
(B)Q(S)-MAY季频率，该年结束于五月
(B)Q(S)-JUN季频率，该年结束于六月
(B)Q(S)-JUL季频率，该年结束于七月
(B)Q(S)-AUG季频率，该年结束于八月
(B)Q(S)-SEP季频率，该年结束于九月
(B)Q(S)-OCT季频率，该年结束于十月
(B)Q(S)-NOV季频率，该年结束于十一月
(B)A(S)-DEC年频率，锚定结束于十二月，与 “A” 相同
(B)A(S)-JAN年频率，锚定结束于一月
(B)A(S)-FEB年频率，锚定结束于二月
(B)A(S)-MAR年频率，锚定结束于三月
(B)A(S)-APR年频率，锚定结束于四月
(B)A(S)-MAY年频率，锚定结束于五月
(B)A(S)-JUN年频率，锚定结束于六月
(B)A(S)-JUL年频率，锚定结束于七月
(B)A(S)-AUG年频率，锚定结束于八月
(B)A(S)-SEP年频率，锚定结束于九月
(B)A(S)-OCT年频率，锚定结束于十月
(B)A(S)-NOV年频率，锚定结束于十一月

这些别名可以用作 date_range、bdate_range 、DatetimeIndex 及其它时间序列函数的参数。

锚定偏移量的含义

对于偏移量锚定于开始或结束指定频率（MonthEnd、MonthBegin、WeekEnd 等）下列规则应用于前滚与后滚。

n 不为 0 时，如果给定日期不是锚定日期，将寻找下一个或上一个锚点，并向前或向后移动 |n|-1 步。

  1. In [236]: pd.Timestamp('2014-01-02') + pd.offsets.MonthBegin(n=1)
  2. Out[236]: Timestamp('2014-02-01 00:00:00')
  4. In [237]: pd.Timestamp('2014-01-02') + pd.offsets.MonthEnd(n=1)
  5. Out[237]: Timestamp('2014-01-31 00:00:00')
  7. In [238]: pd.Timestamp('2014-01-02') - pd.offsets.MonthBegin(n=1)
  8. Out[238]: Timestamp('2014-01-01 00:00:00')
  10. In [239]: pd.Timestamp('2014-01-02') - pd.offsets.MonthEnd(n=1)
  11. Out[239]: Timestamp('2013-12-31 00:00:00')
  13. In [240]: pd.Timestamp('2014-01-02') + pd.offsets.MonthBegin(n=4)
  14. Out[240]: Timestamp('2014-05-01 00:00:00')
  16. In [241]: pd.Timestamp('2014-01-02') - pd.offsets.MonthBegin(n=4)
  17. Out[241]: Timestamp('2013-10-01 00:00:00')

如果给定日期是锚定日期，则向前（或向后）移动 |n| 个点。

  1. In [242]: pd.Timestamp('2014-01-01') + pd.offsets.MonthBegin(n=1)
  2. Out[242]: Timestamp('2014-02-01 00:00:00')
  4. In [243]: pd.Timestamp('2014-01-31') + pd.offsets.MonthEnd(n=1)
  5. Out[243]: Timestamp('2014-02-28 00:00:00')
  7. In [244]: pd.Timestamp('2014-01-01') - pd.offsets.MonthBegin(n=1)
  8. Out[244]: Timestamp('2013-12-01 00:00:00')
  10. In [245]: pd.Timestamp('2014-01-31') - pd.offsets.MonthEnd(n=1)
  11. Out[245]: Timestamp('2013-12-31 00:00:00')
  13. In [246]: pd.Timestamp('2014-01-01') + pd.offsets.MonthBegin(n=4)
  14. Out[246]: Timestamp('2014-05-01 00:00:00')
  16. In [247]: pd.Timestamp('2014-01-31') - pd.offsets.MonthBegin(n=4)
  17. Out[247]: Timestamp('2013-10-01 00:00:00')

n=0 时，如果日期在锚点，则不移动，否则将前滚至下一个锚点。

  1. In [248]: pd.Timestamp('2014-01-02') + pd.offsets.MonthBegin(n=0)
  2. Out[248]: Timestamp('2014-02-01 00:00:00')
  4. In [249]: pd.Timestamp('2014-01-02') + pd.offsets.MonthEnd(n=0)
  5. Out[249]: Timestamp('2014-01-31 00:00:00')
  7. In [250]: pd.Timestamp('2014-01-01') + pd.offsets.MonthBegin(n=0)
  8. Out[250]: Timestamp('2014-01-01 00:00:00')
  10. In [251]: pd.Timestamp('2014-01-31') + pd.offsets.MonthEnd(n=0)
  11. Out[251]: Timestamp('2014-01-31 00:00:00')

假日与节日日历

用假日与日历可以轻松定义 CustomBusinessDay 假日规则，或其它分析所需的预设假日。AbstractHolidayCalendar 类支持所有返回假日列表的方法，并且仅需在指定假日日历类里定义 rules 。start_date 与 end_date 类属性决定了假日的范围。该操作会覆盖 AbstractHolidayCalendar 类，适用于所有日历子类。USFederalHolidayCalendar 是仅有的假日日历，主要用作开发其它日历的示例。

固定日期的假日，如美国阵亡将士纪念日或美国国庆日（7 月 4 日），取决于该假日是否是在周末，可以使用以下规则：

规则说明
nearest_workday把星期六移至星期五，星期日移至星期一
sunday_to_monday星期六紧接着星期一
next_monday_or_tuesday把星期六移至星期一，并把星期日/星期一移至星期二
previous_friday把星期六与星期日移至上一个星期五
next_monday把星期六与星期日移至下一个星期一

下例展示如何定义假日与假日日历：

  1. In [252]: from pandas.tseries.holiday import Holiday, USMemorialDay,\
  2.    .....:     AbstractHolidayCalendar, nearest_workday, MO
  3.    .....: 
  5. In [253]: class ExampleCalendar(AbstractHolidayCalendar):
  6.    .....:     rules = [
  7.    .....:         USMemorialDay,
  8.    .....:         Holiday('July 4th', month=7, day=4, observance=nearest_workday),
  9.    .....:         Holiday('Columbus Day', month=10, day=1,
  10.    .....:                 offset=pd.DateOffset(weekday=MO(2)))]
  11.    .....: 
  13. In [254]: cal = ExampleCalendar()
  15. In [255]: cal.holidays(datetime.datetime(2012, 1, 1), datetime.datetime(2012, 12, 31))
  16. Out[255]: DatetimeIndex(['2012-05-28', '2012-07-04', '2012-10-08'], dtype='datetime64[ns]', freq=None)

::: tip 提示

weekday=MO(2) 与 2 * Week(weekday=2) 相同。

:::

用这个日历创建索引，或计算偏移量，将跳过周末与假日（如，纪念日与国庆节）。下列代码用 ExampleCalendar 设定自定义工作日偏移量。至于其它偏移量，可以用于创建 DatetimeIndex 或添加到 datetime 与 Timestamp 对象。

  1. In [256]: pd.date_range(start='7/1/2012', end='7/10/2012',
  2.    .....:               freq=pd.offsets.CDay(calendar=cal)).to_pydatetime()
  3.    .....: 
  4. Out[256]: 
  5. array([datetime.datetime(2012, 7, 2, 0, 0),
  6.        datetime.datetime(2012, 7, 3, 0, 0),
  7.        datetime.datetime(2012, 7, 5, 0, 0),
  8.        datetime.datetime(2012, 7, 6, 0, 0),
  9.        datetime.datetime(2012, 7, 9, 0, 0),
  10.        datetime.datetime(2012, 7, 10, 0, 0)], dtype=object)
  12. In [257]: offset = pd.offsets.CustomBusinessDay(calendar=cal)
  14. In [258]: datetime.datetime(2012, 5, 25) + offset
  15. Out[258]: Timestamp('2012-05-29 00:00:00')
  17. In [259]: datetime.datetime(2012, 7, 3) + offset
  18. Out[259]: Timestamp('2012-07-05 00:00:00')
  20. In [260]: datetime.datetime(2012, 7, 3) + 2 * offset
  21. Out[260]: Timestamp('2012-07-06 00:00:00')
  23. In [261]: datetime.datetime(2012, 7, 6) + offset
  24. Out[261]: Timestamp('2012-07-09 00:00:00')

AbstractHolidayCalendar 的类属性 start_date 与 end_date 定义日期范围。默认值如下：

  1. In [262]: AbstractHolidayCalendar.start_date
  2. Out[262]: Timestamp('1970-01-01 00:00:00')
  4. In [263]: AbstractHolidayCalendar.end_date
  5. Out[263]: Timestamp('2030-12-31 00:00:00')

这两个日期可以用 datetime、Timestamp、字符串 修改。

  1. In [264]: AbstractHolidayCalendar.start_date = datetime.datetime(2012, 1, 1)
  3. In [265]: AbstractHolidayCalendar.end_date = datetime.datetime(2012, 12, 31)
  5. In [266]: cal.holidays()
  6. Out[266]: DatetimeIndex(['2012-05-28', '2012-07-04', '2012-10-08'], dtype='datetime64[ns]', freq=None)

get_calender 函数通过日历名称访问日历，返回的是日历实例。任意导入的日历都自动适用于此函数。同时，HolidayCalendarFactory 还提供了一个创建日历组合或含附加规则日历的简易接口。

  1. In [267]: from pandas.tseries.holiday import get_calendar, HolidayCalendarFactory,\
  2.    .....:     USLaborDay
  3.    .....: 
  5. In [268]: cal = get_calendar('ExampleCalendar')
  7. In [269]: cal.rules
  8. Out[269]: 
  9. [Holiday: Memorial Day (month=5, day=31, offset=<DateOffset: weekday=MO(-1)>),
  10.  Holiday: July 4th (month=7, day=4, observance=<function nearest_workday at 0x7f2460862c20>),
  11.  Holiday: Columbus Day (month=10, day=1, offset=<DateOffset: weekday=MO(+2)>)]
  13. In [270]: new_cal = HolidayCalendarFactory('NewExampleCalendar', cal, USLaborDay)
  15. In [271]: new_cal.rules
  16. Out[271]: 
  17. [Holiday: Labor Day (month=9, day=1, offset=<DateOffset: weekday=MO(+1)>),
  18.  Holiday: Memorial Day (month=5, day=31, offset=<DateOffset: weekday=MO(-1)>),
  19.  Holiday: July 4th (month=7, day=4, observance=<function nearest_workday at 0x7f2460862c20>),
  20.  Holiday: Columbus Day (month=10, day=1, offset=<DateOffset: weekday=MO(+2)>)]

6.9. 时间序列实例方法

移位与延迟

有时，需要整体向前或向后移动时间序列里的值，这就是移位与延迟。实现这一操作的方法是 shift()，该方法适用于所有 Pandas 对象。

  1. In [272]: ts = pd.Series(range(len(rng)), index=rng)
  3. In [273]: ts = ts[:5]
  5. In [274]: ts.shift(1)
  6. Out[274]: 
  7. 2012-01-01    NaN
  8. 2012-01-02    0.0
  9. 2012-01-03    1.0
  10. Freq: D, dtype: float64

shift 方法支持 freq 参数，可以把 DateOffset、timedelta 对象、偏移量别名 作为参数值：

  1. In [275]: ts.shift(5, freq=pd.offsets.BDay())
  2. Out[275]: 
  3. 2012-01-06    0
  4. 2012-01-09    1
  5. 2012-01-10    2
  6. Freq: B, dtype: int64
  8. In [276]: ts.shift(5, freq='BM')
  9. Out[276]: 
  10. 2012-05-31    0
  11. 2012-05-31    1
  12. 2012-05-31    2
  13. Freq: D, dtype: int64

除更改数据与索引的对齐方式外，DataFrame 与 Series 对象还提供了 tshift() 便捷方法，可以指定偏移量修改索引日期。

  1. In [277]: ts.tshift(5, freq='D')
  2. Out[277]: 
  3. 2012-01-06    0
  4. 2012-01-07    1
  5. 2012-01-08    2
  6. Freq: D, dtype: int64

注意，使用 tshift() 时，因为数据没有重对齐，NaN 不会排在前面。

频率转换

改变频率的函数主要是 asfreq()。对于 DatetimeIndex，这就是一个调用 reindex()，并生成 date_range 的便捷打包器。

  1. In [278]: dr = pd.date_range('1/1/2010', periods=3, freq=3 * pd.offsets.BDay())
  3. In [279]: ts = pd.Series(np.random.randn(3), index=dr)
  5. In [280]: ts
  6. Out[280]: 
  7. 2010-01-01    1.494522
  8. 2010-01-06   -0.778425
  9. 2010-01-11   -0.253355
  10. Freq: 3B, dtype: float64
  12. In [281]: ts.asfreq(pd.offsets.BDay())
  13. Out[281]: 
  14. 2010-01-01    1.494522
  15. 2010-01-04         NaN
  16. 2010-01-05         NaN
  17. 2010-01-06   -0.778425
  18. 2010-01-07         NaN
  19. 2010-01-08         NaN
  20. 2010-01-11   -0.253355
  21. Freq: B, dtype: float64

asfreq 用起来很方便，可以为频率转化后出现的任意间隔指定插值方法。

  1. In [282]: ts.asfreq(pd.offsets.BDay(), method='pad')
  2. Out[282]: 
  3. 2010-01-01    1.494522
  4. 2010-01-04    1.494522
  5. 2010-01-05    1.494522
  6. 2010-01-06   -0.778425
  7. 2010-01-07   -0.778425
  8. 2010-01-08   -0.778425
  9. 2010-01-11   -0.253355
  10. Freq: B, dtype: float64

向前与向后填充

与 asfreq 与 reindex 相关的是 fillna()，有关文档请参阅缺失值。

转换 Python 日期与时间

用 to_datetime 方法可以把DatetimeIndex 转换为 Python 原生 datetime.datetime 对象数组。

6.10. 重采样

::: danger 警告

0.18.0 版修改了 .resample 接口，现在的 .resample 更灵活，更像 groupby。参阅更新文档 ，对比新旧版本操作的区别。

:::

Pandas 有一个虽然简单，但却强大、高效的功能，可在频率转换时执行重采样，如，将秒数据转换为 5 分钟数据，这种操作在金融等领域里的应用非常广泛。

resample() 是基于时间的分组操作，每个组都遵循归纳方法。参阅 Cookbook 示例了解高级应用。

从 0.18.0 版开始，resample() 可以直接用于 DataFrameGroupBy 对象，参阅 groupby 文档。

::: tip 注意

.resample() 类似于基于时间偏移量的 rolling() 操作，请参阅这里的讨论。

:::

基础知识

  1. In [283]: rng = pd.date_range('1/1/2012', periods=100, freq='S')
  3. In [284]: ts = pd.Series(np.random.randint(0, 500, len(rng)), index=rng)
  5. In [285]: ts.resample('5Min').sum()
  6. Out[285]: 
  7. 2012-01-01    25103
  8. Freq: 5T, dtype: int64

resample 函数非常灵活，可以指定多种频率转换与重采样参数。

任何支持派送（dispatch）的函数都可用于 resample 返回对象，包括 sum、mean、std、sem、max、min、mid、median、first、last、ohlc：

  1. In [286]: ts.resample('5Min').mean()
  2. Out[286]: 
  3. 2012-01-01    251.03
  4. Freq: 5T, dtype: float64
  6. In [287]: ts.resample('5Min').ohlc()
  7. Out[287]: 
  8.             open  high  low  close
  9. 2012-01-01   308   460    9    205
  11. In [288]: ts.resample('5Min').max()
  12. Out[288]: 
  13. 2012-01-01    460
  14. Freq: 5T, dtype: int64

对于下采样，closed 可以设置为left 或 right，用于指定关闭哪一端间隔：

  1. In [289]: ts.resample('5Min', closed='right').mean()
  2. Out[289]: 
  3. 2011-12-31 23:55:00    308.000000
  4. 2012-01-01 00:00:00    250.454545
  5. Freq: 5T, dtype: float64
  7. In [290]: ts.resample('5Min', closed='left').mean()
  8. Out[290]: 
  9. 2012-01-01    251.03
  10. Freq: 5T, dtype: float64

label、loffset 等参数用于生成标签。label 指定生成的结果是否要为间隔标注起始时间。loffset 调整输出标签的时间。

  1. In [291]: ts.resample('5Min').mean()  # 默认为 label='left'
  2. Out[291]: 
  3. 2012-01-01    251.03
  4. Freq: 5T, dtype: float64
  6. In [292]: ts.resample('5Min', label='left').mean()
  7. Out[292]: 
  8. 2012-01-01    251.03
  9. Freq: 5T, dtype: float64
  11. In [293]: ts.resample('5Min', label='left', loffset='1s').mean()
  12. Out[293]: 
  13. 2012-01-01 00:00:01    251.03
  14. dtype: float64

::: danger 警告

除了 M、A、Q、BM、BA、BQ、W 的默认值是 right 外，其它频率偏移量的 label 与 closed 默认值都是 left。

这种操作可能会导致时间回溯，即后面的时间会被拉回到前面的时间，如下例的 BusinessDay 频率所示。

  1. In [294]: s = pd.date_range('2000-01-01', '2000-01-05').to_series()
  3. In [295]: s.iloc[2] = pd.NaT
  5. In [296]: s.dt.weekday_name
  6. Out[296]: 
  7. 2000-01-01     Saturday
  8. 2000-01-02       Sunday
  9. 2000-01-03          NaN
  10. 2000-01-04      Tuesday
  11. 2000-01-05    Wednesday
  12. Freq: D, dtype: object
  14. # 默认为：label='left', closed='left'
  15. In [297]: s.resample('B').last().dt.weekday_name
  16. Out[297]: 
  17. 1999-12-31       Sunday
  18. 2000-01-03          NaN
  19. 2000-01-04      Tuesday
  20. 2000-01-05    Wednesday
  21. Freq: B, dtype: object

看到了吗？星期日被拉回到了上一个星期五。要想把星期日移至星期一，改用以下代码：

  1. In [298]: s.resample('B', label='right', closed='right').last().dt.weekday_name
  2. Out[298]: 
  3. 2000-01-03       Sunday
  4. 2000-01-04      Tuesday
  5. 2000-01-05    Wednesday
  6. Freq: B, dtype: object

:::

axis 参数的值为 0 或 1，并可指定 DataFrame 重采样的轴。

kind 参数可以是 timestamp 或 period，转换为时间戳或时间段形式的索引。resample 默认保留输入的日期时间形式。

重采样 period 数据时（详情见下文），convention 可以设置为 start 或 end。指定低频时间段如何转换为高频时间段。

上采样

上采样可以指定上采样的方式及插入时间间隔的 limit 参数：

  1. # 从秒到每 250 毫秒
  2. In [299]: ts[:2].resample('250L').asfreq()
  3. Out[299]: 
  4. 2012-01-01 00:00:00.000    308.0
  5. 2012-01-01 00:00:00.250      NaN
  6. 2012-01-01 00:00:00.500      NaN
  7. 2012-01-01 00:00:00.750      NaN
  8. 2012-01-01 00:00:01.000    204.0
  9. Freq: 250L, dtype: float64
  11. In [300]: ts[:2].resample('250L').ffill()
  12. Out[300]: 
  13. 2012-01-01 00:00:00.000    308
  14. 2012-01-01 00:00:00.250    308
  15. 2012-01-01 00:00:00.500    308
  16. 2012-01-01 00:00:00.750    308
  17. 2012-01-01 00:00:01.000    204
  18. Freq: 250L, dtype: int64
  20. In [301]: ts[:2].resample('250L').ffill(limit=2)
  21. Out[301]: 
  22. 2012-01-01 00:00:00.000    308.0
  23. 2012-01-01 00:00:00.250    308.0
  24. 2012-01-01 00:00:00.500    308.0
  25. 2012-01-01 00:00:00.750      NaN
  26. 2012-01-01 00:00:01.000    204.0
  27. Freq: 250L, dtype: float64

稀疏重采样

相对于时间点总量，稀疏时间序列重采样的点要少很多。单纯上采样稀疏系列可能会生成很多中间值。未指定填充值，即 fill_method 是 None 时，中间值将填充为 NaN。

鉴于 resample 是基于时间的分组，下列这种方法可以有效重采样，只是分组不是都为 NaN。

  1. In [302]: rng = pd.date_range('2014-1-1', periods=100, freq='D') + pd.Timedelta('1s')
  3. In [303]: ts = pd.Series(range(100), index=rng)

对 Series 全范围重采样。

  1. In [304]: ts.resample('3T').sum()
  2. Out[304]: 
  3. 2014-01-01 00:00:00     0
  4. 2014-01-01 00:03:00     0
  5. 2014-01-01 00:06:00     0
  6. 2014-01-01 00:09:00     0
  7. 2014-01-01 00:12:00     0
  8.                        ..
  9. 2014-04-09 23:48:00     0
  10. 2014-04-09 23:51:00     0
  11. 2014-04-09 23:54:00     0
  12. 2014-04-09 23:57:00     0
  13. 2014-04-10 00:00:00    99
  14. Freq: 3T, Length: 47521, dtype: int64

对以下包含点的分组重采样：

  1. In [305]: from functools import partial
  3. In [306]: from pandas.tseries.frequencies import to_offset
  5. In [307]: def round(t, freq):
  6.    .....:     freq = to_offset(freq)
  7.    .....:     return pd.Timestamp((t.value // freq.delta.value) * freq.delta.value)
  8.    .....: 
  10. In [308]: ts.groupby(partial(round, freq='3T')).sum()
  11. Out[308]: 
  12. 2014-01-01     0
  13. 2014-01-02     1
  14. 2014-01-03     2
  15. 2014-01-04     3
  16. 2014-01-05     4
  17.               ..
  18. 2014-04-06    95
  19. 2014-04-07    96
  20. 2014-04-08    97
  21. 2014-04-09    98
  22. 2014-04-10    99
  23. Length: 100, dtype: int64

聚合

类似于聚合 API，Groupby API 及窗口函数 API，Resampler 可以有选择地重采样。

DataFrame 重采样，默认用相同函数操作所有列。

  1. In [309]: df = pd.DataFrame(np.random.randn(1000, 3),
  2.    .....:                   index=pd.date_range('1/1/2012', freq='S', periods=1000),
  3.    .....:                   columns=['A', 'B', 'C'])
  4.    .....: 
  6. In [310]: r = df.resample('3T')
  8. In [311]: r.mean()
  9. Out[311]: 
  10.                             A         B         C
  11. 2012-01-01 00:00:00 -0.033823 -0.121514 -0.081447
  12. 2012-01-01 00:03:00  0.056909  0.146731 -0.024320
  13. 2012-01-01 00:06:00 -0.058837  0.047046 -0.052021
  14. 2012-01-01 00:09:00  0.063123 -0.026158 -0.066533
  15. 2012-01-01 00:12:00  0.186340 -0.003144  0.074752
  16. 2012-01-01 00:15:00 -0.085954 -0.016287 -0.050046

标准 getitem 操作可以指定的一列或多列。

  1. In [312]: r['A'].mean()
  2. Out[312]: 
  3. 2012-01-01 00:00:00   -0.033823
  4. 2012-01-01 00:03:00    0.056909
  5. 2012-01-01 00:06:00   -0.058837
  6. 2012-01-01 00:09:00    0.063123
  7. 2012-01-01 00:12:00    0.186340
  8. 2012-01-01 00:15:00   -0.085954
  9. Freq: 3T, Name: A, dtype: float64
  11. In [313]: r[['A', 'B']].mean()
  12. Out[313]: 
  13.                             A         B
  14. 2012-01-01 00:00:00 -0.033823 -0.121514
  15. 2012-01-01 00:03:00  0.056909  0.146731
  16. 2012-01-01 00:06:00 -0.058837  0.047046
  17. 2012-01-01 00:09:00  0.063123 -0.026158
  18. 2012-01-01 00:12:00  0.186340 -0.003144
  19. 2012-01-01 00:15:00 -0.085954 -0.016287

聚合还支持函数列表与字典，输出的是 DataFrame。

  1. In [314]: r['A'].agg([np.sum, np.mean, np.std])
  2. Out[314]: 
  3.                            sum      mean       std
  4. 2012-01-01 00:00:00  -6.088060 -0.033823  1.043263
  5. 2012-01-01 00:03:00  10.243678  0.056909  1.058534
  6. 2012-01-01 00:06:00 -10.590584 -0.058837  0.949264
  7. 2012-01-01 00:09:00  11.362228  0.063123  1.028096
  8. 2012-01-01 00:12:00  33.541257  0.186340  0.884586
  9. 2012-01-01 00:15:00  -8.595393 -0.085954  1.035476

重采样后的 DataFrame，可以为每列指定函数列表，生成结构化索引的聚合结果：

  1. In [315]: r.agg([np.sum, np.mean])
  2. Out[315]: 
  3.                              A                    B                    C          
  4.                            sum      mean        sum      mean        sum      mean
  5. 2012-01-01 00:00:00  -6.088060 -0.033823 -21.872530 -0.121514 -14.660515 -0.081447
  6. 2012-01-01 00:03:00  10.243678  0.056909  26.411633  0.146731  -4.377642 -0.024320
  7. 2012-01-01 00:06:00 -10.590584 -0.058837   8.468289  0.047046  -9.363825 -0.052021
  8. 2012-01-01 00:09:00  11.362228  0.063123  -4.708526 -0.026158 -11.975895 -0.066533
  9. 2012-01-01 00:12:00  33.541257  0.186340  -0.565895 -0.003144  13.455299  0.074752
  10. 2012-01-01 00:15:00  -8.595393 -0.085954  -1.628689 -0.016287  -5.004580 -0.050046

把字典传递给 aggregate，可以为 DataFrame 里不同的列应用不同聚合函数。

  1. In [316]: r.agg({'A': np.sum,
  2.    .....:        'B': lambda x: np.std(x, ddof=1)})
  3.    .....: 
  4. Out[316]: 
  5.                              A         B
  6. 2012-01-01 00:00:00  -6.088060  1.001294
  7. 2012-01-01 00:03:00  10.243678  1.074597
  8. 2012-01-01 00:06:00 -10.590584  0.987309
  9. 2012-01-01 00:09:00  11.362228  0.944953
  10. 2012-01-01 00:12:00  33.541257  1.095025
  11. 2012-01-01 00:15:00  -8.595393  1.035312

还可以用字符串代替函数名。为了让字符串有效，必须在重采样对象上操作：

  1. In [317]: r.agg({'A': 'sum', 'B': 'std'})
  2. Out[317]: 
  3.                              A         B
  4. 2012-01-01 00:00:00  -6.088060  1.001294
  5. 2012-01-01 00:03:00  10.243678  1.074597
  6. 2012-01-01 00:06:00 -10.590584  0.987309
  7. 2012-01-01 00:09:00  11.362228  0.944953
  8. 2012-01-01 00:12:00  33.541257  1.095025
  9. 2012-01-01 00:15:00  -8.595393  1.035312

甚至还可以为每列单独多个聚合函数。

  1. In [318]: r.agg({'A': ['sum', 'std'], 'B': ['mean', 'std']})
  2. Out[318]: 
  3.                              A                   B          
  4.                            sum       std      mean       std
  5. 2012-01-01 00:00:00  -6.088060  1.043263 -0.121514  1.001294
  6. 2012-01-01 00:03:00  10.243678  1.058534  0.146731  1.074597
  7. 2012-01-01 00:06:00 -10.590584  0.949264  0.047046  0.987309
  8. 2012-01-01 00:09:00  11.362228  1.028096 -0.026158  0.944953
  9. 2012-01-01 00:12:00  33.541257  0.884586 -0.003144  1.095025
  10. 2012-01-01 00:15:00  -8.595393  1.035476 -0.016287  1.035312

如果 DataFrame 用的不是 datetime 型索引，则可以基于 datetime 数据列重采样，用关键字 on 控制。

  1. In [319]: df = pd.DataFrame({'date': pd.date_range('2015-01-01', freq='W', periods=5),
  2.    .....:                    'a': np.arange(5)},
  3.    .....:                   index=pd.MultiIndex.from_arrays([
  4.    .....:                       [1, 2, 3, 4, 5],
  5.    .....:                       pd.date_range('2015-01-01', freq='W', periods=5)],
  6.    .....:                       names=['v', 'd']))
  7.    .....: 
  9. In [320]: df
  10. Out[320]: 
  11.                    date  a
  12. v d                       
  13. 1 2015-01-04 2015-01-04  0
  14. 2 2015-01-11 2015-01-11  1
  15. 3 2015-01-18 2015-01-18  2
  16. 4 2015-01-25 2015-01-25  3
  17. 5 2015-02-01 2015-02-01  4
  19. In [321]: df.resample('M', on='date').sum()
  20. Out[321]: 
  21.             a
  22. date         
  23. 2015-01-31  6
  24. 2015-02-28  4

同样，还可以对 datetime MultiIndex 重采样，通过关键字 level 传递名字与位置。

  1. In [322]: df.resample('M', level='d').sum()
  2. Out[322]: 
  3.             a
  4. d            
  5. 2015-01-31  6
  6. 2015-02-28  4

分组迭代

Resampler对象迭代分组数据的操作非常自然，类似于 itertools.groupby()：

  1. In [323]: small = pd.Series(
  2.    .....:     range(6),
  3.    .....:     index=pd.to_datetime(['2017-01-01T00:00:00',
  4.    .....:                           '2017-01-01T00:30:00',
  5.    .....:                           '2017-01-01T00:31:00',
  6.    .....:                           '2017-01-01T01:00:00',
  7.    .....:                           '2017-01-01T03:00:00',
  8.    .....:                           '2017-01-01T03:05:00'])
  9.    .....: )
  10.    .....: 
  12. In [324]: resampled = small.resample('H')
  14. In [325]: for name, group in resampled:
  15.    .....:     print("Group: ", name)
  16.    .....:     print("-" * 27)
  17.    .....:     print(group, end="\n\n")
  18.    .....: 
  19. Group:  2017-01-01 00:00:00
  20. ---------------------------
  21. 2017-01-01 00:00:00    0
  22. 2017-01-01 00:30:00    1
  23. 2017-01-01 00:31:00    2
  24. dtype: int64
  26. Group:  2017-01-01 01:00:00
  27. ---------------------------
  28. 2017-01-01 01:00:00    3
  29. dtype: int64
  31. Group:  2017-01-01 02:00:00
  32. ---------------------------
  33. Series([], dtype: int64)
  35. Group:  2017-01-01 03:00:00
  36. ---------------------------
  37. 2017-01-01 03:00:00    4
  38. 2017-01-01 03:05:00    5
  39. dtype: int64

了解更多详情，请参阅分组迭代或 itertools.groupby()。

6.11. 时间跨度表示

规律时间间隔可以用 Pandas 的 Peirod 对象表示，Period 对象序列叫做 PeriodIndex，用便捷函数 period_range 创建。

Period

Period 表示时间跨度，即时间段，如年、季、月、日等。关键字 freq 与频率别名可以指定时间段。freq 表示的是 Period 的时间跨度，不能为负，如，-3D。

  1. In [326]: pd.Period('2012', freq='A-DEC')
  2. Out[326]: Period('2012', 'A-DEC')
  4. In [327]: pd.Period('2012-1-1', freq='D')
  5. Out[327]: Period('2012-01-01', 'D')
  7. In [328]: pd.Period('2012-1-1 19:00', freq='H')
  8. Out[328]: Period('2012-01-01 19:00', 'H')
  10. In [329]: pd.Period('2012-1-1 19:00', freq='5H')
  11. Out[329]: Period('2012-01-01 19:00', '5H')

时间段加减法按自身频率位移。 不同频率的时间段不可进行算术运算。

  1. In [330]: p = pd.Period('2012', freq='A-DEC')
  3. In [331]: p + 1
  4. Out[331]: Period('2013', 'A-DEC')
  6. In [332]: p - 3
  7. Out[332]: Period('2009', 'A-DEC')
  9. In [333]: p = pd.Period('2012-01', freq='2M')
  11. In [334]: p + 2
  12. Out[334]: Period('2012-05', '2M')
  14. In [335]: p - 1
  15. Out[335]: Period('2011-11', '2M')
  17. In [336]: p == pd.Period('2012-01', freq='3M')
  18. ---------------------------------------------------------------------------
  19. IncompatibleFrequency                     Traceback (most recent call last)
  20. <ipython-input-336-4b67dc0b596c> in <module>
  21. ----> 1 p == pd.Period('2012-01', freq='3M')
  23. /pandas/pandas/_libs/tslibs/period.pyx in pandas._libs.tslibs.period._Period.__richcmp__()
  25. IncompatibleFrequency: Input has different freq=3M from Period(freq=2M)

freq 的频率为日或更高频率时，如 D、H、T、S、L、U、N，offsets 与 timedelta 可以用相同频率实现加法。否则，会触发 ValueError。

  1. In [337]: p = pd.Period('2014-07-01 09:00', freq='H')
  3. In [338]: p + pd.offsets.Hour(2)
  4. Out[338]: Period('2014-07-01 11:00', 'H')
  6. In [339]: p + datetime.timedelta(minutes=120)
  7. Out[339]: Period('2014-07-01 11:00', 'H')
  9. In [340]: p + np.timedelta64(7200, 's')
  10. Out[340]: Period('2014-07-01 11:00', 'H')
  11. In [1]: p + pd.offsets.Minute(5)
  12. Traceback
  13.    ...
  14. ValueError: Input has different freq from Period(freq=H)

如果 Period 为其它频率，只有相同频率的 offsets 可以相加。否则，会触发 ValueError。

  1. In [341]: p = pd.Period('2014-07', freq='M')
  3. In [342]: p + pd.offsets.MonthEnd(3)
  4. Out[342]: Period('2014-10', 'M')
  5. In [1]: p + pd.offsets.MonthBegin(3)
  6. Traceback
  7.    ...
  8. ValueError: Input has different freq from Period(freq=M)

用相同频率计算不同时间段实例之间的区别，将返回这些实例之间的频率单元数量。

  1. In [343]: pd.Period('2012', freq='A-DEC') - pd.Period('2002', freq='A-DEC')
  2. Out[343]: <10 * YearEnds: month=12>

PeriodIndex 与 period_range

period_range 便捷函数可以创建有规律的 Period 对象序列，即 PeriodIndex。

  1. In [344]: prng = pd.period_range('1/1/2011', '1/1/2012', freq='M')
  3. In [345]: prng
  4. Out[345]: 
  5. PeriodIndex(['2011-01', '2011-02', '2011-03', '2011-04', '2011-05', '2011-06',
  6.              '2011-07', '2011-08', '2011-09', '2011-10', '2011-11', '2011-12',
  7.              '2012-01'],
  8.             dtype='period[M]', freq='M')

也可以直接用 PeriodIndex 创建：

  1. In [346]: pd.PeriodIndex(['2011-1', '2011-2', '2011-3'], freq='M')
  2. Out[346]: PeriodIndex(['2011-01', '2011-02', '2011-03'], dtype='period[M]', freq='M')

频率为复数时，输出的 Period 序列为复数时间段。

  1. In [347]: pd.period_range(start='2014-01', freq='3M', periods=4)
  2. Out[347]: PeriodIndex(['2014-01', '2014-04', '2014-07', '2014-10'], dtype='period[3M]', freq='3M')

Period 对象的 start 或 end 会被当作 PeriodIndex 的锚定终点，其频率与 PeriodIndex 的频率一样。

  1. In [348]: pd.period_range(start=pd.Period('2017Q1', freq='Q'),
  2.    .....:                 end=pd.Period('2017Q2', freq='Q'), freq='M')
  3.    .....: 
  4. Out[348]: PeriodIndex(['2017-03', '2017-04', '2017-05', '2017-06'], dtype='period[M]', freq='M')

和 DatetimeIndex 一样，PeriodIndex 也可以作为 Pandas 对象的索引。

  1. In [349]: ps = pd.Series(np.random.randn(len(prng)), prng)
  3. In [350]: ps
  4. Out[350]: 
  5. 2011-01   -2.916901
  6. 2011-02    0.514474
  7. 2011-03    1.346470
  8. 2011-04    0.816397
  9. 2011-05    2.258648
  10. 2011-06    0.494789
  11. 2011-07    0.301239
  12. 2011-08    0.464776
  13. 2011-09   -1.393581
  14. 2011-10    0.056780
  15. 2011-11    0.197035
  16. 2011-12    2.261385
  17. 2012-01   -0.329583
  18. Freq: M, dtype: float64

PeriodIndex 的加减法与 Period 一样。

  1. In [351]: idx = pd.period_range('2014-07-01 09:00', periods=5, freq='H')
  3. In [352]: idx
  4. Out[352]: 
  5. PeriodIndex(['2014-07-01 09:00', '2014-07-01 10:00', '2014-07-01 11:00',
  6.              '2014-07-01 12:00', '2014-07-01 13:00'],
  7.             dtype='period[H]', freq='H')
  9. In [353]: idx + pd.offsets.Hour(2)
  10. Out[353]: 
  11. PeriodIndex(['2014-07-01 11:00', '2014-07-01 12:00', '2014-07-01 13:00',
  12.              '2014-07-01 14:00', '2014-07-01 15:00'],
  13.             dtype='period[H]', freq='H')
  15. In [354]: idx = pd.period_range('2014-07', periods=5, freq='M')
  17. In [355]: idx
  18. Out[355]: PeriodIndex(['2014-07', '2014-08', '2014-09', '2014-10', '2014-11'], dtype='period[M]', freq='M')
  20. In [356]: idx + pd.offsets.MonthEnd(3)
  21. Out[356]: PeriodIndex(['2014-10', '2014-11', '2014-12', '2015-01', '2015-02'], dtype='period[M]', freq='M')

PeriodIndex 有自己的数据类型，即 period，请参阅 Period 数据类型。

Period 数据类型

0.19.0 版新增。

PeriodIndex 的自定义数据类型是 period，是 Pandas 扩展数据类型，类似于带时区信息的数据类型（datetime64[ns, tz]）。

Period 数据类型支持 freq 属性，还可以用 period[freq] 表示，如，period[D] 或 period[M]，这里用的是频率字符串。

  1. In [357]: pi = pd.period_range('2016-01-01', periods=3, freq='M')
  3. In [358]: pi
  4. Out[358]: PeriodIndex(['2016-01', '2016-02', '2016-03'], dtype='period[M]', freq='M')
  6. In [359]: pi.dtype
  7. Out[359]: period[M]

period 数据类型在 .astype(...) 里使用。允许改变 PeriodIndex 的 freq， 如 .asfreq()，并用 to_period() 把 DatetimeIndex 转化为 PeriodIndex：

  1. # 把月频改为日频
  2. In [360]: pi.astype('period[D]')
  3. Out[360]: PeriodIndex(['2016-01-31', '2016-02-29', '2016-03-31'], dtype='period[D]', freq='D')
  5. # 转换为 DatetimeIndex
  6. In [361]: pi.astype('datetime64[ns]')
  7. Out[361]: DatetimeIndex(['2016-01-01', '2016-02-01', '2016-03-01'], dtype='datetime64[ns]', freq='MS')
  9. # 转换为 PeriodIndex
  10. In [362]: dti = pd.date_range('2011-01-01', freq='M', periods=3)
  12. In [363]: dti
  13. Out[363]: DatetimeIndex(['2011-01-31', '2011-02-28', '2011-03-31'], dtype='datetime64[ns]', freq='M')
  15. In [364]: dti.astype('period[M]')
  16. Out[364]: PeriodIndex(['2011-01', '2011-02', '2011-03'], dtype='period[M]', freq='M')

PeriodIndex 局部字符串索引

与 DatetimeIndex 一样，PeriodIndex 可以把日期与字符串传递给 Series 与 DataFrame。详情请参阅 DatetimeIndex 局部字符串索引。

  1. In [365]: ps['2011-01']
  2. Out[365]: -2.9169013294054507
  4. In [366]: ps[datetime.datetime(2011, 12, 25):]
  5. Out[366]: 
  6. 2011-12    2.261385
  7. 2012-01   -0.329583
  8. Freq: M, dtype: float64
  10. In [367]: ps['10/31/2011':'12/31/2011']
  11. Out[367]: 
  12. 2011-10    0.056780
  13. 2011-11    0.197035
  14. 2011-12    2.261385
  15. Freq: M, dtype: float64

传递比 PeriodIndex 更低频率的字符串会返回局部切片数据。

  1. In [368]: ps['2011']
  2. Out[368]: 
  3. 2011-01   -2.916901
  4. 2011-02    0.514474
  5. 2011-03    1.346470
  6. 2011-04    0.816397
  7. 2011-05    2.258648
  8. 2011-06    0.494789
  9. 2011-07    0.301239
  10. 2011-08    0.464776
  11. 2011-09   -1.393581
  12. 2011-10    0.056780
  13. 2011-11    0.197035
  14. 2011-12    2.261385
  15. Freq: M, dtype: float64
  17. In [369]: dfp = pd.DataFrame(np.random.randn(600, 1),
  18.    .....:                    columns=['A'],
  19.    .....:                    index=pd.period_range('2013-01-01 9:00',
  20.    .....:                                          periods=600,
  21.    .....:                                          freq='T'))
  22.    .....: 
  24. In [370]: dfp
  25. Out[370]: 
  26.                          A
  27. 2013-01-01 09:00 -0.538468
  28. 2013-01-01 09:01 -1.365819
  29. 2013-01-01 09:02 -0.969051
  30. 2013-01-01 09:03 -0.331152
  31. 2013-01-01 09:04 -0.245334
  32. ...                    ...
  33. 2013-01-01 18:55  0.522460
  34. 2013-01-01 18:56  0.118710
  35. 2013-01-01 18:57  0.167517
  36. 2013-01-01 18:58  0.922883
  37. 2013-01-01 18:59  1.721104
  39. [600 rows x 1 columns]
  41. In [371]: dfp['2013-01-01 10H']
  42. Out[371]: 
  43.                          A
  44. 2013-01-01 10:00 -0.308975
  45. 2013-01-01 10:01  0.542520
  46. 2013-01-01 10:02  1.061068
  47. 2013-01-01 10:03  0.754005
  48. 2013-01-01 10:04  0.352933
  49. ...                    ...
  50. 2013-01-01 10:55 -0.865621
  51. 2013-01-01 10:56 -1.167818
  52. 2013-01-01 10:57 -2.081748
  53. 2013-01-01 10:58 -0.527146
  54. 2013-01-01 10:59  0.802298
  56. [60 rows x 1 columns]

与 DatetimeIndex 一样，终点包含在结果范围之内。下例中的切片数据就是从 10:00 到 11:59。

  1. In [372]: dfp['2013-01-01 10H':'2013-01-01 11H']
  2. Out[372]: 
  3.                          A
  4. 2013-01-01 10:00 -0.308975
  5. 2013-01-01 10:01  0.542520
  6. 2013-01-01 10:02  1.061068
  7. 2013-01-01 10:03  0.754005
  8. 2013-01-01 10:04  0.352933
  9. ...                    ...
  10. 2013-01-01 11:55 -0.590204
  11. 2013-01-01 11:56  1.539990
  12. 2013-01-01 11:57 -1.224826
  13. 2013-01-01 11:58  0.578798
  14. 2013-01-01 11:59 -0.685496
  16. [120 rows x 1 columns]

频率转换与 PeriodIndex 重采样

Period 与 PeriodIndex 的频率可以用 asfreq 转换。下列代码开始于 2011 财年，结束时间为十二月：

  1. In [373]: p = pd.Period('2011', freq='A-DEC')
  3. In [374]: p
  4. Out[374]: Period('2011', 'A-DEC')

可以把它转换为月频。使用 how 参数，指定是否返回开始或结束月份。

  1. In [375]: p.asfreq('M', how='start')
  2. Out[375]: Period('2011-01', 'M')
  4. In [376]: p.asfreq('M', how='end')
  5. Out[376]: Period('2011-12', 'M')

简称 s 与 e 用起来更方便：

  1. In [377]: p.asfreq('M', 's')
  2. Out[377]: Period('2011-01', 'M')
  4. In [378]: p.asfreq('M', 'e')
  5. Out[378]: Period('2011-12', 'M')

转换为“超级 period”，（如，年频就是季频的超级 period），自动返回包含输入时间段的超级 period：

  1. In [379]: p = pd.Period('2011-12', freq='M')
  3. In [380]: p.asfreq('A-NOV')
  4. Out[380]: Period('2012', 'A-NOV')

注意，因为转换年频是在十一月结束的，2011 年 12 月的月时间段实际上是 2012 A-NOV period。

用锚定频率转换时间段，对经济学、商业等领域里的各种季度数据特别有用。很多公司都依据其财年开始月与结束月定义季度。因此，2011 年第一个季度有可能 2010 年就开始了，也有可能 2011 年过了几个月才开始。通过锚定频率，Pandas 可以处理所有从 Q-JAN 至 Q-DEC的季度频率。

Q-DEC 定义的是常规日历季度：

  1. In [381]: p = pd.Period('2012Q1', freq='Q-DEC')
  3. In [382]: p.asfreq('D', 's')
  4. Out[382]: Period('2012-01-01', 'D')
  6. In [383]: p.asfreq('D', 'e')
  7. Out[383]: Period('2012-03-31', 'D')

Q-MAR 定义的是财年结束于三月：

  1. In [384]: p = pd.Period('2011Q4', freq='Q-MAR')
  3. In [385]: p.asfreq('D', 's')
  4. Out[385]: Period('2011-01-01', 'D')
  6. In [386]: p.asfreq('D', 'e')
  7. Out[386]: Period('2011-03-31', 'D')

不同表现形式之间的转换

to_period 把时间戳转换为 PeriodIndex，to_timestamp 则执行反向操作。

  1. In [387]: rng = pd.date_range('1/1/2012', periods=5, freq='M')
  3. In [388]: ts = pd.Series(np.random.randn(len(rng)), index=rng)
  5. In [389]: ts
  6. Out[389]: 
  7. 2012-01-31    1.931253
  8. 2012-02-29   -0.184594
  9. 2012-03-31    0.249656
  10. 2012-04-30   -0.978151
  11. 2012-05-31   -0.873389
  12. Freq: M, dtype: float64
  14. In [390]: ps = ts.to_period()
  16. In [391]: ps
  17. Out[391]: 
  18. 2012-01    1.931253
  19. 2012-02   -0.184594
  20. 2012-03    0.249656
  21. 2012-04   -0.978151
  22. 2012-05   -0.873389
  23. Freq: M, dtype: float64
  25. In [392]: ps.to_timestamp()
  26. Out[392]: 
  27. 2012-01-01    1.931253
  28. 2012-02-01   -0.184594
  29. 2012-03-01    0.249656
  30. 2012-04-01   -0.978151
  31. 2012-05-01   -0.873389
  32. Freq: MS, dtype: float64

记住 s 与 e 返回 period 开始或结束的时间戳：

  1. In [393]: ps.to_timestamp('D', how='s')
  2. Out[393]: 
  3. 2012-01-01    1.931253
  4. 2012-02-01   -0.184594
  5. 2012-03-01    0.249656
  6. 2012-04-01   -0.978151
  7. 2012-05-01   -0.873389
  8. Freq: MS, dtype: float64

用便捷算数函数可以转换时间段与时间戳。下例中，把以 11 月年度结束的季频转换为以下一个季度月末上午 9 点：

  1. In [394]: prng = pd.period_range('1990Q1', '2000Q4', freq='Q-NOV')
  3. In [395]: ts = pd.Series(np.random.randn(len(prng)), prng)
  5. In [396]: ts.index = (prng.asfreq('M', 'e') + 1).asfreq('H', 's') + 9
  7. In [397]: ts.head()
  8. Out[397]: 
  9. 1990-03-01 09:00   -0.109291
  10. 1990-06-01 09:00   -0.637235
  11. 1990-09-01 09:00   -1.735925
  12. 1990-12-01 09:00    2.096946
  13. 1991-03-01 09:00   -1.039926
  14. Freq: H, dtype: float64

6.12. 界外跨度表示

数据在 Timestamp 限定边界外时，参阅 Timestamp 限制，可以用 PeriodIndex 或 Periods 的 Series 执行计算。

  1. In [398]: span = pd.period_range('1215-01-01', '1381-01-01', freq='D')
  3. In [399]: span
  4. Out[399]: 
  5. PeriodIndex(['1215-01-01', '1215-01-02', '1215-01-03', '1215-01-04',
  6.              '1215-01-05', '1215-01-06', '1215-01-07', '1215-01-08',
  7.              '1215-01-09', '1215-01-10',
  8.              ...
  9.              '1380-12-23', '1380-12-24', '1380-12-25', '1380-12-26',
  10.              '1380-12-27', '1380-12-28', '1380-12-29', '1380-12-30',
  11.              '1380-12-31', '1381-01-01'],
  12.             dtype='period[D]', length=60632, freq='D')

从基于 int64 的 YYYYMMDD 表示形式转换。

  1. In [400]: s = pd.Series([20121231, 20141130, 99991231])
  3. In [401]: s
  4. Out[401]: 
  5. 0    20121231
  6. 1    20141130
  7. 2    99991231
  8. dtype: int64
  10. In [402]: def conv(x):
  11.    .....:     return pd.Period(year=x // 10000, month=x // 100 % 100,
  12.    .....:                      day=x % 100, freq='D')
  13.    .....: 
  15. In [403]: s.apply(conv)
  16. Out[403]: 
  17. 0    2012-12-31
  18. 1    2014-11-30
  19. 2    9999-12-31
  20. dtype: period[D]
  22. In [404]: s.apply(conv)[2]
  23. Out[404]: Period('9999-12-31', 'D')

轻轻松松就可以这些数据转换成 PeriodIndex：

  1. In [405]: span = pd.PeriodIndex(s.apply(conv))
  3. In [406]: span
  4. Out[406]: PeriodIndex(['2012-12-31', '2014-11-30', '9999-12-31'], dtype='period[D]', freq='D')

6.13. 时区控制

利用 pytz 与 datetuil 或标准库 datetime.timezone 对象，Pandas 能以多种方式处理不同时区的时间戳。

处理时区

Pandas 对象默认不支持时区信息：

  1. In [407]: rng = pd.date_range('3/6/2012 00:00', periods=15, freq='D')
  3. In [408]: rng.tz is None
  4. Out[408]: True

用 date_range()、Timestamp 、DatetimeIndex 的 tz_localize 方法或 tz 关键字参数，可以为这些日期加上本地时区，即，把指定时区分配给不带时区的日期。还可以传递 pytz 、 dateutil 时区对象或奥尔森时区数据库字符串。奥尔森时区字符串默认返回 pytz 时区对象。要返回 dateutil 时区对象，在字符串前加上 datetuil/。

  • 用 from pytz import common_timezones, all_timezones 在 pytz 里查找通用时区。
  • dateutil 使用操作系统时区，没有固定的列表，其通用时区名与 pytz 相同。
  1. In [409]: import dateutil
  3. # pytz
  4. In [410]: rng_pytz = pd.date_range('3/6/2012 00:00', periods=3, freq='D',
  5.    .....:                          tz='Europe/London')
  6.    .....: 
  8. In [411]: rng_pytz.tz
  9. Out[411]: <DstTzInfo 'Europe/London' LMT-1 day, 23:59:00 STD>
  11. # dateutil
  12. In [412]: rng_dateutil = pd.date_range('3/6/2012 00:00', periods=3, freq='D')
  14. In [413]: rng_dateutil = rng_dateutil.tz_localize('dateutil/Europe/London')
  16. In [414]: rng_dateutil.tz
  17. Out[414]: tzfile('/usr/share/zoneinfo/Europe/London')
  19. # dateutil - utc special case
  20. In [415]: rng_utc = pd.date_range('3/6/2012 00:00', periods=3, freq='D',
  21.    .....:                         tz=dateutil.tz.tzutc())
  22.    .....: 
  24. In [416]: rng_utc.tz
  25. Out[416]: tzutc()

0.25.0 版新增。

  1. # datetime.timezone
  2. In [417]: rng_utc = pd.date_range('3/6/2012 00:00', periods=3, freq='D',
  3.    .....:                         tz=datetime.timezone.utc)
  4.    .....: 
  6. In [418]: rng_utc.tz
  7. Out[418]: datetime.timezone.utc

注意， dateutil 的 UTC 时区是个特例，要显式地创建 dateutil.tz.tzutc 实例。可以先创建其它时区对象。

  1. In [419]: import pytz
  3. # pytz
  4. In [420]: tz_pytz = pytz.timezone('Europe/London')
  6. In [421]: rng_pytz = pd.date_range('3/6/2012 00:00', periods=3, freq='D')
  8. In [422]: rng_pytz = rng_pytz.tz_localize(tz_pytz)
  10. In [423]: rng_pytz.tz == tz_pytz
  11. Out[423]: True
  13. # dateutil
  14. In [424]: tz_dateutil = dateutil.tz.gettz('Europe/London')
  16. In [425]: rng_dateutil = pd.date_range('3/6/2012 00:00', periods=3, freq='D',
  17.    .....:                              tz=tz_dateutil)
  18.    .....: 
  20. In [426]: rng_dateutil.tz == tz_dateutil
  21. Out[426]: True

不同时区之间转换带时区的 Pandas 对象时，用 tz_convert 方法。

  1. In [427]: rng_pytz.tz_convert('US/Eastern')
  2. Out[427]: 
  3. DatetimeIndex(['2012-03-05 19:00:00-05:00', '2012-03-06 19:00:00-05:00',
  4.                '2012-03-07 19:00:00-05:00'],
  5.               dtype='datetime64[ns, US/Eastern]', freq='D')

::: tip 注意

使用 pytz 时区时，对于相同的输入时区，DatetimeIndex 会构建一个与 Timestamp 不同的时区对象。DatetimeIndex 具有一组 Timestamp 对象，UTC 偏移量也不同，不能用一个 pytz 时区实例简洁地表示，Timestamp 则可以用来指定 UTC 偏移量表示一个时点。

  1. In [428]: dti = pd.date_range('2019-01-01', periods=3, freq='D', tz='US/Pacific')
  3. In [429]: dti.tz
  4. Out[429]: <DstTzInfo 'US/Pacific' LMT-1 day, 16:07:00 STD>
  6. In [430]: ts = pd.Timestamp('2019-01-01', tz='US/Pacific')
  8. In [431]: ts.tz
  9. Out[431]: <DstTzInfo 'US/Pacific' PST-1 day, 16:00:00 STD>

:::

::: danger 警告

注意不同支持库之间的转换。一些时区，pytz 与 datetuil 对时区的定义不一样。与 US/Eastern 等“标准”时区相比，那些更少见的时区的问题更严重。

:::

::: danger 警告

注意不同版本时区支持库对时区的定义并不一致。在处理本地存储数据时使用一种版本的支持库，在运算时使用另一种版本的支持库，可能会引起问题。参阅本文了解如何处理这种问题。

:::

::: danger 警告

对于 pytz 时区，直接把时区对象传递给 datetime.datetime 构建器是不对的，如，datetime.datetime(2011, 1, 1, tz=pytz.timezone('US/Eastern'))。反之，datetime 要在 pytz 时区对象上使用 localize 方法。

:::

在后台，所有 Timestamp 都存储为 UTC。含时区信息的 DatetimeIndex 或 Timestamp 的值有其自己的本地化时区字段（日、小时、分钟等）。不过，对于不同时区时间戳，如果其 UTC 值相同，将被视作是相等的时间。

  1. In [432]: rng_eastern = rng_utc.tz_convert('US/Eastern')
  3. In [433]: rng_berlin = rng_utc.tz_convert('Europe/Berlin')
  5. In [434]: rng_eastern[2]
  6. Out[434]: Timestamp('2012-03-07 19:00:00-0500', tz='US/Eastern', freq='D')
  8. In [435]: rng_berlin[2]
  9. Out[435]: Timestamp('2012-03-08 01:00:00+0100', tz='Europe/Berlin', freq='D')
  11. In [436]: rng_eastern[2] == rng_berlin[2]
  12. Out[436]: True

不同时区 Series 之间的操作生成的是与 UTC 时间戳数据对齐的 UTC Series。

  1. In [437]: ts_utc = pd.Series(range(3), pd.date_range('20130101', periods=3, tz='UTC'))
  3. In [438]: eastern = ts_utc.tz_convert('US/Eastern')
  5. In [439]: berlin = ts_utc.tz_convert('Europe/Berlin')
  7. In [440]: result = eastern + berlin
  9. In [441]: result
  10. Out[441]: 
  11. 2013-01-01 00:00:00+00:00    0
  12. 2013-01-02 00:00:00+00:00    2
  13. 2013-01-03 00:00:00+00:00    4
  14. Freq: D, dtype: int64
  16. In [442]: result.index
  17. Out[442]: 
  18. DatetimeIndex(['2013-01-01 00:00:00+00:00', '2013-01-02 00:00:00+00:00',
  19.                '2013-01-03 00:00:00+00:00'],
  20.               dtype='datetime64[ns, UTC]', freq='D')

用 tz_localize(None) 或 tz_convert(None) 去掉时区信息。tz_localize(None) 去掉带本地时间表示的时区信息。tz_convert(None)先把时间戳转为 UTC 时间，再去掉时区信息。

  1. In [443]: didx = pd.date_range(start='2014-08-01 09:00', freq='H',
  2.    .....:                      periods=3, tz='US/Eastern')
  3.    .....: 
  5. In [444]: didx
  6. Out[444]: 
  7. DatetimeIndex(['2014-08-01 09:00:00-04:00', '2014-08-01 10:00:00-04:00',
  8.                '2014-08-01 11:00:00-04:00'],
  9.               dtype='datetime64[ns, US/Eastern]', freq='H')
  11. In [445]: didx.tz_localize(None)
  12. Out[445]: 
  13. DatetimeIndex(['2014-08-01 09:00:00', '2014-08-01 10:00:00',
  14.                '2014-08-01 11:00:00'],
  15.               dtype='datetime64[ns]', freq='H')
  17. In [446]: didx.tz_convert(None)
  18. Out[446]: 
  19. DatetimeIndex(['2014-08-01 13:00:00', '2014-08-01 14:00:00',
  20.                '2014-08-01 15:00:00'],
  21.               dtype='datetime64[ns]', freq='H')
  23. # tz_convert(None) 等同于 tz_convert('UTC').tz_localize(None)
  24. In [447]: didx.tz_convert('UTC').tz_localize(None)
  25. Out[447]: 
  26. DatetimeIndex(['2014-08-01 13:00:00', '2014-08-01 14:00:00',
  27.                '2014-08-01 15:00:00'],
  28.               dtype='datetime64[ns]', freq='H')

本地化导致的混淆时间

tz_localize 不能决定时间戳的 UTC偏移量，因为本地时区的夏时制（DST）会引起一些时间在一天内出现两次的问题（“时钟回调”）。下面的选项是有效的：

  • raise：默认触发 pytz.AmbiguousTimeError
  • infer：依据时间戳的单一性，尝试推断正确的偏移量
  • NaT：用 NaT 替换混淆时间
  • bool：True 代表夏时制（DST）时间，False 代表正常时间。数组型的 bool 值支持一组时间序列。
  1. In [448]: rng_hourly = pd.DatetimeIndex(['11/06/2011 00:00', '11/06/2011 01:00',
  2.    .....:                                '11/06/2011 01:00', '11/06/2011 02:00'])
  3.    .....:

这种操作会引起混淆时间失败错误（ ‘11/06/2011 01:00’）。

  1. In [2]: rng_hourly.tz_localize('US/Eastern')
  2. AmbiguousTimeError: Cannot infer dst time from Timestamp('2011-11-06 01:00:00'), try using the 'ambiguous' argument

用下列指定的关键字控制混淆时间。

  1. In [449]: rng_hourly.tz_localize('US/Eastern', ambiguous='infer')
  2. Out[449]: 
  3. DatetimeIndex(['2011-11-06 00:00:00-04:00', '2011-11-06 01:00:00-04:00',
  4.                '2011-11-06 01:00:00-05:00', '2011-11-06 02:00:00-05:00'],
  5.               dtype='datetime64[ns, US/Eastern]', freq=None)
  7. In [450]: rng_hourly.tz_localize('US/Eastern', ambiguous='NaT')
  8. Out[450]: 
  9. DatetimeIndex(['2011-11-06 00:00:00-04:00', 'NaT', 'NaT',
  10.                '2011-11-06 02:00:00-05:00'],
  11.               dtype='datetime64[ns, US/Eastern]', freq=None)
  13. In [451]: rng_hourly.tz_localize('US/Eastern', ambiguous=[True, True, False, False])
  14. Out[451]: 
  15. DatetimeIndex(['2011-11-06 00:00:00-04:00', '2011-11-06 01:00:00-04:00',
  16.                '2011-11-06 01:00:00-05:00', '2011-11-06 02:00:00-05:00'],
  17.               dtype='datetime64[ns, US/Eastern]', freq=None)

本地化时不存在的时间

夏时制转换会移位本地时间一个小时，这样会创建一个不存在的本地时间（“时钟春季前滚”）。这种本地化操作会导致时间序列出现不存在的时间，此问题可以用 nonexistent 参数解决。下列都是有效的选项：

  • raise：默认触发 pytz.NonExistentTimeError
  • NaT：用 NaT 替换不存在的时间
  • shift_forward：把不存在的时间前移至最近的真实时间
  • shift_backward：把不存在的时间后滚至最近的真实时间
  • Timedelta 对象：用 timedelta 移位不存在的时间
  1. In [452]: dti = pd.date_range(start='2015-03-29 02:30:00', periods=3, freq='H')
  3. # 2:30 是不存在的时间

对不存在的时间进行本地化操作默认会触发错误。

  1. In [2]: dti.tz_localize('Europe/Warsaw')
  2. NonExistentTimeError: 2015-03-29 02:30:00

把不存在的时间转换为 NaT 或移位时间

  1. In [453]: dti
  2. Out[453]: 
  3. DatetimeIndex(['2015-03-29 02:30:00', '2015-03-29 03:30:00',
  4.                '2015-03-29 04:30:00'],
  5.               dtype='datetime64[ns]', freq='H')
  7. In [454]: dti.tz_localize('Europe/Warsaw', nonexistent='shift_forward')
  8. Out[454]: 
  9. DatetimeIndex(['2015-03-29 03:00:00+02:00', '2015-03-29 03:30:00+02:00',
  10.                '2015-03-29 04:30:00+02:00'],
  11.               dtype='datetime64[ns, Europe/Warsaw]', freq='H')
  13. In [455]: dti.tz_localize('Europe/Warsaw', nonexistent='shift_backward')
  14. Out[455]: 
  15. DatetimeIndex(['2015-03-29 01:59:59.999999999+01:00',
  16.                          '2015-03-29 03:30:00+02:00',
  17.                          '2015-03-29 04:30:00+02:00'],
  18.               dtype='datetime64[ns, Europe/Warsaw]', freq='H')
  20. In [456]: dti.tz_localize('Europe/Warsaw', nonexistent=pd.Timedelta(1, unit='H'))
  21. Out[456]: 
  22. DatetimeIndex(['2015-03-29 03:30:00+02:00', '2015-03-29 03:30:00+02:00',
  23.                '2015-03-29 04:30:00+02:00'],
  24.               dtype='datetime64[ns, Europe/Warsaw]', freq='H')
  26. In [457]: dti.tz_localize('Europe/Warsaw', nonexistent='NaT')
  27. Out[457]: 
  28. DatetimeIndex(['NaT', '2015-03-29 03:30:00+02:00',
  29.                '2015-03-29 04:30:00+02:00'],
  30.               dtype='datetime64[ns, Europe/Warsaw]', freq='H')

时区序列操作

无时区 Series 值的数据类型是 datetime64[ns]。

  1. In [458]: s_naive = pd.Series(pd.date_range('20130101', periods=3))
  3. In [459]: s_naive
  4. Out[459]: 
  5. 0   2013-01-01
  6. 1   2013-01-02
  7. 2   2013-01-03
  8. dtype: datetime64[ns]

有时区 Series 值的数据类型是 datetime64[ns, tz]，tz 指的是时区。

  1. In [460]: s_aware = pd.Series(pd.date_range('20130101', periods=3, tz='US/Eastern'))
  3. In [461]: s_aware
  4. Out[461]: 
  5. 0   2013-01-01 00:00:00-05:00
  6. 1   2013-01-02 00:00:00-05:00
  7. 2   2013-01-03 00:00:00-05:00
  8. dtype: datetime64[ns, US/Eastern]

这两种 Series 的时区信息都可以用 .dt 访问器操控，参阅 dt 访问器。

例如，本地化与把无时区时间戳转换为有时区时间戳。

  1. In [462]: s_naive.dt.tz_localize('UTC').dt.tz_convert('US/Eastern')
  2. Out[462]: 
  3. 0   2012-12-31 19:00:00-05:00
  4. 1   2013-01-01 19:00:00-05:00
  5. 2   2013-01-02 19:00:00-05:00
  6. dtype: datetime64[ns, US/Eastern]

时区信息还可以用 astype 操控。这种方法可以本地化并转换无时区时间戳或转换有时区时间戳。

  1. # 本地化，并把无时区转换为有时区
  2. In [463]: s_naive.astype('datetime64[ns, US/Eastern]')
  3. Out[463]: 
  4. 0   2012-12-31 19:00:00-05:00
  5. 1   2013-01-01 19:00:00-05:00
  6. 2   2013-01-02 19:00:00-05:00
  7. dtype: datetime64[ns, US/Eastern]
  9. # 把有时区变为无时区
  10. In [464]: s_aware.astype('datetime64[ns]')
  11. Out[464]: 
  12. 0   2013-01-01 05:00:00
  13. 1   2013-01-02 05:00:00
  14. 2   2013-01-03 05:00:00
  15. dtype: datetime64[ns]
  17. # 转换为新的时区
  18. In [465]: s_aware.astype('datetime64[ns, CET]')
  19. Out[465]: 
  20. 0   2013-01-01 06:00:00+01:00
  21. 1   2013-01-02 06:00:00+01:00
  22. 2   2013-01-03 06:00:00+01:00
  23. dtype: datetime64[ns, CET]

::: tip 注意

在 Series 上应用 Series.to_numpy()，返回数据的 NumPy 数组。虽然 NumPy 可以输出本地时区！但其实它当前并不支持时区，因此，有时区时间戳数据返回的是时间戳对象数组：

  1. In [466]: s_naive.to_numpy()
  2. Out[466]: 
  3. array(['2013-01-01T00:00:00.000000000', '2013-01-02T00:00:00.000000000',
  4.        '2013-01-03T00:00:00.000000000'], dtype='datetime64[ns]')
  6. In [467]: s_aware.to_numpy()
  7. Out[467]: 
  8. array([Timestamp('2013-01-01 00:00:00-0500', tz='US/Eastern', freq='D'),
  9.        Timestamp('2013-01-02 00:00:00-0500', tz='US/Eastern', freq='D'),
  10.        Timestamp('2013-01-03 00:00:00-0500', tz='US/Eastern', freq='D')],
  11.       dtype=object)

通过转换时间戳数组，保留时区信息。例如，转换回 Series 时：

  1. In [468]: pd.Series(s_aware.to_numpy())
  2. Out[468]: 
  3. 0   2013-01-01 00:00:00-05:00
  4. 1   2013-01-02 00:00:00-05:00
  5. 2   2013-01-03 00:00:00-05:00
  6. dtype: datetime64[ns, US/Eastern]

如果需要 NumPy datetime64[ns] 数组（带已转为 UTC 的值）而不是对象数组，可以指定 dtype 参数：

  1. In [469]: s_aware.to_numpy(dtype='datetime64[ns]')
  2. Out[469]: 
  3. array(['2013-01-01T05:00:00.000000000', '2013-01-02T05:00:00.000000000',
  4.        '2013-01-03T05:00:00.000000000'], dtype='datetime64[ns]')

:::