时间:2021-05-22
Pandas提供了便捷的方式对时间序列进行重采样,根据时间粒度的变大或者变小分为降采样和升采样:
下面涉及的例子,都需要导入numpy和pandas(如下),并且对于降采样数据的聚合做简单的求和处理。
Pandas重采样方法resample
在Pandas里,通过resample来处理重采样,根据频率的不同(freq)会处理成降采样或者升采样。我们先来看看Resample的定义和关键参数注释:
resample(self, rule, how=None, axis=0, fill_method=None, closed=None, label=None, convention='start', kind=None, loffset=None, limit=None, base=0, on=None, level=None) Convenience method for frequency conversion and resampling of time series. Object must have a datetime-like index (DatetimeIndex, PeriodIndex, or TimedeltaIndex), or pass datetime-like values to the on or level keyword. Parameters----------closed : {'right', 'left'} Which side of bin interval is closed. The default is ‘left' for all frequency offsets except for ‘M', ‘A', ‘Q', ‘BM', ‘BA', ‘BQ', and ‘W' which all have a default of ‘right'.label : {'right', 'left'} Which bin edge label to label bucket with. The default is ‘left' for all frequency offsets except for ‘M', ‘A', ‘Q', ‘BM', ‘BA', ‘BQ', and ‘W' which all have a default of ‘right'.第一眼看closed和label这两个参数,会感觉云里雾里,即使看了例子也可能会觉得莫名奇妙。下面我们通过具体的降采样和升采样例子,来解读一下这个两个参数内含的玄机。
降采样
首先先来创建一个时间序列,起始日期是2018/01/01,一共12天,每天对应的数值分别是1到12:
rng = pd.date_range('20180101', periods=12)ts = pd.Series(np.arange(1,13), index=rng)print(ts)#### Outputs ####2018-01-01 12018-01-02 22018-01-03 32018-01-04 42018-01-05 52018-01-06 62018-01-07 72018-01-08 82018-01-09 92018-01-10 102018-01-11 112018-01-12 12Freq: D, dtype: int32下面使用resample方法来做降采样处理,频率是5天,上面提到的两个参数,都使用默认值:
ts_5d = ts.resample('5D').sum()print(ts_5d)#### Outputs ####2018-01-01 152018-01-06 402018-01-11 23Freq: 5D, dtype: int32到这里,我相信不论是代码还是代码的结果都很好理解:无非就是每5天来个求和。在第一部分中,我们列出了closed参数的注释,从注释可知,closed默认的值是'left'。那如果把closed的值改为'right',结果有是怎么样的?
ts_5d_rightclosed = ts.resample('5D', closed='right').sum()print(ts_5d_rightclosed)#### Outputs ####2017-12-27 12018-01-01 202018-01-06 452018-01-11 12Freq: 5D, dtype: int32怎么会这样?为什么变成了四个区间?closed=right到底做了什么?
别着急,我们来一步一步看看,这其中发生了什么事情。原始的时间序列是从18年1月1号到1月12号,一共12天。以5天为单位降采样处理后,变成了三个5天,分别是:
实际上,这三个5天就是三个区间了。和数学里区间的概念一样,区间有开和闭的概念。在resample中,区间的开和闭,就是通过closed这个参数来控制。用数学符号表示的话:
closed = 'left' 左闭右开
上面的三个5天可以由以下的三个左闭右开的区间构成:
现在,在这三个区间上做数据聚合也就很好理解了。对于区间1进行求和,也就是12、13、14、15、16这5天的值求和即可。区间2和区间3也是同理。所以下面的代码就很好理解了:
ts_5d_leftclosed = ts.resample('5D', closed='right').sum()
print(ts_5d_leftclosed)
closed = 'right' 左开右闭
上面的三个5天可以由以下的四个左开右闭的区间构成。注意,由于第一个5天是从1号到6号,但由于是左开区间,1号就落不到1到6号的那个区间,所以要往前补足:
现在,在这四个区间上做数据聚合也是一样的道理了:对于区间1,是对28,29,30,31,1这五天的值求和(这里只有1号是有值的),其余的区间也是同理,但需要注意是左开右闭。所以到这里,上面“莫名其妙”的代码和结果就好理解了。复制代码和结果如下:
ts_5d_rightclosed = ts.resample('5D', closed='right').sum()print(ts_5d_rightclosed)#### Outputs ####2017-12-27 12018-01-01 202018-01-06 452018-01-11 12Freq: 5D, dtype: int32理解了clsoed的意义以后,再来理解label就so easy了。由注释可知,label的默认值是left。下面在closed='right'的基础上,将label设置为right:
ts_5d_rightclosed_rightlable = ts.resample('5D', closed='right', label='right').sum()print(ts_5d_rightclosed_rightlable)#### Outputs ####2018-01-01 12018-01-06 202018-01-11 452018-01-16 12Freq: 5D, dtype: int32于label为left相比,二者结果的异同点如下:
不难发现,label为left的时候,就以区间左边的那个日期作为索引;label,就以区间的右边那个日期作为索引。
综上,我们可以总结一下closed和label的用法和意义了:
升采样
创建一个时间序列,起始日期是2018/01/01,一共2天,每天对应的数值分别是1到2:
rng = pd.date_range('20180101', periods=2)ts = pd.Series(np.arange(1,2), index=rng)print(ts)#### Outputs ####2018-01-01 12018-01-02 2Freq: D, dtype: int32升采样就不涉及到closed和label的值,也就是会忽略(筒子们可以验证一下),所以我们在使用的时候无需设置这两个值。对于升采样,前面也提到,主要是涉及到值的填充。有下面的四种填充方法(实际是三种):
下面是一个例子:
ts_6h_asfreq = ts.resample('6H').asfreq()print(ts_6h_asfreq)ts_6h_pad = ts.resample('6H').pad()print(ts_6h_pad)ts_6h_ffill = ts.resample('6H').ffill()print(ts_6h_ffill)ts_6h_bfill = ts.resample('6H').bfill()print(ts_6h_bfill)#### Outputs ####2018-01-01 00:00:00 1.02018-01-01 06:00:00 NaN2018-01-01 12:00:00 NaN2018-01-01 18:00:00 NaN2018-01-02 00:00:00 2.0Freq: 6H, dtype: float642018-01-01 00:00:00 12018-01-01 06:00:00 12018-01-01 12:00:00 12018-01-01 18:00:00 12018-01-02 00:00:00 2Freq: 6H, dtype: int322018-01-01 00:00:00 12018-01-01 06:00:00 12018-01-01 12:00:00 12018-01-01 18:00:00 12018-01-02 00:00:00 2Freq: 6H, dtype: int322018-01-01 00:00:00 12018-01-01 06:00:00 22018-01-01 12:00:00 22018-01-01 18:00:00 22018-01-02 00:00:00 2Freq: 6H, dtype: int32以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
resample()resample()进行重采样。重采样(Resampling)指的是把时间序列的频度变为另一个频度的过程。把高频度的数据变为低频度叫做降采样
Pandas中的resample,重新采样,是对原样本重新处理的一个方法,是一个对常规时间序列数据重新采样和频率转换的便捷的方法。方法的格式是:DataFram
Pandas中的resample,重新采样,是对原样本重新处理的一个方法,是一个对常规时间序列数据重新采样和频率转换的便捷的方法。降采样:高频数据到低频数据升采
函数原型resample(self,rule,how=None,axis=0,fill_method=None,closed=None,label=None,c
python日期的范围、频率、重采样以及频率转换pandas有一整套的标准时间序列频率以及用于重采样、频率推断、生成固定频率日期范围的工具。生成指定日期范围的范