Pandas聚合运算和分组运算的实现示例

时间:2021-05-23

1.聚合运算

(1)使用内置的聚合运算函数进行计算

1>内置的聚合运算函数

sum(),mean(),max(),min(),size(),describe()...等等

2>应用聚合运算函数进行计算

import numpy as npimport pandas as pd#创建df对象dict_data = { 'key1':['a','b','c','d','a','b','c','d'], 'key2':['one','two','three','one','two','three','one','two'], 'data1':np.random.randint(1,10,8), 'data2':np.random.randint(1,10,8)} df = pd.DataFrame(dict_data)print(df)''' data1 data2 key1 key20 3 4 a one1 7 9 b two2 5 7 c three3 3 4 d one4 8 7 a two5 4 7 b three6 8 9 c one7 4 4 d two'''#根据key1分组,进行sum()运算df = df.groupby('key1').sum()print(df)'''key1 a 12 10b 8 5c 8 11d 16 13'''#内置的聚合函数print(df.groupby('key1').sum())print('*'*50)print(df.groupby('key1').max())print('*'*50)print(df.groupby('key1').min())print('*'*50)print(df.groupby('key1').mean())print('*'*50)print(df.groupby('key1').size())print('*'*50)#分组中非Nan数据的数量print(df.groupby('key1').count())print('*'*50)print(df.groupby('key1').describe())

(2)自定义聚合函数进行计算

在使用自定义聚合函数的时候,需要用到一个agg()函数

#自定义聚合函数#最大值-最小值def peak_range(df): #返回数据范围差值 return df.max()**2 - df.min()**2 #agg() 可以将聚合计算的结果祖闯成一个dataframe对象返回 print(df.groupby('key1').agg(peak_range)) #lambdaprint(df.groupby('key1').agg(lambda df:df.max()-df.min()))

(3)应用多个聚合函数,默认列索引为函数名

#应用多个聚合函数,默认列索引为函数名#通过元素重新命名列索引('列索引',函数)print(df.groupby('key1').agg(['sum','std','mean',('range',peak_range)]))''' data1 data2 sum std mean range sum std mean rangekey1 a 10 2.828427 5.0 40 12 2.828427 6.0 48b 10 5.656854 5.0 80 8 1.414214 4.0 16c 6 1.414214 3.0 12 9 0.707107 4.5 9d 15 0.707107 7.5 15 8 2.828427 4.0 32'''

(4)指定每一列使用某个聚合运算函数

#指定每一列使用某个聚合运算函数print(df.groupby('key1').agg({'data1':'mean','data2':'sum'}))''' data1 data2key1 a 5.0 12b 5.0 8c 3.0 9d 7.5 8'''

2.分组运算

(1)进行分组运算,并在运算后的结果列索引前加前缀

加前缀用到add_prefix('前缀')函数

#创建df对象dict_data = { 'key1':['a','b','c','d','a','b','c','d'], 'key2':['one','two','three','one','two','three','one','two'], 'data1':np.random.randint(1,10,8), 'data2':np.random.randint(1,10,8)} df = pd.DataFrame(dict_data)print(df)''' data1 data2 key1 key20 1 5 a one1 9 3 b two2 3 6 c three3 6 9 d one4 8 4 a two5 5 5 b three6 9 6 c one7 4 1 d two'''#按照key1分组,进行sum()运算#在运算结果的列索引前添加前缀k1_sum = df.groupby('key1').sum().add_prefix('sum_')print(k1_sum)''' sum_data1 sum_data2key1 a 9 9b 14 8c 12 12d 10 10'''

(2)进行分组运算,并把原始数据和结果数据合并

#创建df对象dict_data = { 'key1':['a','b','c','d','a','b','c','d'], 'key2':['one','two','three','one','two','three','one','two'], 'data1':np.random.randint(1,10,8), 'data2':np.random.randint(1,10,8)} df = pd.DataFrame(dict_data)print(df)''' data1 data2 key1 key20 1 5 a one1 9 3 b two2 3 6 c three3 6 9 d one4 8 4 a two5 5 5 b three6 9 6 c one7 4 1 d two'''#按照key1分组,进行sum()运算#在运算结果的列索引前添加前缀k1_sum = df.groupby('key1').sum().add_prefix('sum_')print(k1_sum)''' sum_data1 sum_data2key1 a 9 9b 14 8c 12 12d 10 10'''#将运算结果和原始数据拼接到一起#参数1:原始数据#参数2:运算结果数据pd.merge(df,k1_sum,left_on='key1',right_index=True)

(3)使用transform()函数,将计算结果按照原始数据排序成一个DataFrame对象

#创建df对象dict_data = { 'key1':['a','b','c','d','a','b','c','d'], 'key2':['one','two','three','one','two','three','one','two'], 'data1':np.random.randint(1,10,8), 'data2':np.random.randint(1,10,8)} df = pd.DataFrame(dict_data)print(df)''' data1 data2 key1 key20 1 5 a one1 9 3 b two2 3 6 c three3 6 9 d one4 8 4 a two5 5 5 b three6 9 6 c one7 4 1 d two'''#按照key1分组,进行sum()运算#在运算结果的列索引前添加前缀k1_sum = df.groupby('key1').sum().add_prefix('sum_')print(k1_sum)''' sum_data1 sum_data2key1 a 9 9b 14 8c 12 12d 10 10'''#transform() 计算 会将计算的结果按照原始数据的排序组装成一个dataframe对象k1_sum_tf = df.groupby('key1').transform(np.sum).add_prefix('sum_')# print(k1_sum_tf.columns) #把运算结果数据拼接到原始数据后df[k1_sum_tf.columns] = k1_sum_tfprint(df)''' data1 data2 key1 key2 sum_data1 sum_data2 sum_key20 5 4 a one 9 12 onetwo1 3 3 b two 5 12 twothree2 9 2 c three 14 9 threeone3 6 5 d one 11 9 onetwo4 4 8 a two 9 12 onetwo5 2 9 b three 5 12 twothree6 5 7 c one 14 9 threeone7 5 4 d two 11 9 onetwo'''

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。

声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。

相关文章