时间:2021-05-22
合并两个没有共同列的dataframe,相当于按行号求笛卡尔积。
最终效果如下
以下代码是参考别人的代码修改的:
def cartesian_df(A,B): new_df = pd.DataFrame(columns=list(A).extend(list(B))) for _,A_row in A.iterrows(): for _,B_row in B.iterrows(): row = A_row.append(B_row) new_df = new_df.append(row,ignore_index=True) return new_df#这个方法,如果两张表列名重复会出错这段代码的思路是对两个表的每一行进行循环,运行速度比较慢,复杂度应该是O(m*n),m是A表的行数,n是B表的行数。
因为我用到的合并表行数比较多,时间太慢,所以针对上面的代码进行了优化。
思路是利用dataframe的merge功能,先循环复制A表,将循环次数添加为列,直接使用merge合并,复杂度应该为O(n)(n是B表的行数),代码如下:
def cartesian_df(df_a,df_b): '求两个dataframe的笛卡尔积' #df_a 复制n次,索引用复制次数 new_df_a = pd.DataFrame(columns=list(df_a)) for i in range(0,df_b.shape[0]): df_a['merge_index'] = i new_df_a = new_df_a.append(df_a,ignore_index=True) #df_b 设置索引为行数 df_b.reset_index(inplace = True, drop =True) df_b['merge_index'] = df_b.index #merge new_df = pd.merge(new_df_a,df_b,on=['merge_index'],how='left').drop(['merge_index'],axis = 1) return new_df#两个原始表中不能有列名'merge_index'使用一张8行的表和一张142行的表进行测试,优化前的方法用时:5.560689926147461秒
优化后的方法用时:0.1296539306640625秒(142行的表作为b表)
根据计算原理,将行数少的表放在b表可以更快,测试用时:0.021603107452392578秒(8行的表作为b表)
这个速度已经达到预期,基本感觉不到等待,优化完成。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
本文实例讲述了Java基于递归和循环两种方式实现未知维度集合的笛卡尔积。分享给大家供大家参考,具体如下:什么是笛卡尔积?在数学中,两个集合X和Y的笛卡儿积(Ca
笛卡尔积笛卡尔积是指在数学中,两个集合X和Y的笛卡尔积(Cartesianproduct),又称直积,表示为X*Y,第一个对象是X的成员而第二个对象是Y的所有可
MySQL的多表查询(笛卡尔积原理)先确定数据要用到哪些表。将多个表先通过笛卡尔积变成一个表。然后去除不符合逻辑的数据(根据两个表的关系去掉)。最后当做是一个虚
笛卡尔积是指在数学中,两个集合X和Y的笛卡尔积(Cartesianproduct),又称直积,表示为X*Y,第一个对象是X的成员而第二个对象是Y的所有可能有序对
本文实例讲述了JS笛卡尔积算法与多重数组笛卡尔积实现方法。分享给大家供大家参考,具体如下:js笛卡尔积算法的实现代码,据对象或者数组生成笛卡尔积,并介绍了一个j