时间:2021-05-22
将一份一亿多条数据的csv文件等分为10份,代码如下所示:
import pandas as pddata = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路径则根据个人存放项目文件的习惯num = 0for i in range(1, 11):start = numnum = num + int(data.shape[0] / 10)file = data.iloc[start:num,]file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出现序号注意:如果此时文件的路径包含有中文,则必须改成以下的代码:
import pandas as pdf = open('C:\\Users\\PycharmProjects\\数据切分\\data\\UserBehavior.csv')data = pd.read_csv(f)num = 0for i in range(1, 11):start = numnum = num + int(data.shape[0] / 10)file = data.iloc[start:num,]file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)但是使用这种方法调用文件进内存,加重了内存的负担,两次赋值相当于内存占用乘2,此方法不建议使用,还是将路径改为英文名。
总结
以上所述是小编给大家介绍的Python 等分切分数据及规则命名的实例代码,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
这篇文章主要介绍了Python切分数组实例解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下将一个数组,均分
本文实例讲述了Python实现的大数据分析操作系统日志功能。分享给大家供大家参考,具体如下:一代码1、大文件切分importosimportos.pathimp
处理思路笔者在学习时被要求在Python中使用指定字符长度切分数据。如,string类型的字符串film_type=‘都市浪漫爱情喜剧',已知电影类型都是两个中
函数的基本结构Python中的函数基本结构:复制代码代码如下:def函数名([参数列表]):语句几点说明:•函数名的命名规则要符合python中的命
本文实例讲述了Python实现简单拆分PDF文件的方法。分享给大家供大家参考。具体如下:依赖pyPdf处理PDF文件切分pdf文件使用方法:1)将要切分的文件放