时间:2021-05-22
这篇文章主要介绍了Python拆分大型CSV文件代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
#!/usr/bin/env python3# -*- coding:utf-8 -*-# @FileName :Test.py# @Software PyCharmimport osimport pandas as pd# filename为文件路径,file_num为拆分后的文件行数# 根据是否有表头执行不同程序,默认有表头的def Data_split(filename,file_num,header=True): if header: # 设置每个文件需要有的行数,初始化为1000W chunksize=10000 data1=pd.read_table(filename,chunksize=chunksize,sep=',',encoding='gbk') # print(data1) # num表示总行数 num=0 for chunk in data1: num+=len(chunk) # print(num) # chunksize表示每个文件需要分配到的行数 chunksize=round(num/file_num+1) # print(chunksize) # 分离文件名与扩展名os.path.split(filename) head,tail=os.path.split(filename) data2=pd.read_table(filename,chunksize=chunksize,sep=',',encoding='gbk') i=0 for chunk in data2: chunk.to_csv('{0}_{1}{2}'.format(head,i,tail),header=None,index=False) print('保存第{0}个数据'.format(i)) i+=1 else: # 获得每个文件需要的行数 chunksize=10000 data1=pd.read_table(filename,chunksize=chunksize,header=None,sep=',') num=0 for chunk in data1: num+=len(chunk) chunksize=round(num/file_num+1) head,tail=os.path.split(filename) data2=pd.read_table(filename,chunksize=chunksize,header=None,sep=',') i=0 for chunk in data2: chunk.to_csv('{0}_{1}{2}'.foemat(head,i,tail),header=None,index=False) print('保存第{0}个数据'.format(i)) i+=1filename='文件路径'#num为拆分为的文件个数Data_split(filename,num,header=True)以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
一、Python读取csv文件说明:以Python3.x为例#读取csv文件方法1importcsvcsvfile=open('csvWrite.csv',ne
本文实例为大家分享了三种方式使用python写数据到csv或xlsx文件,供大家参考,具体内容如下第一种:使用csv模块,写入到csv格式文件#-*-codin
Python读取与写入CSV文件需要导入Python自带的CSV模块,然后通过CSV模块中的函数csv.reader()与csv.writer()来进行CSV文
本文实例讲述了Python写入CSV文件的方法。分享给大家供大家参考。具体如下:#_*_coding:utf-8_*_#xiaohei.python.seo.c
本文实例为大家分享了java导出生成csv文件的具体代码,供大家参考,具体内容如下首先我们需要对csv文件有基础的认识,csv文件类似excel,可以使用exc