时间:2021-05-22
本文实例讲述了Python实现将一个大文件按段落分隔为多个小文件的简单操作方法。分享给大家供大家参考,具体如下:
今天帮同学处理一点语料。语料文件有点大,并且是以连续两个换行符作为段落标志,他想把它按段落分隔成多个小文件,即每3个段落组成一个新文件。由于以前没有遇到过类似的操作,在网上找了一些相似的方法,看起来都有点复杂。所以经尝试,自己写了一段代码,完美解决问题。
基本思路是,先读原文件内容,并使用正则表达式,依据\n\n进行切片处理,结果为一个列表,其中每一个列表元素都存放一个切片中的内容;然后创建一个写文件的句柄;接下来遍历切片列表,并写入当前切片内容,判断是否已经写入了3个段落,如果不是,则继续读写下一个切片,如果已经够3个,则关闭之前的写文件句柄,以不同的文件名重新创建一个新的写文件句柄,循环结束,等待读写下一个切片。
# -*- coding:utf8 -*-import re;p=re.compile('\n\n',re.S);fileContent=open('files/办公室.txt','r',encoding='utf8').read();#读文件内容paraList=p.split(fileContent) #根据换行符对文本进行切片fileWriter=open('files/0.txt','a',encoding='utf8');#创建一个写文件的句柄for paraIndex in range(len(paraList)):#遍历切片后的文本列表 fileWriter.write(paraList[paraIndex]);#先将列表中第一个元素写入文件中 if((paraIndex+1)%3==0):#判断是否写够3个切片,如果已经够了 fileWriter.close(); #关闭当前句柄 fileWriter=open('files/'+str((paraIndex+1)/3)+'.txt','a',encoding='utf8'); #重新创建一个新的句柄,等待写入下一个切片元素。注意这里文件名的处理技巧。fileWriter.close();#关闭最后创建的那个写文件句柄print('finished');更多关于Python相关内容感兴趣的读者可查看本站专题:《Python文件与目录操作技巧汇总》、《Python文本文件操作技巧汇总》、《Python URL操作技巧总结》、《Python图片操作技巧总结》、《Python数据结构与算法教程》、《Python Socket编程技巧总结》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》及《Python入门与进阶经典教程》
希望本文所述对大家Python程序设计有所帮助。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
运用Java编写代码将一个大文件切割成指定大小的小文件思路:对已知文件进行切割操作–>得到多个碎片文件使用:1、1个字节输入流–>读取已知文件中的数据2、多个字
本文通过实例为大家分享了python实现批量移动文件的具体代码,供大家参考,具体内容如下任务:每个大文件夹下有许多小文件夹,将小文件夹里的pdf文件移动到指定文
你曾经是否想要把一个大文件分割成多个小文件?比如一个5gb日志文件,我们需要把它分成多个小文件,这样我们才有可能使用普通的文本编辑器读取它。有时我们需要传输20
本文实例讲述了python简单分割文件的方法。分享给大家供大家参考。具体如下:有的网站在上传文件时对文件大小有限制,因此可以将大文件分割成多个小文件再上传。#!
很多时候我们会面临大文件无法加载到内存,或者要传输大文件的问题。这时候就需要考虑将大文件分割为小文件进行处理了。下面是一种用python分割与合并分件的实现。i