时间:2021-05-22
本文实例为大家分享了python脚本筛选出两个文件中重复的行数,供大家参考,具体内容如下
'''查找A文件中,与B文件中内容不重复的内容'''#!usr/bin/pythonimport sysimport os'''字符串查找函数,使用二分查找法在列表中进行查询'''def binarySearch(value, lines): right = len(lines) - 1 left = 0 a = value.strip() while left <= right: middle = int((right + left + 1)/2) b = lines[middle].strip() if a == b: return 1 if a < b: right = middle - 1 else: left = middle + 1 return 0DPT = 100000 # DPT 是Data Per File的意思fileAName = sys.argv[1];fileBName = sys.argv[2];#STEP1:先拆掉B文件,作为比较基准,临时文件命名为temp1,temp2,...,tempNprint("拆分比对文件...\n")fB = open(fileBName)tempFileNo = 1tempFileName = "temp{0}".format(tempFileNo)fTemp = open(tempFileName, "w+")line = fB.readline()lineCount = 0while line: if lineCount >= DPT: fTemp.flush() fTemp.close() tempFileNo = tempFileNo + 1 tempFileName = "temp{0}".format(tempFileNo) fTemp = open(tempFileName, "w+") lineCount = 0 fTemp.write(line) lineCount = lineCount + 1 line = fB.readline() fTemp.flush()fTemp.close()fB.close()print("拆分完成,一共{0}个临时文件,{1}条数据。\n".format(tempFileNo, (tempFileNo-1)*DPT + lineCount))#STEP2:把A文件与B文件拆出来的临时文件逐个进行比较,将结果轮流写入文件result0, result1# 最后写入的result文件就是最终结果fA = open(fileAName)resultTempFile = {"result0", "result1"};tempIndex = 0fOut = open("repeat", "w+")repeatCount = 0for i in range(1, tempFileNo + 1): print("比较第{0}个临时文件...\n".format(i)) if 0 == tempIndex: resultTempFile = "result0" tempIndex = 1 else: resultTempFile = "result1" tempIndex = 0 fResult = open(resultTempFile, "w+") fTemp = open("temp{0}".format(i)) lineSet = fTemp.readlines() fTemp.close() lineList = list(lineSet) lineList.sort() line = fA.readline() while line: if 0 == binarySearch(line, lineList): fResult.write(line) else: fOut.write(line) repeatCount = repeatCount + 1 line = fA.readline() fA.close() fResult.flush() fResult.close() fA = open(resultTempFile)fA.close()fOut.flush()fOut.close()print("比较完成,重复数据{0}条".format(repeatCount))os.rename(resultTempFile, "result")#STEP3:结束后把临时文件都删掉print("删除临时文件...\n")while tempFileNo > 0: tempFileName = "temp{0}".format(tempFileNo) os.remove(tempFileName) tempFileNo = tempFileNo - 1print("脚本结束。\n")以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
问题假如,在有两个大文件分别存储了大量的数据,数据其实很简单就是一堆字符串,每行存储一条,如何快速筛选出两个文件的异同之处么,或者如何筛选出两个文件中不同的元素
在Excel中如何筛选名字重复的数据,因为几百个数据中肯定有重复的,那么有没有方法可以筛选出来名字重复的数据呢?今天,小编就教大家在Excel中表格进行查找
在Excel中如何筛选名字重复的数据,因为几百个数据中肯定有重复的,那么有没有方法可以筛选出来名字重复的数据呢?下面就教大家在Excel中表格进行查找名字重
两个excel表格筛选出不同的内容的方法如下: MicrosoftExcel是Microsoft为使用Windows和AppleMacintosh操作系统的电
Excel中,筛选和加总是两个强大的功能,但有些朋友既会用筛选功能、也会用加总功能,但搞不清楚如何加总筛选出来的项目。要完成这个任务,要用到Excel的筛选功能