时间:2021-05-22
我就废话不多说了,大家还是直接看代码吧!
talk is cheap
from openpyxl import Workbook from openpyxl.utils import get_column_letter from openpyxl import load_workbook import time wb = load_workbook("E:/a.xlsx", read_only=True) sh = wb["Sheet"] # rowItem = {} # for j in range(1,2000): # for i in range(1, 30): # rowItem[get_column_letter(i)] = i # sh.append(rowItem) # wb.save("E:/a.xlsx") t0 = time.time() print(sh['V500'].value) t1 = time.time() print("openpyxl所用时间:", str(t1-t0)) import xlrd xlsPath = "E:/a.xlsx" WorkBook = xlrd.open_workbook(xlsPath) sh = WorkBook.sheet_by_name("Sheet") t0 = time.time() print(sh.cell(499,22).value) t1 = time.time() print("xlrd所用时间:", str(t1-t0))测试结果:
22openpyxl所用时间: 0.4421761035919189523.0xlrd所用时间: 0.0010063648223876953结论
openpyxl的慢是读取慢,可以选择xlrd代替,详细测试下面继续
不直接使用xlwt+xlrd是因为xlwt仅支持2003及以下版本,最大行数限制在65536,不够用,而openpyxl大概在一百多万
主要的说完了,下面详细说了:在写工具的时候遇到的这个问题,开始是用的xlwt+xlrd,然后行数超标了,没办法换成openpyxl使用excel2007的版本,原本测试不到三万行的数据,只要三四秒,换成openpyxl以后,花了好几分钟,具体没看多少了,然后加上函数运行时间的监视器以后,才看到是读取的时候出的问题
推测原因:
推测的话,openpyxl的根据行号列号读取的时候,是从第一行第一列开始遍历,直到行号等于指定行号,列号等于指定列号,所以要读取的行号列号越多就越慢,(也可能是从第一个有数据的行或列),而xlrd则是类似与数组一样,我们要取第几个元素,直接根据下标找到内存中对应地址的元素即可,所以无论excel总量多少,速度基本都是不变的
留下的坑
xlwt写入仅支持65536行,那xlrd的读取很可能也是,也就是超过这么多的数据可能也会出错
我这里因为是读多表数据生成单表数据,生成方式大概是Na*Nb这样,所以实际读取的不会太多,但生成的很多,所以基本可以用考虑这个问题
另外,据说xlrd读取xlsx格式的偶尔会出现问题,具体没测试,暂时用还没毛病
最后,顺带上一下监控函数运行时间的装饰器吧:
import timefrom functools import wrapsdef fn_timer(function): @wraps(function) def function_timer(*args, **kwargs): t0 = time.time() result = function(*args, **kwargs) t1 = time.time() print ("Total time running %s: %s seconds" % (function.__name__, str(t1-t0)) ) return result return function_timer使用方式的话,就是在要监控的函数定义上面加上 @fn_timer 就行了
以上这篇解决python执行较大excel文件openpyxl慢问题就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
python读写excel文件有很多种方法:用xlrd和xlwt进行excel读写用openpyxl进行excel读写用pandas进行excel读写本文使用x
使用openpyxl保存文件的时候,出现最下面异常,查看openpyxl的版本是2.5.14,把openpyxl降级就可以解决此问题。[root@billigm
word2007文件打开超慢的解决方法如下: 1、在打开较大的word、Excel等文档前,关闭进程较大的文件。 2、及时进行系统的清理工作。 3、文档尽
前言Python中常用的操作Excel的三方包有xlrd,xlwt和openpyxl等,xlrd支持读取.xls和.xlsx格式的Excel文件,只支持读取,不
openpyxl介绍openpyxl是一个直接可用于读写xlsx、xlsm、xltx、xltm文件的Python内置库,借助它可以利用Python语法对本地xl