时间:2021-05-22
环境搭建
python 3.x
requests 包
re 包
gooey包 (用于可视化)
代码
import requestsimport reimport osfrom gooey import Gooey, GooeyParserimport times = requests.Session()def judgeTypeOfPath(name): ''' 判断该路径是文件还是文件夹 :param name: 路径名称 :return:True->文件;False->文件夹 ''' if name[-1] == '/': return False else: return Truedef makeDirOfPath(path): ''' 创建文件夹 :param path: 文件夹名称以及路径 :return: True->创建成功;False->创建失败 ''' if not os.path.isdir(path): os.mkdir(path) if not os.path.isdir(path): return False return Truedef getPath(url): ''' 获取网页路径列表 :param url: 当前网页路径 :return: 路径列表 ''' baseResponse = s.get(url=url, stream=True,verify=False).text listOfDirOrFilesTemp = re.findall(r'<li><a href=".*?" rel="external nofollow" >', baseResponse) listOfDirOrFiles = [] for i in range(len(listOfDirOrFilesTemp)): listOfDirOrFiles.append(listOfDirOrFilesTemp[i].split("\"")[1]) return listOfDirOrFiles[1:len(listOfDirOrFiles) + 1]def rfSearch(listOfPath,url, nowPath): ''' 递归寻找目录、路径,并下载文件 :param listOfPath: 当前目录下文件以及文件夹目录列表 :param nowPath: 现在所在路径 :return: ''' newList = listOfPath[:] if not newList: return for i in range(len(newList)): if not judgeTypeOfPath(newList[i]): u = nowPath + newList[i][0:len(newList[i])] makeDirOfPath(u) tempPath=nowPath + newList[i][0:len(newList[i])+1] tempUrl=url+newList[i][0:len(newList[i])+1] u=getPath(tempUrl) rfSearch(u,tempUrl,tempPath) else: print(f'开始下载{newList[i]}...') t1=time.time() u = nowPath + newList[i] m=url+newList[i] if not os.path.exists(u): r = s.get(m, stream=True,verify=False) f = open(u, "wb") for chunk in r.iter_content(chunk_size=10240): if chunk: f.write(chunk) f.close() t2=time.time() print(f'{newList[i]}下载完成\t\t用时 {t2-t1}')@Gooey( program_name='isric数据下载器', encoding="utf-8", )def main(): parser = GooeyParser(description="isric数据下载器") parser.add_argument('--url',default=r'https://files.isric.org/soilgrids/latest/data/') parser.add_argument('--path', widget="DirChooser", default=r'F:/isricData/') args = parser.parse_args() url=args.url nowPath = args.path u = getPath(url) rfSearch(u, url,nowPath)###如果不需要可视化,则不用gooey,可以将上面部分替换如下#@Gooey(# program_name='isric数据下载器',# encoding="utf-8", )#上面三行删除即可###main函数替换成下面部分:# def main():# url=r'https://files.isric.org/soilgrids/latest/data/'#在此处修改地址链接# nowPath = r'F:/isricData/'#在此处修改文件保存地址# u = getPath(url)# rfSearch(u, url,nowPath)if __name__ == "__main__": main()到此这篇关于python Requsets下载开源网站的代码(带索引 数据)的文章就介绍到这了,更多相关python Requsets下载内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
pycharm部署anaconda环境Pycharm:python编辑器,社区版本Anaconda:开源的python发行版本(专注于数据分析的python版本
1.Anaconda1.1Anaconda简介Anaconda是一个开源的python发行版本,是现在比较流行的python数据科学平台,可以对python的科
我们知道在做优化时,代码的流畅度是很关键的。简单清爽流程的代码往往受到搜索引擎的亲睐,代码是网站建立的根本,减少繁复复杂的代码和整合细节代码能够为网站优化带
前言matplotlib是基于Python语言的开源项目,旨在为Python提供一个数据绘图包。在使用Pythonmatplotlib库绘制数据图时,需要使用图
PostgreSQL是一款功能强大的开源关系型数据库,本文使用python实现了对开源数据库PostgreSQL的常用操作,其开发过程简介如下:一、环境信息:1