python爬虫遇到爬取文件内容时，需要一页页的翻页爬取，这样很是麻烦，其实可以获取每个列表信息下的文件名和文件链接，让文件名和文件链接处理为列表，保存后下载，实现智能翻页批量下载文件，本文以以京客隆为例，批量下载文件，如财务资料，他的每一份报告都是一份pdf格式的文档。以此页面为目标，下载他每个分类的文件python爬虫实战之智能翻页批量下载文件。

1、引入库

import requestsimport pandas as pdfrom lxml import etreeimport reimport os

2、解析初始页面

baseUrl ='http://.cn'+pdf_url for pdf_url in pdf_url] # print(pdf_url) pdf_data=dict(zip(pdf_names,pdf_urls)) # pdf地址和名字整合为字典 for pdfName,pdfUrl in pdf_data.items(): pdfName =pdfName.replace('/','.') res_pdf= requests.get(url =pdfUrl,headers=heade).content houZui = pdfUrl.split('.')[-1] pdf_pash = path + '/' + pdfName + '.'+ houZui # # print(pdf_pash) with open(pdf_pash,'wb') as f: f.write(res_pdf) print(pdfName,'下载成功')

到此这篇关于python爬虫智能翻页批量下载文件的实例详解的文章就介绍到这了,更多相关python爬虫实战之智能翻页批量下载文件内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！