时间:2021-05-22
动态网页爬取是爬虫学习中的一个难点。本文将以知名插画网站pixiv为例,简要介绍动态网页爬取的方法。
本代码的功能是输入画师的pixiv id,下载画师的所有插画。由于本人水平所限,所以代码不能实现自动登录pixiv,需要在运行时手动输入网站的cookie值。
重点:请求头的构造,json文件网址的查找,json中信息的提取
创建文件夹
根据画师的id创建文件夹(相关路径需要自行调整)。
def makefolder(id): # 根据画师的id创建对应的文件夹 try: folder = os.path.join('E:\pixivimages', id) os.mkdir(folder) return folder except(FileExistsError): print('the folder exists!') exit()获取作者所有图片的id
访问url:https://pixiv.net/ajax/user/画师id/profile/all(这个json可以在画师主页url:https://www.pixiv.net/users/画师id 的开发者面板中找到,如图:)
json内容:
将json文档转化为python的字典,提取对应元素即可获取所有的插画id。
def getAuthorAllPicID(id, cookie): # 获取画师所有图片的id url = 'https://pixiv.net/ajax/user/' + id + '/profile/all' # 访问存有画师所有作品 headers = { 'User-Agent': user_agent, 'Cookie': cookie, 'Referer': 'https://www.pixiv.net/artworks/' # referer不能缺少,否则会403 } res = requests.get(url, headers=headers, proxies=proxies) if res.status_code == 200: resdict = json.loads(res.content)['body']['illusts'] # 将json转化为python的字典后提取元素 return [key for key in resdict] # 返回所有图片id else: print("Can not get the author's picture ids!") exit()获取图片的真实url并下载
访问url:https://www.pixiv.net/ajax/illust/图片id?lang=zh,可以看到储存有图片真实地址的json:(这个json可以在图片url:https://www.pixiv.net/artworks/图片id 的开发者面板中找到)
用同样的方法提取json中有用的元素:
def getPictures(folder, IDlist, cookie): # 访问图片储存的真实网址 for picid in IDlist: url1 = 'https://www.pixiv.net/artworks/{}'.format(picid) # 注意这里referer必不可少,否则会报403 headers = { 'User-Agent': user_agent, 'Cookie': cookie, 'Referer': url1 } url = 'https://www.pixiv.net/ajax/illust/' + str(picid) + '?lang = zh' #访问储存图片网址的json res = requests.get(url, headers=headers, proxies=proxies) if res.status_code == 200: data = json.loads(res.content) picurl = data['body']['urls']['original'] # 在字典中找到储存图片的路径与标题 title = data['body']['title'] title = changeTitle(title) # 调整标题 print(title) print(picurl) download(folder, picurl, title, headers) else: print("Can not get the urls of the pictures!") exit()def changeTitle(title): # 为了防止 global i title = re.sub('[*:]', "", title) # 如果图片中有下列符号,可能会导致图片无法成功下载 # 注意可能还会有许多不能用于文件命名的符号,如果找到对应符号要将其添加到正则表达式中 if title == '無題': # pixiv中有许多名为'無題'(日文)的图片,需要对它们加以区分以防止覆盖 title = title + str(i) i = i + 1 return titledef download(folder, picurl, title, headers): # 将图片下载到文件夹中 img = requests.get(picurl, headers=headers, proxies=proxies) if img.status_code == 200: with open(folder + '\\' + title + '.jpg', 'wb') as file: # 保存图片 print("downloading:" + title) file.write(img.content) else: print("download pictures error!")效果
到此这篇关于Python爬取动态网页中图片的文章就介绍到这了,更多相关Python爬取动态网页图片内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
Python爬虫不仅仅可以爬取静态网页,也可以爬取抓取动态网页。但是新版的Selenium不支持PhantomJS,无法进行动态网页的爬取,因此要放弃Phant
scrapy框架只能爬取静态网站。如需爬取动态网站,需要结合着selenium进行js的渲染,才能获取到动态加载的数据。如何通过selenium请求url,而不
本文实例讲述了python实现爬取百度图片的方法。分享给大家供大家参考,具体如下:importjsonimportitertoolsimporturllibim
Python爬取网页数据。网页中的数据大多是非结构性数据。爬取网页非结构性文本数据的首要任务是去掉网页噪声。网页噪声包括为了增强用户交互性而加入的各种脚本标记,
如何获取一个页面内所有URL链接?在Python中可以使用urllib对网页进行爬取,然后利用BeautifulSoup对爬取的页面进行解析,提取出所有的URL