时间:2021-05-22
环境:python3, 要安装bs4这个第三方库
获取请求头的方法
这里使用的是Chrome浏览器。
打开你想查询的网站,按F12,或者鼠标右键一下选择检查。会弹出如下的审查元素页面:
然后点击上方选项中的Network选项:
此时在按Ctrl+R:
选择下方框中的第一个,单击:
选择Headers选项,其中就会有Request Headers,包括你需要的信息。
介绍:这个程序是用来批量获取网页的图片,用于新手入门
注意:由于是入门的程序在获取某些网页的图片时会出问题!!!!!
import osimport urllib.requestfrom bs4 import BeautifulSoup# 网址url = "http://www2017.tyut.edu.cn/"# 建立请求对象request = urllib.request.Request(url)# 加入请求头(一定要换成自己的!!!!)request.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36')# 获取请求code = urllib.request.urlopen(request)# 得到html代码html = code.read().decode('utf-8')# 将html的标签转成对象(方便后面的操作)bs = BeautifulSoup(html, 'html.parser')# 提取所有的img标签imagesUrl = bs.find_all('img')sources = []# 建立存放的路径(路径一定要存在!!!!!!)filepath = os.getcwd() + '\\images\\'def createFile(path: str, fpath): urllib.request.urlretrieve(path, fpath)# 获取图片的路径(网址+img标签的src属性的值)for img in imagesUrl: sources.append(url + str(img.get('src')))for src in sources: # 用split是防止请求带参 baseName = os.path.basename(src).split('?') # 图片名 fileName = filepath + baseName[0] print("url=" + src, "filename=" + fileName) createFile(src, fileName)print('这次您一共下载了图片' + str(len(sources)) + '张')以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
本文实例讲述了Python实现简单的获取图片爬虫功能。分享给大家供大家参考,具体如下:简单Python爬虫,获得网页上的照片#coding=utf-8impor
最近在学习Python,自然接触到了爬虫,写了一个小型爬虫软件,从初始Url解析网页,使用正则获取待爬取链接,使用beautifulsoup解析获取文本,使用自
本文实例为大家分享了基于C#实现网页爬虫的详细代码,供大家参考,具体内容如下HTTP请求工具类:功能:1、获取网页html2、下载网络图片usingSystem
这篇文章主要介绍了基于Python实现ComicReaper漫画自动爬取脚本过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值
python获取网页编码方式实现代码python开发,自动化获取网页编码方式用到了chardet库,字符集检测,这个类在python2.7中没有,需要在官网上下