时间:2021-05-23
前段时间自学了一段时间的Python,想着浓一点项目来练练手。看着大佬们一说就是爬了100W+的数据就非常的羡慕,不过对于我这种初学者来说,也就爬一爬图片。
我相信很多人的第一个爬虫程序都是爬去贴吧的图片,嗯,我平时不玩贴吧,加上我觉得豆瓣挺良心的,我就爬了豆瓣首页上面的图片。其实最刚开始是想爬全站,后来一想我这简直是脑子犯抽,全站的图片爬下来得有多少,再说这个只是练一下手,所以就只爬取了首页上的图片。废话不多说 开始代码。
首先是主文件的代码:
import refrom html_downloder import HtmlDownloaderfrom html_downloder import Image"'起始URL'"url = "https://""'保存目录'"image_path = "F:\source\Python\爬虫\ImageGet\Image%s.jpg""'定义实体类'"downloader = HtmlDownloader()html = downloader.download(url)"'SaveFile(html, html_path)'"html = html.decode('utf-8')"'正则表达式'"reg1 = r'="(https://img[\S]*?[jpg|png])"'"'提取图片的URL'"dbdata = re.findall(reg1, html)imgsave = Image()"'下载保存图片'"imgsave.ImageGet(dbdata, image_path)我们打开豆瓣首页然后看一下里面图片的url会发现
都是以“=”等号开头,后面接双引号,中间都是https://img,末尾以双引号结束。
因此我们的正则表达式可以写成 reg1 = r'="(https://img[\S]*?[jpg|png])"'
在这个表达式中"[]"中括号里面的东西会作为一个整体,其中[\S]表示大小写字母和数字,[jpg|png]表示以png结尾或者jpg结尾(在这次爬虫中并没有包括gif,因为打开gif的url发现是空白)。
然后是html_downloder.py的代码:
# file: html_downloader.py import urllib.request import urllib.error import time class HtmlDownloader(object): def download(self, url): if url is None: return None try: header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64)'} "'发出请求'" request = urllib.request.Request(url=url, headers=header) "'获取结果'" response = urllib.request.urlopen(url) except urllib.error.URLError as e: if hasattr(e, "code"): print(e.code) if hasattr(e, "reason"): print(e.reason) if response.getcode() != 200: return None html = response.read() response.close() return html class Image (object): def ImageGet(self, imageurl, image_path): x = 0 for li in imageurl: urllib.request.urlretrieve(li, image_path % x) x = x + 1 "'休眠5s以免给服务器造成严重负担'" time.sleep(5)这个文件的代码主要是负责下载html网页和下载具体的图片。接下来就可以在保存路径对应的文件夹中中看到下载的图片了
至此,爬虫告一段落,离大佬的路还远得很,继续加油!!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。前文01、python爬虫入门教程01:豆瓣Top电影爬
最近在学习python爬虫,看到网上有很多关于模拟豆瓣登录的例子,随意找了一个试了下,发现不能运行,对比了一下代码和豆瓣网站,发现原来是豆瓣网站做了修改,增加了
本文为大家分享了Python爬虫包BeautifulSoup学习实例,具体内容如下BeautifulSoup使用BeautifulSoup抓取豆瓣电影的一些信息
上篇文章给大家介绍了Python爬虫实现百度翻译功能过程详解Python爬虫学习之翻译小程序感兴趣的朋友点击查看。今天给大家介绍Python爬虫制作翻译程序的方
本文实例讲述了Python实现简单的获取图片爬虫功能。分享给大家供大家参考,具体如下:简单Python爬虫,获得网页上的照片#coding=utf-8impor