python爬虫爬取某站上海租房图片

时间:2021-05-22

对于一个net开发这爬虫真真的以前没有写过。这段时间开始学习python爬虫,今天周末无聊写了一段代码爬取上海租房图片,其实很简短就是利用爬虫的第三方库Requests与BeautifulSoup。python 版本:python3.6 ,IDE :pycharm。其实就几行代码,但希望没有开发基础的人也能一下子看明白,所以大神请绕行。

第三方库首先安装

我是用的pycharm所以另为的脚本安装我这就不介绍了。

如上图打开默认设置选择Project Interprecter,双击pip或者点击加号,搜索要安装的第三方库。其中如果建立的项目多记得Project Interprecter要选择正确的安装位置不然无法导入。

Requests库

requests库的官方定义:Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用。其实他就是请求网络获取网页数据的。

import requestsheader={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}res=requests.get('http://sh.58.com/zufang/',headers=header)try: print(res.text);except ConnectionError: print('访问被拒绝!!!')

结果如下:

其中Request Headers的参数如下:

#headers的一些属性:#Accept:指定客户端能够接收的内容类型,内容类型的先后次序表示客户都接收的先后次序#Accept-Lanuage:指定HTTP客户端浏览器用来展示返回信息优先选择的语言#Accept-Encoding指定客户端浏览器可以支持的web服务器返回内容压缩编码类型。表示允许服务器在将输出内容发送到客户端以前进行压缩,以节约带宽。而这里设置的就是客户端浏览器所能够支持的返回压缩格式。#Accept-Charset:HTTP客户端浏览器可以接受的字符编码集# User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求# Content-Type : 在使用 REST 接口时,服务器会检查该值,用来确定 HTTP Body 中的内容该怎样解析。# application/xml : 在 XML RPC,如 RESTful/SOAP 调用时使用# application/json : 在 JSON RPC 调用时使用# application/x-/zufang/pn{}/?ClickID=2'.format(number) for number in range(6,51)]#分页抓取adminCout=6for arurl in url: adminCout=adminCout+1 res=requests.get(arurl,headers=header) soup=BeautifulSoup(res.text,'html.parser') arryImg=soup.select('.img_list img') print(arryImg) count = 0; for img in arryImg: print(img['lazy_src']) _url = img['lazy_src'] pathName = "E:\\2333\\" + str(adminCout)+"_"+str(count) + ".jpg" # 设置路径和文件名 result = urllib.request.urlopen(_url) # 打开链接,和python2.x不同请注意了 data = result.read() # 否则开始下载到本地 with open(pathName, "wb") as code: code.write(data) code.close() count = count + 1 # 计数+1 print("正在下载第:", count) time.sleep(30)

只是实现功能,至于代码结果如下:

结语:

对于python并非为了从net跳出来,学习python只是感兴趣,但是通过这段时间的学习确实有些思想从net的思路中跳了出来,接下来一年的业余时间应该都会花在学习python上,还希望自己能坚持下去。这应该是2017年最后一篇文章,在这给大家拜个早年。

声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。

相关文章