时间:2021-05-22
python爬虫中使用urli库可以使用opener"发送多个请求,这些请求是能共享处理cookie的,小编之前也提过python爬虫中使用request库会比urllib库更加⽅便,使用使用requests也能达到共享cookie的目的,即使用request库get方法和使用requests库提供的session对象都可以处理。
知识点扩展:
我们知道了requests中的session对象能够在请求之间保持cookie,它极大地方便了我们去使用cookie。当我们想设置方法级别中的请求时,可以如下面示例一样操作。
import requestss = requests.session()# 第一步:发送一个请求,用于设置请求中的cookiescookies = dict(cookies_are='cookie1')# tips: http://httpbin.org能够用于测试http请求和响应r1 = s.get(url='http://httpbin.org/cookies', cookies=cookies)print(r1.text)# 第二步:发送一个请求,用于再次设置请求中的cookiescookies = dict(cookies_are='cookie2')r2 = s.get(url='http://httpbin.org/cookies', cookies=cookies)print(r2.text)运行后
# r1.text{ "cookies": { "cookies_are": "cookie1" }}# t2.text{ "cookies": { "cookies_are": "cookie2" }}到此这篇关于python爬虫用request库处理cookie的实例讲解的文章就介绍到这了,更多相关python爬虫如何使用request库处理cookie内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
本文实例讲述了Yii框架中用response保存cookie,用request读取cookie的原理。分享给大家供大家参考,具体如下:在学习cookie的时候,
Python通过URL打开图片实例详解不论是用OpenCV还是PIL,skimage等库,在之前做图像处理的时候,几乎都是读取本地的图片。最近尝试爬虫爬取图片,
爬虫具有域名切换、信息收集以及信息存储功能。这里讲述如何构建基础的爬虫架构。1、urllib库:包含从网络请求数据、处理cookie、改变请求头和用户处理元数据
本文要介绍的爬虫是抓取暴走漫画上的GIF趣图,方便离线观看。爬虫用的是python3.3开发的,主要用到了urllib、request和BeautifulSou
本篇博文主要讲解Python爬虫实例,重点包括爬虫技术架构,组成爬虫的关键模块:URL管理器、HTML下载器和HTML解析器。爬虫简单架构程序入口函数(爬虫调度