时间:2021-05-22
一,cookie和session的区别
cookie在客户的浏览器上,session存在服务器上
cookie是不安全的,且有失效时间
session是在cookie的基础上,服务端设置session时会向浏览器发送设置一个设置cookie的请求,这个cookie包括session的id当访问服务端时带上这个session_id就可以获取到用户保存在服务端对应的session
二,爬虫处理cookie和session
带上cookie和session的好处:
能够请求到登录后的界面
带上cookie和session的弊端:
一个cookie和session往往和一个用户对应,访问太快容易被服务器检测出来爬虫
不需要cookie的时候尽量不要用
三,处理session,cookie请求
1,cookie请求方式
1.1 直接使用浏览器抓包到的现有的cookie进行访问网站:
放在header字典里面
当然也可以在发送get请求时加上cookies的字典参数:
但是接受的参数是字典类型的,这就需要我们适用字符串分割方法把cookie字符串转为字典形式:
适用于cookie过期时间比较长的网站
2.session请求方式
request提供了一个一个叫做session的类,来实现客户端和服务端的会话保持
使用方法:
1.实例化一个session对象
2.让session发送get或post请求
3.再使用session访问只有登录之后才能访问的网站,这时候session会自动带上服务器保存在其中的信息进行访问
到此这篇关于python中requests模拟登录的三种方式(携带cookie/session进行请求网站)的文章就介绍到这了,更多相关python requests模拟登录 内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
scrapy有三种方法模拟登陆方式:-直接携带cookies-找url地址,发送post请求存储cookie-找到对应的form表单,自动解析input标签,自
最近开发一套接口,写个Python脚本,使用requests.session模拟一下登录.因为每次需要获取用户信息,登录需要带着session信息,所以所有请求
cookie并不陌生,与session一样,能够让http请求前后保持状态。与session不同之处,在于cookie数据仅保存于客户端。requests也提供
http协议本身是无状态的,为了让请求之间保持状态,有了session和cookie机制。requests也提供了相应的方法去操纵它们。requests中的se
本人是python3.6总的来说,scrapy框架中设置cookie有三种方式。第一种:setting文件中设置cookie当COOKIES_ENABLED是注