时间:2021-05-22
首先确定你要爬取的目标网站的表单提交方式,可以通过开发者工具看到。这里推荐使用chrome。
这里我用163邮箱为例
打开工具后再Network中,在Name选中想要了解的网站,右侧headers里的request method就是提交方式。status如果是200表示成功访问下面的有头信息,cookie是你登录之后产生的存储会话(session)信息的。第一次访问该网页需要提供用户名和密码,之后只需要在headers里提供cookie就可以登陆进去。
引入requests库,会提供get和post的方法。
代码示例:
import requestsimport ssluser_agent="Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0"accept='text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'accept_language='zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3'upgrade='1'headers={ 'User-Agent':user_agent, 'Accept':accept, 'Accept-Language':accept_language,'Cookie':'....'#这里填入你登陆后产生的cookie}r = requests.get("http://mail.163.com/js6/main.jsp?sid=OAwUtGgglzEJoANLHPggrsKKAhsyheAT&df=mail163_letter#module=welcome.WelcomeModule%7C%7B%7D",headers=headers,verify=False)fp = open("/temp/csdn.txt","w",encoding='utf-8')fp.write(str(r.content,'utf-8'))fp.close()这里我引入了ssl库,因为我第一次访问的网页证书过期。如果我们使用爬虫进入这样的网站时,会报错:SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:581)
在requests的get和post方法中,有一个参数为verify,把他设为False后会禁掉证书的要求
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
//GPC过滤,自动转义$_GET,$_POST,$_COOKIE中的特殊字符,防止SQL注入攻击$_GET=saddslashes($_GET);$_POST
前言在Python爬虫中,使用requests发送请求,访问指定网站,是常见的做法。一般是发送GET请求或者POST请求,对于GET请求没有什么好说的,而发送P
Django中request.get和request.post的区别POST和GET差异:POST和GET是HTTP协议定义的与服务器交互的方法。GET一般用于
本文主要涉及python爬虫知识点:web是如何交互的requests库的get、post函数的应用response对象的相关函数,属性python文件的打开,
get和post区别如下: GET用于获取信息,是无副作用的,是幂等的,且可缓存,POST用于修改服务器上的数据,有副作用,非幂等,不可缓存。GET和PO