Python3网络爬虫中的requests高级用法详解

时间:2021-05-22

本节我们再来了解下 Requests 的一些高级用法,如文件上传,代理设置,Cookies 设置等等。

1. 文件上传

我们知道 Reqeuests 可以模拟提交一些数据,假如有的网站需要我们上传文件,我们同样可以利用它来上传,实现非常简单,实例如下:

import requestsfiles = {'file': open('favicon.ico', 'rb')}r = requests.post('http://httpbin.org/post', files=files)print(r.text)

在上面一节中我们下载保存了一个文件叫做 favicon.ico,这次我们用它为例来模拟文件上传的过程。需要注意的是,favicon.ico 这个文件需要和当前脚本在同一目录下。如果有其它文件,当然也可以使用其它文件来上传,更改下名称即可。

运行结果如下:

{ "args": {}, "data": "", "files": { "file": "data:application/octet-stream;base64,AAAAAA...=" }, "form": {}, "headers": { "Accept": "**", "Accept-Encoding": "gzip, deflate", "Connection": "close", "Content-Length": "11", "Content-Type": "application/x-www-form-urlencoded", "Host": "httpbin.org", "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.116 Safari/537.36" }, "json": null, "origin": "182.32.203.166", "url": "http://httpbin.org/post"}

可以看到我们达到了同样的 POST 请求效果。

有了 Request 这个对象,我们就可以将一个个请求当做一个独立的对象来看待,这样在进行队列调度的时候会非常方便,后面我们会有一节使用它来构造一个 Request 队列。

9. 结语

本节讲解了 Requests 的一些高级用法,这些用法在后面实战部分会经常用到,需要熟练掌握。

更多的用法可以参考 Requests 的官方文档: http://docs.python-requests.org/ 。

总结

以上所述是小编给大家介绍的Python3网络爬虫中的requests高级用法详解,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。

相关文章