时间:2021-05-22
基于requests模块发起ajax的get请求
需求:爬取豆瓣电影分类排行榜 https://movie.douban.com/中的电影详情数据
用抓包工具捉取 使用ajax加载页面的请求
鼠标往下下滚轮拖动页面,会加载更多的电影信息,这个局部刷新是当前页面发起的ajax请求,
用抓包工具捉取页面刷新的ajax的get请求,捉取滚轮在最底部时候发起的请求
这个get请求是本次发起的请求的url
ajax的get请求携带参数
获取响应内容不再是页面数据,是json字符串,是通过异步请求获取的电影详情信息
start和limit参数 需要注意,改变这两个参数获取的电影详情不一样
import requestsimport json# 指定ajax-get请求的url(通过抓包进行获取)url = 'https://movie.douban.com/j/chart/top_list?'# 封装ajax的get请求携带的参数(从抓包工具中获取) 封装到字典param = { 'type': '13', 'interval_id': '100:90', 'action': '', 'start': '20', # 从第20个电影开始获取详情 'limit': '20', # 获取多少个电影详情 # 改变这两个参数获取的电影详情不一样}# 定制请求头信息,相关的头信息必须封装在字典结构中headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',}# 发起ajax的get请求还是用get方法response = requests.get(url=url,params=param,headers=headers)# 获取响应内容:响应内容为json字符串data = response.textdata = json.loads(data)for data_dict in data: print(data_dict["rank"],data_dict["title"])'''芙蓉镇沉静如海淘金记马戏团情迷意乱士兵之歌战争与和平怦然心动大话西游之月光宝盒罗马假日音乐之声一一雨中曲我爱你莫娣卡比利亚之夜婚姻生活本杰明·巴顿奇事情书春光乍泄'''从21个电影开始获取信息,总共获取20个电影详情信息
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
python爬虫要用到的库:请求库:实现HTTP请求操作urllib:一系列用于操作URL的功能。requests:基于urllib编写的,阻塞式HTTP请求库
前言在Python爬虫中,使用requests发送请求,访问指定网站,是常见的做法。一般是发送GET请求或者POST请求,对于GET请求没有什么好说的,而发送P
本文实例讲述了Python基于分析Ajax请求实现抓取今日头条街拍图集功能。分享给大家供大家参考,具体如下:代码:importosimportreimportj
Pythonrequests模块 requests模块是我们使用的python爬虫模块可以完成市场进80%的爬虫需求。安装pipinstallrequests
本文研究的主要是Python使用requests及BeautifulSoup构建一个网络爬虫,具体步骤如下。功能说明在Python下面可使用requests模块