时间:2021-05-22
我们以学信网为例爬取个人信息
**如果看不清楚
按照以下步骤:**
1.火狐为例 打开需要登录的网页–> F12 开发者模式 (鼠标右击,点击检查元素)–点击网络 –>需要登录的页面登录下–> 点击网络找到 一个POST提交的链接点击–>找到post(注意该post中信息就是我们提交时需要构造的表单信息)
import requestsfrom bs4 import BeautifulSoupfrom http import cookiesimport urllibimport http.cookiejarheaders = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0', 'Referer':'https://account.chsi.com.cn/passport/login?service=https://my.chsi.com.cn/archive/j_spring_cas_security_check',}session = requests.Session()session.headers.update(headers)username = 'xxx'password = 'xxx'url = 'https://account.chsi.com.cn/passport/login?service=https://my.chsi.com.cn/archive/j_spring_cas_security_check'def login(username,password,lt,_eventId='submit'): #模拟登入函数 #构造表单数据 data = { #需要传去的数据 '_eventId':_eventId, 'lt':lt, 'password':password, 'submit':u'登录', 'username':username, } html = session.post(url,data=data,headers=headers)def get_lt(url): #解析登入界面_eventId html = session.get(url) #获取 lt soup = BeautifulSoup(html.text,'lxml',from_encoding="utf-8") lt=soup.find('input',type="hidden")['value'] return ltlt = get_lt(url)#获取登录form表单信息 以学信网为例login(username,password,lt)login_url = 'https://my.chsi.com.cn/archive/gdjy/xj/show.action'per_html = session.get(login_url)soup = BeautifulSoup(per_html.text,'lxml',from_encoding="utf-8")print(soup)for tag in soup.find_all('table',class_='mb-table'): print(tag) for tag1 in tag.find_all('td'): title= tag1.get_text(); print(title)以上这篇python 爬取学信网登录页面的例子就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
之前写了个python脚本用selenium+phantomjs爬新帖子,在循环拉取页面的过程中,phantomjs总是block住,使用WebDriverWa
本文实例讲述了Python爬取个人微信朋友信息操作。分享给大家供大家参考,具体如下:利用Python的itchat包爬取个人微信号的朋友信息,并将信息保存在本地
如何获取一个页面内所有URL链接?在Python中可以使用urllib对网页进行爬取,然后利用BeautifulSoup对爬取的页面进行解析,提取出所有的URL
学信网手机号码换了的解决方法如下: 1、首先进入学信网官方网站,然后在学信档案选项卡中点击“登录”按钮,并进入。 2、进入新页面后,点击“登录学信档案”,接
本文实例讲述了Python爬取需要登录的网站实现方法。分享给大家供大家参考,具体如下:importrequestsfromlxmlimporthtml#创建se