时间:2021-05-22
本文实例讲述了Python使用bs4获取58同城城市分类的方法。分享给大家供大家参考。具体如下:
# -*- coding:utf-8 -*-#! /usr/bin/pythonimport urllibimport os, datetime, sysfrom bs4 import BeautifulSoupreload(sys) sys.setdefaultencoding( "utf-8" ) __BASEURL__ = "http://bj.58.com/"__INITURL__ = "http://bj.58.com/hezu/"soup=BeautifulSoup(urllib.urlopen(__INITURL__))lv1Elements = soup.html.body.section.find('div', 'relative').find('dl', 'secitem')('a',href=True)f=open('data.txt', 'w')for element in lv1Elements[1:]: f.write((element.get_text() + '\r\n')) print element.get_text() url = __BASEURL__ + element.get('href') print url soup=BeautifulSoup(urllib.urlopen(url)) lv2Elements = soup.html.body.section.find('div', 'relative').find('dl', 'secitem').find('div', 'subarea').find_all('a') texts = [t.get_text() for t in lv2Elements] f.write(' '.join(texts) + '\r\n\r\n')f.close()希望本文所述对大家的Python程序设计有所帮助。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
分类信息推广还是比较灵活快速,不过现在又升级出新的分类信息推广方法,就是类似千万格子共享城市分类广告位。通过首页置顶就能共享一个城市广告位,可以按天计算置顶。比
环境:python3,要安装bs4这个第三方库获取请求头的方法这里使用的是Chrome浏览器。打开你想查询的网站,按F12,或者鼠标右键一下选择检查。会弹出如下
目的:获取腾讯社招这个页面的职位名称及超链接职位类别人数地点和发布时间要求:使用bs4进行解析,并把结果以json文件形式存储注意:如果直接把python列表没
BeautifulSoup库一般被称为bs4库,支持Python3,是我们写爬虫非常好的第三方库。因用起来十分的简便流畅。所以也被人叫做“美味汤”。目前bs4库
环境Python2.7.6,BS4,在powershell或命令行均可运行。请确保安装了BS模块复制代码代码如下:#-*-coding:utf8-*-#2013