时间:2021-05-22
本文实例讲述了python实现提取百度搜索结果的方法。分享给大家供大家参考。具体实现方法如下:
# coding=utf8import urllib2import stringimport urllibimport reimport random#设置多个user_agents,防止百度限制IPuser_agents = ['Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20130406 Firefox/23.0', \ 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0', \ 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533+ \ (KHTML, like Gecko) Element Browser 5.0', \ 'IBM WebExplorer /v0.94', 'Galaxy/1.0 [en] (Mac OS X 10.5.6; U; en)', \ 'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)', \ 'Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14', \ 'Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) \ Version/6.0 Mobile/10A5355d Safari/8536.25', \ 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) \ Chrome/28.0.1468.0 Safari/537.36', \ 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0; Trident/5.0; TheWorld)']def baidu_search(keyword,pn): p= {'wd': keyword} res=urllib2.urlopen(("http://pile(u'<[^>]+>') retval = p.sub("",text) return retvaldef geturl(keyword): for page in range(10): pn=page*100+1 html = baidu_search(keyword,pn) content = unicode(html, 'utf-8','ignore') arrList = getList(u"<table.*?class=\"result\".*?>.*?<\/a>", content) for item in arrList: regex = u"<h3.*?class=\"t\".*?><a.*?href=\"(.*?)\".*?>(.*?)<\/a>" link = getMatch(regex,item) url = link[0] #获取标题 #title = clearTag(link[1]).encode('utf8') try: domain=urllib2.Request(url) r=random.randint(0,11) domain.add_header('User-agent', user_agents[r]) domain.add_header('connection','keep-alive') response=urllib2.urlopen(domain) uri=response.geturl() print uri except: continueif __name__=='__main__': geturl('python')希望本文所述对大家的Python程序设计有所帮助。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
本文实例讲述了PHP实现抓取百度搜索结果页面【相关搜索词】并存储到txt文件。分享给大家供大家参考,具体如下:一、百度搜索关键词【】【】搜索链接https://
百度搜索生态运营总监郑娜表示,AI时代下,百度搜索已经开始进化,未来搜索提供的不仅仅是搜索结果,而是服务。6月29日,百度搜索生态运营总监郑娜在熊掌号广州活动上
本文实例讲述了JS实现仿google、百度搜索框输入信息智能提示的实现方法。分享给大家供大家参考。具体如下:仿google、百度搜索框输入信息智能提示的实现bo
百度搜索引擎的定义最开始来源于Google、百度搜索等百度搜索引擎,目地是为了更好地协助客户找寻“回答”。当客户运用百度搜索、Google等百度搜索引擎查找
百度搜索引擎搜索帮助中心提到:“网页在百度搜索结果的排序中有浮动,这正常吗?”“答:通常情况下,这是正常的变化。”其实百度排名不稳定排名因素和百度排名机制有着直