时间:2021-05-23
1、Python中获取整个页面的代码:
importrequestsres=requests.get('https://blog.csdn.net/yirexiao/article/details/79092355')res.encoding='utf-8'print(res.text)2、运行结果
实例扩展:
from bs4 import BeautifulSoupimport time,re,urllib2t=time.time()websiteurls={}def scanpage(url): websiteurl=url t=time.time() n=0 html=urllib2.urlopen(websiteurl).read() soup=BeautifulSoup(html) pageurls=[] Upageurls={} pageurls=soup.find_all("a",href=True) for links in pageurls: if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls: Upageurls[links.get("href")]=0 for links in Upageurls.keys(): try: urllib2.urlopen(links).getcode() except: print "connect failed" else: t2=time.time() Upageurls[links]=urllib2.urlopen(links).getcode() print n, print links, print Upageurls[links] t1=time.time() print t1-t2 n+=1 print ("total is "+repr(n)+" links") print time.time()-tscanpage(http://news.163.com/)到此这篇关于python获取整个网页源码的方法的文章就介绍到这了,更多相关python如何获取整个页面内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
本文实例讲述了C#获取网页HTML源码的方法,分享给大家供大家参考。具体方法如下:关键代码如下:复制代码代码如下://////获取网页HTML源码//////链
python获取当前运行函数名称的方法实例代码摘要:c/c++中获取函数所在源码名,函数名和行号的方法很简单__FILE__,__FUNCTION__和__LI
Android通过访问网页查看网页源码1.添加网络权限2.获取网络中网页的数据/***获取网页HTML源代码*@parampath网页路径*/publicsta
本文实例为大家分享了Python获取指定网页源码的具体代码,供大家参考,具体内容如下1、任务简介前段时间一直在学习Python基础知识,故未更新博客,近段时间学
本文实例讲述了python获取指定网页上所有超链接的方法。分享给大家供大家参考。具体如下:这段python代码通过urllib2抓取网页,然后通过简单的正则表达