时间:2021-05-22
早之前记的一个笔记了,之前只是记录了两句代码,放出来的话也是一个低质量的页面,于是设置为了仅自己可见,今晚抽空补充一下。
记得当的情景应该是提交sitemap时百度老提示有错误的URL,导致sitemap不能正常被抓取,于是在想办法解决这个问题,所以才有下面这些笔记:用shell批量找出网站空页面和404错误页面。
废话不多说,直接上shell代码:
复制代码 代码如下:
time cat sitemap.txt|while read line;do curl -l $line -m 5 --connect-timeout 5 -o /dev/null -s -w "$line "%{http_code}" "%{size_download}"\n";done
前面加了一个time是为了看看代码执行所花的时间
%{http_code}意思是返回HTTP状态码,通过这个状态码我们就能知道该链接是正常的200链接,还是404错误链接;
%{size_download}意思是返回当前页面的大小,如果值太小的话,说明这些页面很有可能是低质量的空页面,得想办法剔除掉。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
2、404页面和错误页面重定向相对于企业网站来讲,很多页面都会产生错误页面,所以当进入错误页面时,使其跳转到404页面中,从而留住客户和蜘蛛。3、网站内容的更新
一、什么是404页面404页面就是当用户输入了错误的链接时,返回的页面。404页面的目的是:告诉浏览者其所请求的页面不存在或链接错误,同时引导用户使用网站其他页
在做网站优化时我们要学会利用错误页面,例如我们网站可能出现的404错误页面,下面就给大家讲一下制作404错误页面时应该注意的问题:1、制作的404页面不要出现2
大家都知道,做一个网站是都会和404页面有交集的,那么问题来了,什么是404错误页面?404错误页面应该如何设置呢?下面跟小编一起来了解一下让你的404页面变的
唐山网站建设网站404错误页制作的一点说明!网站404的错误页面是网站在访问不存在的页面时返回的错误页面信息。您可以在空间管理面板中指定404.asp、40