时间:2021-05-25
让站长最头痛的事,除了程序和服务器安全外,可能就要算内容被采集了。当然,现在网络本身就是资源共享,我这里不谈采集的对错,只是就防采集说说个人看法。
一、如何分辨搜索爬虫
以前,在网上看到过关于用asp代码来捕捉搜索爬虫的代码,通过代码把爬虫的访问记录记录到文件。就此代码(原作者未知)我作了修改,加入程序中防采集。现做成函数,直接在页面中调用。
复制代码 代码如下:
FunctionCheckSearchRobots(SearchRobotsAgent)
CheckSearchRobots=False
'自定义搜索爬虫,因篇幅关系,这里只是加入国内主要搜索引擎爬虫部分记录
DimSearchRobots:SearchRobots="Baidu@Baidu|Google@Google|crawler@alexa|Yahoo@Yahoo|sohu@Sohu|MSN@MSN|QihooBot@Qihoo"
dimArrSearchRobots,ArrSearchRobots2,SearchRobotsTrue,SearchRobotsName,iSearchRobots
SearchRobotsTrue=False
ArrSearchRobots=split(SearchRobots,chr(124))
ForiSearchRobots=0ToUbound(ArrSearchRobots)
ArrSearchRobots2=split(ArrSearchRobots(iSearchRobots),"@")
IfInstr(lcase(SearchRobotsAgent),lcase(ArrSearchRobots2(0)))>0then
SearchRobotsTrue=true:SearchRobotsName=ArrSearchRobots2(1):exitfor
EndIf
Next
IfSearchRobotsTrueandlen(SearchRobotsName)>0then'如果是爬虫,就更新爬虫信息
CheckSearchRobots=True
EndIf
EndFunction
将以上代码放在asp程序中(具体如何放置请参考相关文章),然后在需要调用的地方作如下调用:IfCheckSearchRobots(SearchRobotsAgent)=FalseThen
Response.Write"非搜索引擎,可作部分限制!"'这里可以加入判断指定时间的刷新次数,比如在正常情况下,访问速度是N次/分,如果超过这个次数(超常规访问)就可以限制了。
EndIf
二、限制超常规访问。
下面说说如何限制别人的超常规访问。下面代码来源于互联网(原作者未能找到)。我作了部分修改和说明。
复制代码 代码如下:
SubCheckAppeal()
DimAppealNum,AppealCount
AppealNum=10'同一IP60秒内请求限制次数
'雨哲[Yz81.Com]站长测试结果一,如果限制为10次,动易采集结果,一分钟能采集成功12篇,失败8篇。
'雨哲[Yz81.Com]站长测试结果二,如果限制为8次,动易采集结果,一分钟能采集成功9篇,失败11篇。
AppealCount=Request.Cookies(AppealCookies)
IfAppealCount=""Then
Response.Cookies(AppealCookies)=1
AppealCount=1
response.cookies(AppealCookies).expires=dateadd("s",60,now())
Else
response.Cookies(AppealCookies)=AppealCount+1
response.cookies(AppealCookies).expires=dateadd("s",60,now())
EndIf
ifint(AppealCount)>int(AppealNum)then
Response.Write"兄弟,爬了这么久,歇会儿吧,别累坏了身体!"
'这里的提示完全可以自定义,我的做法是另外转到一个和当前文章模板完全一致的页面,当然内容是自定义的。
'有兴趣的朋友也可以采集<aclass="channel_keylink"href="http:///wanzhuan/频道下面的文章。
Response.end
EndIf
EndSub
将以上代码放在asp程序中(具体如何放置请参考相关文章),然后在需要调用的地方作如下调用:
CallCheckAppeal()
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
使用Div+css布局比table布局的优势在哪里1.布局灵活,网页有小的改动不影响搜索引擎收录Table的布局是不影响你的收录数量的,但是如果你的网站有布局变
一、网站更新的内容差,多说为采集和复制的 搜索引擎收录是独一无二的,对于那些重复的内容,要么不收录,要么收录寥寥无几。如果您的网站内容每次都是复制、采集过来的
1.开启防采集功能:参数设置-》信息设置2.增加随机防采集字符:插件治理-》防采集随机字符治理(只要字符不能显示出来都可以加。字符越多防采的效果越好)3.在内容
新制作的网站往往首页优先被收录,而内页要经过稍长的时间才会被收录,产生这种问题的原因主要有:1、网站内容大多为采集别人的新做网站的站长大多急于充实内容,大多文章
一、内容重复度高 很多站长都使用采集工具或者转载他人文章来更新内容,这样的内容重复度非常高,严重影响用户体验,也侵犯了原作者的权益,其次百度收录网站的原则