python爬虫增加访问量的方法

时间:2021-05-22

看着自己少得可怜的访问量,突然有一个想用爬虫刷访问量的想法,主要也是抱着尝试的心态,学习学习。

其实市面上有一些软件可以代刷流量 比如 流量精灵,使用感确实比我们自己写的代码要好一些

第一版:网上借鉴了一下 以下代码运行在 python3

import urllib.requestimport time# 使用build_opener()是为了让python程序模仿浏览器进行访问opener = urllib.request.build_opener()opener.addheaders = [('User-agent', 'Mozilla/5.0')]# 专刷某个页面print('开始刷了哦:')tempUrl = 'https://blog.csdn.net/Lin_QC/article/details/88966839'for j in range(2000): try: opener.open(tempUrl) time.sleep(7) print('%d %s' % (j, tempUrl)) except urllib.error.HTTPError: print('urllib.error.HTTPError') time.sleep(1) except urllib.error.URLError: print('urllib.error.URLError') time.sleep(1)

该代码主要就是利用爬虫打开网页来进行访问量的刷新,但是,该方法遇到了瓶颈,当刷新到一定访问量时,csdn的服务器会阻止该ip的访问,也就刷新不了访问量了。

所以,也就衍生了第二版。

我们可以在 https://patible; MSIE 9.0; Windows NT 6.1; Trident/5.0', 'Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',]f = open("proxy")lines = f.readlines()proxys = [] for i in range(0,len(lines)): ip = lines[i].strip().split(",") proxy_host = "http://"+ip[0]+":"+ip[1] print "http://"+ip[0]+":"+ip[1] proxy_temp = {"http": proxy_host} proxys.append(proxy_temp)urls = {"https://blog.csdn.net/Lin_QC/article/details/88966839", "https://blog.csdn.net/Lin_QC/article/details/88930018", "https://blog.csdn.net/Lin_QC/article/details/88642949", "https://blog.csdn.net/Lin_QC/article/details/84568170", "https://blog.csdn.net/Lin_QC/article/details/84451279", "https://blog.csdn.net/Lin_QC/article/details/84927503", } j=1for i in range(100): for proxy in proxys: for url in urls: try: user_agent = random.choice(user_agent_list) proxy_support = urllib2.ProxyHandler(proxy) opener = urllib2.build_opener(proxy_support, urllib2.HTTPHandler) urllib2.install_opener(opener) req = urllib2.Request(url) c = urllib2.urlopen(req) print ("sucessful",j) j+=1 time.sleep(5) except Exception, e: print proxy print e continue

user_agent_list是一堆浏览器的代理头,可以模仿浏览器访问博客。

每次访问休息五秒,主要是因为过快的访问对csdn无效。

总结

以上所述是小编给大家介绍的python爬虫增加访问量的方法,希望对大家有所帮助,如果大家有任何疑问欢迎给我留言,小编会及时回复大家的!

声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。

相关文章