时间:2021-05-22
问题说明
最近在写爬虫,由于单个账号访问频率太高会被封,所以需要在爬虫执行一段时间间隔后自己循环切换账号
所以就在想,有没有像单片机那样子设置一个定时中断,再定义一个中断入口,这样子每隔一段时间执行一次中断
当然不能用sleep,这样子整个进程就停在这了,而不是接着爬数据
解决方法
用到threading的Timer,也类似单片机那样子,在中断程序中再重置定时器,设置中断,python实例代码如下
import threadingimport timedef change_user(): print('这是中断,切换账号') t = threading.Timer(3, change_user) t.start()#每过3秒切换一次账号t = threading.Timer(3, change_user)t.start()while True: print('我在爬数据') time.sleep(1)输出就像这样子:
我在爬数据我在爬数据我在爬数据这是中断,切换账号我在爬数据我在爬数据我在爬数据这是中断,切换账号我在爬数据现在问题就解决啦!
再想想单独对于这个例子来说也是可以用sleep的,代码如下
import threadingimport timedef change_user(): while True: print('这是中断,切换账号') time.sleep(3)def spider(): while True: print('我在爬数据') time.sleep(1)t1 = threading.Thread(target=change_user)t2 = threading.Thread(target=spider)t2.start()t1.start()t2.join()t1.join()因为两个线程再执行sleep的时候会释放GIL锁,被另一线程抢到GIL锁,也可以实现定时切换账号,不过这个对于实际应用可以不太方便,所以推荐使用第一种方法
以上这篇python循环定时中断执行某一段程序的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
用Python实现定时任务有些时候我们需要每隔一段时间就要执行一段程序,或者是往复循环执行某一个任务。比如博主在上篇文章讲的爬虫一样,在实现对某个目标进行在线爬
Python下实现定时任务的方式有很多种方式。下面介绍几种循环sleep:这是一种最简单的方式,在循环里放入要执行的任务,然后sleep一段时间再执行。缺点是,
定时器1 用以指定在一段特定的时间后执行某段程序。 setTimeout(): 格式:[定时器对象名=]setTimeout(“”,毫秒) 功能:执行一
Python编程中while语句用于循环执行程序,即在某条件下,循环执行某段程序,以处理需要重复处理的相同任务。其基本形式为:while判断条件:执行语句……执
本文实例讲述了PHP间隔一段时间执行代码的方法。分享给大家供大家参考。具体分析如下:PHP如何设置每隔一段时间自动执行某段代码?例如定时生成静态文件之类的,这就