时间:2021-05-22
背景
日常开发中,难免遇到并发场景,而并发场景难免需要做流量控制,即需要对并发的进程或者线程的总量进行控制。 今天简单总结两种常用的控制线程个数的方法。
方法一:进程池/线程池
如下例demo所示, 创建了一个大小是4的进程池,然后创建5个进程,并启动
from multiprocessing import Poolimport os, time, randomdef long_time_task(name): print('Run task %s (%s)...' % (name, os.getpid())) start = time.time() time.sleep(random.random() * 3) end = time.time() print('Task %s runs %0.2f seconds.' % (name, (end - start)))if __name__ == '__main__': print('Parent process %s.' % os.getpid()) p = Pool(4) for i in range(5): p.apply_async(long_time_task, args=(i,)) print('Waiting for all subprocesses done...') p.close() p.join() print('All subprocesses done.')运行结果如下,可以看到第5个进程会等池子里的进程完成一个后才会被启动
Run task 0 (32952)...Run task 1 (32951)...Run task 2 (32953)...Run task 3 (32954)...Task 2 runs 0.68 seconds.Run task 4 (32953)...Task 1 runs 1.41 seconds.Task 0 runs 1.44 seconds.Task 4 runs 2.15 seconds.Task 3 runs 2.98 seconds.All subprocesses done.方法二:queue
queue 模块即队列,特别适合处理信息在多个线程间安全交换的多线程程序中。 下面的demo展示了如何通过queue来限制线程的并发个数
import threadingimport queueimport timeimport randomimport osmaxThreads = 4class Store(threading.Thread): def __init__(self, q): threading.Thread.__init__(self) self.queue = q # self.store = store def run(self): try: print('Run task (%s)...' % (os.getpid())) start = time.time() time.sleep(random.random() * 3) end = time.time() t = threading.currentThread() # 线程ID print('Thread id : %d' % t.ident) print('Thread name : %s' % t.getName()) print('Task runs %0.2f seconds.' % (end - start)) except Exception as e: print(e) finally: self.queue.get() self.queue.task_done()def main(): q = queue.Queue(maxThreads) for s in range(6): q.put(s) t = Store(q) t.start() q.join() print('over')if __name__ == '__main__': main()运行结果如下:
Run task (33259)...Run task (33259)...Run task (33259)...Run task (33259)...Thread id : 123145444999168Thread name : Thread-13Task runs 0.04 seconds.Run task (33259)...Thread id : 123145394630656Thread name : Thread-10Task runs 1.02 seconds.Run task (33259)...Thread id : 123145428209664Thread name : Thread-12Task runs 1.20 seconds.Thread id : 123145394630656Thread name : Thread-17Task runs 0.68 seconds.Thread id : 123145444999168Thread name : Thread-14Task runs 1.79 seconds.Thread id : 123145411420160Thread name : Thread-11Task runs 2.96 seconds.over以上就是python如何控制进程或者线程的个数的详细内容,更多关于python 控制进程或线程的资料请关注其它相关文章!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
Python多进程和数据传递的理解python不仅线程用的是系统原生线程,进程也是用的原生进程进程的用法和线程大同小异importmultiprocessing
python多线程和多进程区别是: 1、多线程可以共享全局变量,而多进程是不能的。 2、多线程中,所有子线程的进程号相同;多进程中不同的子进程进程号不同。
小惊大怪你是不是在用Python3或者在windows系统上编程?最重要的是你对进程和线程不是很清楚?那么恭喜你,在python分布式进程中,会
python中logging模块假如遇到多线程或者多进程或者在web框架中自定义logging的话(一个请求就是一个独立的线程)非常容易重复打印日志和造成内存崩
python中的多线程其实并不是真正的多线程,如果想要充分地使用多核CPU的资源,在python中大部分情况需要使用多进程。Python提供了非常好用的多进程包