Python2.7实现多进程下开发多线程示例

时间:2021-05-22

简单的基于Python2.7版本的多进程下开发多线程的示例,供大家参考,具体内容如下

可以使得程序执行效率至少提升10倍

#!/usr/bin/env python# -*- coding: utf-8 -*-""" @Time : 2018/10/24 @Author : LiuXueWen @Site : @File : transfer.py @Software: PyCharm @Description: """import osimport tracebackimport threadingfrom multiprocessing import Poolfrom multiprocessing.dummy import Pool as ThreadPool# 兼容python2.7上多线程的bug,不加上下面的反代理程序不能正常执行def proxy(cls_instance, i): return cls_instance.multiprocess_thread(i)def proxy2(cls_instance, i): return cls_instance.file_operation(i)class file2transfer(): # 多进程执行程序 def multiprocessingTransferFiles(self): try: # 创建进程池 p = Pool() //参数末尾必须加上逗号 p.apply_async(proxy, args=(self, self.root_path,)) p.close() p.join() except Exception as e: print(e) # 每个进程下的多线程执行,线程数等于当前机器的核数 def multiprocess_thread(self, root_path): try: # 创建线程锁 lock = threading.RLock() lock.acquire() # 获取每个文件 for pfile in os.listdir(root_path): # 获取文件的完整路径 full_file_path = os.path.join(root_path, pfile) # 多线程读写文件 p = ThreadPool() # 执行线程 p.apply_async(proxy2, args=(self, full_file_path,)) p.close() p.join() except Exception as e: print(e) finally: # 释放线程锁 lock.release() # 对每个文件夹下的每个文件进行操作 def file_operation(self, full_file_path): try: // TODO 真正需要单独执行的操作 pass except Exception as e: print(e)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。

声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。

相关文章