python线程池的实现实例

时间:2021-05-22

直接上代码:
复制代码 代码如下:
# -*- coding: utf-8 -*-
import Queue
import threading
import urllib
import urllib2
import os

def down(url,n):
print 'item '+str(n)+' start '
filename=urllib2.unquote(url).decode('utf8').split('/')[-1]
urllib.urlretrieve(url, filename)
print 'item '+str(n)+' finish '


def worker():
while True:
i = q.get()
url=i[0]
n=i[1]
down(url,n)
q.task_done()


if __name__=="__main__":

num_worker_threads=100

f=open('url.txt')
l=f.readlines()
q = Queue.Queue()
for i in range(num_worker_threads):
t = threading.Thread(target=worker)
t.daemon = True
t.start()

for i in range(0,len(l)):
q.put((l[i],i))

q.join()

声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。

相关文章