时间:2021-05-22
本文实例讲述了Python实现批量下载图片的方法。分享给大家供大家参考。具体实现方法如下:
#!/usr/bin/env python#-*-coding:utf-8-*-'#Filename:download_file.pyimport os,sysimport reimport urllibimport urllib2base_url = 'xxx'array_url = list()pic_url = list()inner_url = list()def get_array_url(array_url,base_url): content = urllib.urlopen(base_url).read() array_url_a = re.findall(r'/rihan.*?.html',content) for url in array_url_a: url_a = 'xxx'+url #print url_a array_url.append(url_a)def get_inner_url(array_url,inner_url): inner_url.append(array_url) content = urllib.urlopen(array_url[10]).read() content = content.replace(" ","") url_a = re.findall(r'<li>.*?</li>',content) for i in url_a: url = re.findall(r'ahref=\\'.*?.html\\'target',i) if len(url)>0: # print url[0] url_b = re.sub(r'ahref=\\'','',url[0]) # print url_b url_c = re.sub(r'\\'target','',url_b) url_c = 'http://xxx/'+re.sub(r'/.*/','',url_c) inner_url.append(url_c) del inner_url[1] # print inner_urldef get_pic_url(pic_url,inner_url,array_url): content = urllib.urlopen(array_url).read() pic_url_a = re.findall(r'center.*?.jpg',content) print 'bbbbbbbbb',len(pic_url_a) pic_url_a = re.findall(r'http://.*.jpg',pic_url_a[0]) pic_url.append(pic_url_a[0]) j=2 for i in inner_url: jj = '/'+str(j)+'.jpg' pic = re.sub(r'/1.jpg',jj,pic_url_a[0]) pic_url.append(pic) j = j+1 del pic_url[-1] for i in pic_url: print idef urlcallback(a,b,c): """ call back function a,已下载的数据块 b,数据块的大小 c,远程文件的大小 """ print "callback" prec=100.0*a*b/c if 100 < prec: prec=100 print "%.2f%%"%(prec,)def download(img_url,file_num): for img in img_url: print img img_name = re.sub(r'http://.*/','',img) path = 'C:/'+str(file_num)+'/'+img_name urllib.urlretrieve(img,path,urlcallback)get_array_url(array_url,base_url)file_num = 3#download(pic_url,file_num)get_inner_url(url,inner_url)get_pic_url(pic_url,inner_url,url)'''for url in array_url: print url # get_inner_url(url,inner_url) # get_pic_url(pic_url,inner_url) get_inner_url(url,inner_url) get_pic_url(pic_url,inner_url,url) download(pic_url,file_num) file_num = file_num+1 del inner_url[:] del pic_url[:]'''希望本文所述对大家的Python程序设计有所帮助。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
本文实例讲述了python实现批量下载新浪博客的方法。分享给大家供大家参考。具体实现方法如下:#coding=utf-8importurllib2imports
前言在训练神经网络之前,我们往往需要对数据集进行批量处理。本文以图片为例,介绍如何使用python实现图片的批量处理,包括批量命名,批量更改图像像素,批量对图片
上一篇文章中,我们介绍了python实现图片处理和特征提取详解,这里我们再来看看Python通过OpenCV实现批量剪切图片,具体如下。做图像处理需要大批量的修
本文实例讲述了Node.js实现批量下载图片简单操作。分享给大家供大家参考,具体如下:使用Node.js批量下载图片首先要获取到图片链接:constimg=["
Python实现批量下载文件#!/usr/bin/envpython#-*-coding:utf-8-*-fromgeventimportmonkeymonke