时间:2021-05-22
本实例主要进行线程池创建,多线程获取、存储视频文件
梨视频:利用线程池进行视频爬取
#爬取梨视频数据import requestsimport refrom lxml import etreefrom multiprocessing.dummy import Poolimport random# 定义获取视频数据方法def getVideoData(url): # url为列表中的视频url return requests.get(url=url,headers=headers).content# 定义存储数据方法def saveVideo(data): fileName = str(random.randint(0,5000))+'.mp4' with open(fileName,'wb') as fp: fp.write(data)# 爬取数据#实例化一个线程池对象,开启5个线程池pool = Pool(5)url = 'https:///'+li.xpath('./div/a/@href')[0] detail_page = requests.get(url=detail_url,headers=headers).text #因为视频连接不在标签汇中,而是一个js语句,所以用正则匹配 video_url = re.findall('srcUrl="(.*?)",vdoUrl',detail_page,re.S)[0] video_url_list.append(video_url) # map函数的应用:参数1:回调函数,参数2:列表;#将列表中的参数赋值给回调函数的形参,让回调函数处理video_data_list = pool.map(getVideoData,video_url_list)pool.map(saveVideo,video_data_list)以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
python爬虫-梨视频短视频爬取(线程池)示例代码importrequestsfromlxmlimportetreeimportrandomfrommulti
本文实例为大家分享了java线程池实现批量下载文件的具体代码,供大家参考,具体内容如下1创建线程池packagecom.cheng.webb.thread;im
本文实例讲述了Java线程池用法。分享给大家供大家参考,具体如下:一使用newSingleThreadExecutor创建一个只包含一个线程的线程池1代码imp
本文实例讲述了python爬虫之线程池和进程池功能与用法。分享给大家供大家参考,具体如下:一、需求最近准备爬取某电商网站的数据,先不考虑代理、分布式,先说效率问
一.线程池简介1.线程池的概念:线程池就是首先创建一些线程,它们的集合称为线程池。使用线程池可以很好地提高性能,线程池在系统启动时即创建大量空闲的线程,程序将一