时间:2021-05-23
需要转载的小伙伴转载后请注明转载的地址
需要用到的库
365好书链接:http:///Book/Chapter/' self.names = [] # 存放章节名 self.hrefs = [] # 存放章节链接 def get_urlAndName(self): '''获取章节名和章节链接''' req = requests.get(url=self.url+'List.aspx?NovelId=0326') # 获取章节目录页面 time.sleep(1) # 等待1秒 div_bf = BeautifulSoup(req.text,"html.parser") # req后面跟text和html都行 div = div_bf.find_all('div', class_='user-catalog-ul-li') # 查找内容,标签为div,属性为class='user-catalog-ul-li' a_bf = BeautifulSoup(str(div)) a = a_bf.find_all('a') # # 查找内容,标签为a for i in a: self.names.append(i.find('span').string) # 获取内容直接string就行 self.hrefs.append(self.url + i.get('href')) # 获取链接 def get_text(self,url): '''获取章节内容''' req = requests.get(url=url) div_bf = BeautifulSoup(req.text,"html.parser") div = div_bf.find_all('div', class_='container user-reading-online pos-rel') # 查找内容 ps = BeautifulSoup(str(div), "html.parser") p = ps.find_all('p', class_='p-content') text = [] for each in p: text.append(each.string) print(text) return text # 将获得的内容返回 def writer(self, name, path, text): '''写入text文档中''' with open(path, 'a', encoding='utf-8') as f: f.write(name + '\n') f.writelines(text) f.write('\n\n')if __name__ == "__main__": # 运行入口 s = spiderstory() s.get_urlAndName() le = len(s.names) for i in range(le): # 利用for循环获得所有的内容 name = s.names[i] text = str(s.get_text(s.hrefs[i])) s.writer(name,"我以月夜寄相思.txt",text) print('下载完毕!!!')
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
本文实例讲述了Python实现的爬取小说爬虫功能。分享给大家供大家参考,具体如下:想把顶点小说网上的一篇持续更新的小说下下来,就写了一个简单的爬虫,可以爬取爬取
本文实例讲述了Python实现爬取逐浪小说的方法。分享给大家供大家参考。具体分析如下:本人喜欢在网上看小说,一直使用的是小说下载阅读器,可以自动从网上下载想看的
使用pycharm批量爬取小说爬取小说的思路:1.获取小说地址本文以搜书网一小说为例《嘘,梁上有王妃!》目录网址:https:///XuLiangShangYo
爬取”顶点小说网“《纯阳剑尊》代码importrequestsfrombs4importBeautifulSoup#反爬headers={'User-Agent
本文实例为大家分享了python爬取淘宝商品的具体代码,供大家参考,具体内容如下importrequestsasreqimportredefgetHTMLTex