时间:2021-05-22
最近想备份网站,但是php下载文件的大小是有大小限制的,而我也懒得装ftp再下载了,就想着暂时弄个二级域名站,然后用python(python3)的requests库直接下载网站根目录下的所有文件以及文件夹。(0-0就是这么任性)
1.安装requests库
pip install requests2.下载文件夹下所有文件及文件夹
这里需要处理的地方主要是文件夹,这里我们判断出该链接是文件夹时,自动创建文件夹,并递归继续进行操作,否则判断该链接是文件,直接使用requests get方法下载,话不多说,看代码
####春江暮客 ./' % script print(text)def get_file(url,path):##文件下载函数 content = requests.get(url) print("write %s in %s" % (url,path)) filew = open(path+url.split("/")[-1],'wb') for chunk in content.iter_content(chunk_size=512 * 1024): if chunk: # filter out keep-alive new chunks filew.write(chunk) filew.close()def get_dir(url,path): #文件夹处理逻辑 content = requests.get(url).text if "<title>Index of" in content: sub_url = re.findall('href="(.*?)" rel="external nofollow" ',content) print(sub_url) for i in sub_url: if "/" in i: i = i.split("/")[0] print(i) if i!="." and i!="..": if not os.direxists(path+i): os.mkdir(path+i) get_dir(url+"/"+i,path+i+"/") print("url:"+url+"/"+i+"\nurl_path:"+path+i+"/") else: get_file(url+"/"+i,path) else: get_file(url,path)if __name__ == '__main__': if not sys.argv[1]: help(sys.argv[0]) exit(0) else: get_dir(sys.argv[1],"./")至此,就在本地目录完全还原下载原网站的路径和文件了。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
算法中递归的一个典型应用就是遍历目标文件夹,并把该文件夹下的所有文件和文件夹打印或显示出来,还可以递归计算出目标文件夹的总大小。本文即以实例形式展示了C#递归实
代码思路:想要循环遍历文件夹下所有子文件夹,就要用到递归。首先判断路径是否存在: 是:获取文件 判断是否文件夹: 是:调用自身,继续获取子文件
本文实例为大家分享了python或C++读取指定文件夹下的所有图片,供大家参考,具体内容如下1.python读取指定文件夹下的所有图片路径和图片文件名impor
由于工作安排,需要读取多层文件夹下嵌套的文件,文件夹的结构如下图所示:想到了递归函数,使用python的os.path.isfile方法判断当前是不是可执行文件
本文要求遍历指定文件夹下的所有文件,包括子文件夹下的文件,供大家参考,具体内容如下代码:package遍历文件夹所有文件;importjava.io.File;