时间:2021-05-20
单线程实现
文件分割
在老的FAT32文件系统中,最大的单个文件大小必须保存在4G内,对于经常看电影的我这个是不能允许的。不过现在Windows有NTFS文件系统,Linux大部分发行版为Ext4文件系统,最大单个文件大小能大于4G。不过这二者并不能兼容。。格式化NTFS的U盘Linux不能识别,格式化Ext4的U盘Windows不能识别,只能用老的FAT32兼容二者。所以将文件分割,再进行拼接就很重要,文件经过分割了在网络上传输就十分方便,也能开多线程对每部分进行HASH提高处理效率。
最近看的BradPitt的《狂怒》
首先:对文件进行分割需要确定每一部分的大小,假设上面的 Fury.mkv 文件大小为 280M,分割每一块设置默认大小为64M,所以:
对于最后一块,一般小于等于设定好的每块默认大小。 每块大小设置好了,接下来,就需要将文件的路径获取,代码中搭建输入流,将文件读入内存缓冲区中,再搭建输出流,将缓冲区输出到新的分割文件中。 再接下来实现就很简单了。 新建一个 FileSlice
类:有切割方法,拼接方法。
public class FileSlice { /** * 分割文件 * @param filePath 文件路径 * @param filePieceSize 文件每块大小,单位为字节,为-1则默认为每块64M * @return 成功返回True,出错则返回False */ public static boolean slice(Path filePath, int filePieceSize){ return true; } /** * 将分割好的文件重新链接 * @param filePath 被分割好的其中之一文件路径,默认其他块与其在同一目录下 * @param howManyParts 一共有多少块 * @return 成功返回True,出错则返回False */ public static boolean glue(Path filePath, int howManyParts){ return true; }}接下来实现单线程的分割方法: 用图解的话应该是这样:
代码实现: 进入函数首先判断文件是否存在:
if (!Files.exists(filePath)){ return false;}接下来判断每块大小是否使用默认值:
if(filePieceSize == -1){ filePieceSize = 1024*1024*64;}将路径转换为文件对象,再计算将分割多少块:
File file = filePath.toFile();int howManyParts = (int) Math.ceil(file.length() / (double)filePieceSize);初始化输入输出流,出错输出错误信息,返回false,获得当前目录:
DataInputStream fileReader = null;try { fileReader = new DataInputStream(new FileInputStream(file));} catch (FileNotFoundException e) { e.printStackTrace(); System.out.println("文件找不到!"); return false;}DataOutputStream fileWriter;Path dir = filePath.getParent();接下来读取文件,并且分别输出到各个part文件中:
int readLength = -1;long total = 0;try { for (int i = 1; i <= howManyParts ; i++){ //新建文件part i Path temp = Files.createFile(dir.resolve(filePath.getFileName() + ".part" + i)); //搭建输出流 fileWriter = new DataOutputStream(new FileOutputStream(temp.toFile())); //读取文件并输出 while ( (readLength = fileReader.read(buffer)) != -1){ fileWriter.write(buffer,0,readLength); fileWriter.flush(); total += readLength; if (total == filePieceSize){ total = 0; break; } } //part i的文件已经输出完毕,关闭流 fileWriter.close(); } //读取完毕,关闭输入流 fileReader.close();} catch (IOException e) { e.printStackTrace(); System.out.println("IO错误!"); return false;}该函数已经实现完毕,接下来测试(由于电影Fury有14G。。太大了。。还是换个吧):
我是大哥大第5集,有729M,大概能分个12个part吧。
public static void main(String[] args) throws IOException { double before = System.currentTimeMillis(); Path bigboss = Paths.get("D:\\Video\\我是大哥大\\我是大哥大.Kyou.kara.Ore.wa.Ep05.Chi_Jap.HDTVrip.1280X720.mp4"); FileSlice.slice(bigboss,-1); double after = System.currentTimeMillis(); System.out.println("分割文件我是大哥大.Kyou.kara.Ore.wa.Ep05.Chi_Jap.HDTVrip.1280X720.mp4," + Files.size(bigboss) + "字节,总用时" + (after - before) + "ms" );}运行结果:
分割文件我是大哥大.Kyou.kara.Ore.wa.Ep05.Chi_Jap.HDTVrip.1280X720.mp4,765321889字节,总用时16335.0ms
速度还是挺慢的。。 下次还是换成多线程来实现,再来测试下速度。在单线程情况下一个普通的40分钟日剧都要15-30s左右,要是mkv格式的电影都要好久了。。不过其实极限应该不在CPU中执行的速度,而是在硬盘IO中,如果是普通硬盘那么就算是多线程也应该提速不了多少。。
文件拼接
这个就很简单了,和分割相反就OK。 直接上完整代码:
public static boolean glue(Path filePath, int howManyParts){ if (!Files.exists(filePath)){ return false; } //获取原始文件名 String filename = getOriginalFileName(filePath.getFileName().toString()); if (filename == null){ System.out.println("传入part文件名解析出错!"); return false; } //初始化缓冲区 byte [] buffer = new byte[1024 * 8]; //获取文件存储的路径 Path dir = filePath.getParent(); try { DataInputStream fileReader = null; //创建原始文件 Files.createFile(dir.resolve(filename)); //搭建原始文件输出流 DataOutputStream fileWriter = new DataOutputStream(new FileOutputStream(dir.resolve(filename).toFile())); int readLength = -1; for (int i = 1; i <= howManyParts ; i++){ //得到part i文件路径 Path temp = dir.resolve(filename + ".part" + i); //搭建输入流 fileReader = new DataInputStream(new FileInputStream(temp.toFile())); //读取文件并输出 while ( (readLength = fileReader.read(buffer)) != -1){ fileWriter.write(buffer,0,readLength); fileWriter.flush(); } //part i的文件已经读入完毕,关闭流 fileReader.close(); } //写入完毕,关闭输出流 fileWriter.close(); } catch (IOException e) { e.printStackTrace(); System.out.println("IO错误!"); return false; } return true;}再测试刚刚分割好的我是大哥大第5集
public static void main(String[] args) throws IOException { double before = System.currentTimeMillis(); Path bigboss = Paths.get("D:\\Video\\我是大哥大\\我是大哥大.Kyou.kara.Ore.wa.Ep05.Chi_Jap.HDTVrip.1280X720.mp4.part1"); FileSlice.glue(bigboss,12); double after = System.currentTimeMillis(); System.out.println("拼接12个part,用时" + (after - before) + "ms");}结果输出,用12s左右,还行。
拼接12个part,用时12147.0ms
打开播放毫无问题,最后截张图。
未完待续。。下次来使用多线程进行实现。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
java读取resources文件详解及实现代码Java项目中,经常需要将资源文件打包放在项目中,然后在项目中去读取对应的文件。实现代码:Stringstr=R
java文件锁的简单实现java文件锁的功能,隐私文件及安全性的提升,实现起来不难,这里贴下实现代码:实例代码:importjava.io.File;impor
java实现切割文件和合并文件的功能一、切割文件代码如下:需求:将一个媒体文件切割成多个碎片(每个碎片的大小为1M),并添加配置说明文件1.创建(指定)一个文件
Java实现多线程文件下载思路:1、基本思路是将文件分段切割、分段传输、分段保存。2、分段切割用到HttpUrlConnection对象的setRequestP
本文为大家整理了C#图片切割、图片压缩、缩略图生成的实现代码,大家可以收藏,方便以后使用,具体内容如下///图片切割函数//////原始图片文件///在X轴上的