转载

Java实现文件切割拼接

在老的FAT32文件系统中，最大的单个文件大小必须保存在4G内，对于经常看电影的我这个是不能允许的。不过现在Windows有NTFS文件系统，Linux大部分发行版为Ext4文件系统，最大单个文件大小能大于4G。不过这二者并不能兼容。。格式化NTFS的U盘Linux不能识别，格式化Ext4的U盘Windows不能识别，只能用老的FAT32兼容二者。所以将文件分割，再进行拼接就很重要，文件经过分割了在网络上传输就十分方便，也能开多线程对每部分进行HASH提高处理效率。

最近看的BradPitt的《狂怒》

首先：对文件进行分割需要确定每一部分的大小，假设上面的 Fury.mkv 文件大小为 280M ，分割每一块设置默认大小为 64M ，所以：

对于最后一块，一般小于等于设定好的每块默认大小。每块大小设置好了，接下来，就需要将文件的路径获取，代码中搭建输入流，将文件读入内存缓冲区中，再搭建输出流，将缓冲区输出到新的分割文件中。再接下来实现就很简单了。新建一个 FileSlice

类：有切割方法，拼接方法。

public class FileSlice {
    /**
     * 分割文件
     * @param filePath 文件路径
     * @param filePieceSize 文件每块大小,单位为字节,为-1则默认为每块64M
     * @return 成功返回True，出错则返回False
     */
    public static boolean slice(Path filePath, int filePieceSize){
        return true;
    }

    /**
     * 将分割好的文件重新链接
     * @param filePath 被分割好的其中之一文件路径，默认其他块与其在同一目录下
     * @param howManyParts 一共有多少块
     * @return 成功返回True，出错则返回False
     */
    public static boolean glue(Path filePath, int howManyParts){
        return true;
    }
}
复制代码

接下来实现单线程的分割方法：用图解的话应该是这样：

代码实现：进入函数首先判断文件是否存在：

if (!Files.exists(filePath)){
    return false;
}
复制代码

接下来判断每块大小是否使用默认值：

if(filePieceSize == -1){
    filePieceSize = 1024*1024*64;
}
复制代码

将路径转换为文件对象，再计算将分割多少块：

File file = filePath.toFile();
int howManyParts = (int) Math.ceil(file.length() / (double)filePieceSize);
复制代码

初始化输入输出流，出错输出错误信息，返回false，获得当前目录：

DataInputStream fileReader = null;
try {
    fileReader = new DataInputStream(new FileInputStream(file));
} catch (FileNotFoundException e) {
    e.printStackTrace();
    System.out.println("文件找不到！");
    return false;
}
DataOutputStream fileWriter;
Path dir = filePath.getParent();
复制代码

接下来读取文件，并且分别输出到各个part文件中：

int readLength = -1;
long total = 0;

try {
    for (int i = 1; i <= howManyParts ; i++){
        //新建文件part i
        Path temp = Files.createFile(dir.resolve(filePath.getFileName() + ".part" + i));
        //搭建输出流
        fileWriter = new DataOutputStream(new FileOutputStream(temp.toFile()));
        //读取文件并输出
        while ( (readLength = fileReader.read(buffer)) != -1){
            fileWriter.write(buffer,0,readLength);
            fileWriter.flush();
            total += readLength;
            if (total == filePieceSize){
                total = 0;
                break;
            }
        }
        //part i的文件已经输出完毕，关闭流
        fileWriter.close();
    }
    //读取完毕，关闭输入流
    fileReader.close();
} catch (IOException e) {
    e.printStackTrace();
    System.out.println("IO错误！");
    return false;
}
复制代码

该函数已经实现完毕，接下来测试(由于电影Fury有14G。。太大了。。还是换个吧)：

我是大哥大第5集，有729M，大概能分个12个part吧。

public static void main(String[] args) throws IOException {
    double before = System.currentTimeMillis();

    Path bigboss = Paths.get("D://Video//我是大哥大//我是大哥大.Kyou.kara.Ore.wa.Ep05.Chi_Jap.HDTVrip.1280X720.mp4");

    FileSlice.slice(bigboss,-1);

    double after = System.currentTimeMillis();

    System.out.println("分割文件我是大哥大.Kyou.kara.Ore.wa.Ep05.Chi_Jap.HDTVrip.1280X720.mp4," + Files.size(bigboss) + "字节，总用时" + (after - before) + "ms" );

}
复制代码

运行结果：

分割文件我是大哥大.Kyou.kara.Ore.wa.Ep05.Chi_Jap.HDTVrip.1280X720.mp4,765321889字节，总用时16335.0ms
复制代码

速度还是挺慢的。。下次还是换成多线程来实现，再来测试下速度。在单线程情况下一个普通的40分钟日剧都要15-30s左右，要是mkv格式的电影都要好久了。。不过其实极限应该不在CPU中执行的速度，而是在硬盘IO中，如果是普通硬盘那么就算是多线程也应该提速不了多少。。

文件拼接

这个就很简单了，和分割相反就OK。直接上完整代码：

public static boolean glue(Path filePath, int howManyParts){
    if (!Files.exists(filePath)){
        return false;
    }
    //获取原始文件名
    String filename = getOriginalFileName(filePath.getFileName().toString());

    if (filename == null){
        System.out.println("传入part文件名解析出错！");
        return false;
    }
    //初始化缓冲区
    byte [] buffer = new byte[1024 * 8];
    //获取文件存储的路径
    Path dir = filePath.getParent();

    try {
        DataInputStream fileReader  = null;
        //创建原始文件
        Files.createFile(dir.resolve(filename));
        //搭建原始文件输出流
        DataOutputStream fileWriter = new DataOutputStream(new FileOutputStream(dir.resolve(filename).toFile()));

        int readLength = -1;
        for (int i = 1; i <= howManyParts ; i++){
            //得到part i文件路径
            Path temp = dir.resolve(filename + ".part" + i);
            //搭建输入流
            fileReader = new DataInputStream(new FileInputStream(temp.toFile()));
            //读取文件并输出
            while ( (readLength = fileReader.read(buffer)) != -1){
                fileWriter.write(buffer,0,readLength);
                fileWriter.flush();
            }
            //part i的文件已经读入完毕，关闭流
            fileReader.close();
        }
        //写入完毕，关闭输出流
        fileWriter.close();
    } catch (IOException e) {
        e.printStackTrace();
        System.out.println("IO错误！");
        return false;
    }
    return true;
}
复制代码

再测试刚刚分割好的我是大哥大第5集

public static void main(String[] args) throws IOException {
    double before = System.currentTimeMillis();

    Path bigboss = Paths.get("D://Video//我是大哥大//我是大哥大.Kyou.kara.Ore.wa.Ep05.Chi_Jap.HDTVrip.1280X720.mp4.part1");

    FileSlice.glue(bigboss,12);

    double after = System.currentTimeMillis();

    System.out.println("拼接12个part，用时" + (after - before) + "ms");

}
复制代码

结果输出，用12s左右，还行。

拼接12个part，用时12147.0ms
复制代码

打开播放毫无问题，最后截张图。

未完待续。。下次来使用多线程进行实现。

原文 https://juejin.im/post/5bf3f63c6fb9a049f570c158

正文到此结束

所属分类： Java 编程技术

本文标签： java UI IO 目录 cat ACE linux 线程 http src https 解析 ip 代码 stream windows 多线程 id 测试 IDE 文件系统
版权声明： 本文为互联网转载文章，出处已在文章中说明(部分除外)。如果侵权，请联系本站长删除，谢谢。
本文海报： 生成海报一生成海报二

其他链接

关于本站

本站定位：个人技术类博客

本站作用：写博客、记日志、闲聊扯淡鼓捣技术。

问题交流

Java实现文件切割拼接

文件拼接

热门推荐

相关文章

说给你听

本文目录

随机标签

书籍教程

近期评论

网站信息

其他链接

关于本站

问题交流