SpringBoot 本地大文件分隔及其合并

Posted 2021-09-11 在奋斗的大道

需求背景：公司前端反馈使用pdf.js 加载超大pdf 文件，会出现内存泄露的情况。需要后台给出优化的方案。

解决办法：将本地pdf 文件大于200M 的文件进行分隔。每个分隔文件大小为10M.

后台核心代码如下：

@RequestMapping(value = "/fileBlock")
	public ResponseEntity<String> fileBlock() throws IOException {
		// 定义分隔模块大小
		long blockSize = 10 * 1024 * 1024;
		// 动态计算分块总数
		long blockTotal = 0;
		// 读取目标的大文件
		File targetFile = new File("D:\\\\20180968600020001.pdf");
		RandomAccessFile raf = new RandomAccessFile(targetFile, "r");

		// 读取文件大小
		long fileSize = raf.length();
		// 动态计算分块大小
		if (fileSize % blockSize > 0) {
			blockTotal = fileSize / blockSize + 1;
		} else {
			blockTotal = fileSize / blockSize;
		}

		long offSet = 0L;// 初始化偏移量
		for (int i = 0; i < blockTotal; i++) { // 最后一片单独处理
			long begin = offSet;
			long end = (i + 1) * blockSize;
			// offSet = writeFile(file, begin, end, i);
			offSet = getWrite("D:\\\\20180968600020001.pdf", i, begin, end);
		}
		

	
		HttpHeaders headers = new HttpHeaders();
		return new ResponseEntity<String>("大文件分片成功", headers, HttpStatus.OK);
	}

	/**
     * 指定文件每一份的边界，写入不同文件中
     * @param file 源文件
     * @param index 源文件的顺序标识
     * @param begin 开始指针的位置
     * @param end 结束指针的位置
     * @return long
     */
    public static long getWrite(String file,int index,long begin,long end){
        String a=file.split(".pdf")[0];
        long endPointer = 0L;
        try {
            //申明文件切割后的文件磁盘
            RandomAccessFile in = new RandomAccessFile(new File(file), "r");
            //定义一个可读，可写的文件并且后缀名为.tmp的二进制文件
            RandomAccessFile out = new RandomAccessFile(new File(a + "_" + index + ".tmp"), "rw");
 
            //申明具体每一文件的字节数组
            byte[] b = new byte[1024];
            int n = 0;
            //从指定位置读取文件字节流
            in.seek(begin);
            //判断文件流读取的边界
            while(in.getFilePointer() <= end && (n = in.read(b)) != -1){
                //从指定每一份文件的范围，写入不同的文件
                out.write(b, 0, n);
            }
            //定义当前读取文件的指针
            endPointer = in.getFilePointer();
            //关闭输入流
            in.close();
            //关闭输出流
            out.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
        return endPointer;
    }
    
    @RequestMapping(value = "/fileMerge")
	public ResponseEntity<String> fileMerge() throws IOException {
    	// 合并文件规则:先删后增
    	String filePath = "D:\\\\123456.pdf";
    	File targetFile = new File(filePath);
    	targetFile.delete();
    	targetFile.createNewFile();
    	
    	
		// 文件合并
    	this.merge(filePath, "D:\\\\20180968600020001.pdf", 3);

		
	
		HttpHeaders headers = new HttpHeaders();
		return new ResponseEntity<String>("大文件合并成功", headers, HttpStatus.OK);
	}
    
    /**
     * 文件合并
     * @param file 指定合并文件
     * @param tempFile 分割前的文件名
     * @param tempCount 文件个数
     */
    public static void merge(String file,String tempFile,int tempCount) {
        String a=tempFile.split(".pdf")[0];
        RandomAccessFile raf = null;
        try {
            //申明随机读取文件RandomAccessFile
            raf = new RandomAccessFile(new File(file), "rw");
            //开始合并文件，对应切片的二进制文件
            for (int i = 0; i < tempCount; i++) {
                //读取切片文件
                RandomAccessFile reader = new RandomAccessFile(new File(a + "_" + i + ".tmp"), "r");
                byte[] b = new byte[1024];
                int n = 0;
                //先读后写
                while ((n = reader.read(b)) != -1) {//读
                    raf.write(b, 0, n);//写
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            try {
                raf.close();
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
    }

效果截图: