使用零拷贝对文件高效的切片和合并

使用零拷贝对文件高效的切片和合并

对文件的切片/合并在应用中是一个很常见的需求，使用 FileChannel的 transferTo / transferFrom 的零拷贝方法（需要操作系统支持），可以高效的完成。

切片

/**
 * 对文件按照指定大小进行分片，在文件所在目录生成分片后的文件块儿
 * @param file
 * @param chunkSize
 * @throws IOException
 */
public static void chunkFile(Path file, long chunkSize) throws IOException {
	if (Files.notExists(file) || Files.isDirectory(file)) {
		throw new IllegalArgumentException("文件不存在:" + file);
	}
	if (chunkSize < 1) {
		throw new IllegalArgumentException("分片大小不能小于1个字节:" + chunkSize);
	}
	// 原始文件大小
	final long fileSize = Files.size(file);
	// 分片数量
	final long numberOfChunk = fileSize % chunkSize == 0 ? fileSize / chunkSize : (fileSize / chunkSize) + 1;
	// 原始文件名称
	final String fileName = file.getFileName().toString();
	// 读取原始文件
	try(FileChannel fileChannel = FileChannel.open(file, EnumSet.of(StandardOpenOption.READ))){
		for (int i = 0; i < numberOfChunk; i++) {
			long start = i * chunkSize;
			long end = start + chunkSize;
			if (end > fileSize) {
				end = fileSize;
			}
			// 分片文件名称
			Path chunkFile = Paths.get(fileName + "-" + (i + 1));
			try (FileChannel chunkFileChannel = FileChannel.open(file.resolveSibling(chunkFile), 
									EnumSet.of(StandardOpenOption.CREATE_NEW, StandardOpenOption.WRITE))){
				// 返回写入的数据长度
				fileChannel.transferTo(start, end - start, chunkFileChannel);
			}
		}
	}
}

组合

/**
 * 把多个文件合并为一个文件
 * @param file			目标文件	
 * @param chunkFiles	分片文件
 * @throws IOException 
 */
public static void mergeFile (Path file, Path ... chunkFiles) throws IOException {
	if (chunkFiles == null || chunkFiles.length == 0) {
		throw new IllegalArgumentException("分片文件不能为空");
	}
	try (FileChannel fileChannel = FileChannel.open(file, EnumSet.of(StandardOpenOption.CREATE_NEW, StandardOpenOption.WRITE))){
		for (Path chunkFile : chunkFiles) {
			try(FileChannel chunkChannel = FileChannel.open(chunkFile, EnumSet.of(StandardOpenOption.READ))){
				chunkChannel.transferTo(0, chunkChannel.size(), fileChannel);
			}
		}
	}
}

最后

零拷贝

https://zh.wikipedia.org/zh-hans/%E9%9B%B6%E5%A4%8D%E5%88%B6