Hadoop-MapReduce-CombineTextInputFormat，KeyValueTextInputFormat，NLineInputFormat，自定义InputFormat

CombineTextInputFormat

    Hadoop默认的TextInputFormat切片机制是对任务按文件切片，不管文件多小，都会是一个单独的切片，然后交给一个MapTask。如果有大量小文件，就会产生大量MapTask，处理效率非常低。
    CombineTextInputFormat用于处理大量小文件，它可以将多个小文件从逻辑上看成一个切片。多个小文件可以交给一个MapTask处理。
虚拟存储过程：
    setMaxInputSplitSize设置最大切片大小，假设4M。
    如果文件大小小于最大切片大小，则单独划分为一块，如一个2.5M的文件划分为一块。
    如果文件大小大于最大切片大小但小于最大切片大小的两倍，则平分为两块（防止出现太小切片），如5M划分两块，各2.5M。
    如果文件大小大于最大切片大小的两倍，则以最大值切一块。
    例如setMaxInputSplitSize值为4M，输入文件大小为8.02M，则先逻辑上分成一个4M，剩余的大小为4.02M。如果按照4M逻辑划分，就会出现0.02M的小的虚拟存储文件，所以将剩余的4.02M文件切分成（2.01M和2.01M）两个文件。
切片过程：
    判断虚拟存储的文件大小是否大于setMaxInputSplitSize值，大于等于则单独形成一个切片。
    如果不大于，则跟下一个虚拟存储文件进行合并，形成一个切片。如两个文件，1.5M和3M，形成一个4.5M的切片。

    在驱动类添加如下代码，采用CombineTextInputFormat。

// 如果不设置InputFormat，它默认用的是TextInputFormat.class
job.setInputFormatClass(CombineTextInputFormat.class);

//虚拟存储切片最大值设置4m
CombineTextInputFormat.setMaxInputSplitSize(job, 4194304);

KeyValueTextInputFormat

    每一行被分割符（第一个分隔符）分割为key，value。可以通过在驱动类设置 conf.set(KeyValueLineRecordReader.KEY_VALUE_SEPERATOR, “\t”) 来设定分割符，默认分割符是 tab（"\t"）。

    在驱动类添加如下代码，采用KeyValueTextInputFormat。

//设定分割符，默认分割符是\t
conf.set(KeyValueLineRecordReader.KEY_VALUE_SEPERATOR, " ");

// 如果不设置InputFormat，它默认用的是TextInputFormat.class
job.setInputFormatClass(KeyValueTextInputFormat.class);

NLineInputFormat

    每个MapTask处理的InputSplit不再按block块进行划分，而是按指定的行数N来划分。即输入文件的总行数 ÷ N = 切片数，如果不整除，切片数=商+1。.

    在驱动类添加如下代码，采用NLineInputFormat。

//设定分割符，默认分割符是\t
NLineInputFormat.setNumLinesPerSplit(job, 3);

// 如果不设置InputFormat，它默认用的是TextInputFormat.class
job.setInputFormatClass(NLineInputFormat.class);

自定义InputFormat

    自定义InputFormat，将多个小文件合并成一个SequenceFile文件（SequenceFile文件是Hadoop用来存储二进制形式的key-value对的文件格式），SequenceFile里面存储着多个文件，key为文件路径+名称为，value为文件内容。
    自定义一个类继承FileInputFormat，重写createRecordReader()，创建自定义的RecordReader对象，并初始化initialize。

import java.io.IOException;
import org.apache.hadoop.io.BytesWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.RecordReader;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

public class DIYInputFormat extends FileInputFormat<Text, BytesWritable>{
    
    
	@Override
	public RecordReader<Text, BytesWritable> createRecordReader(InputSplit split, TaskAttemptContext context)
			throws IOException, InterruptedException {
    
    
		DIYRecordReader reader = new DIYRecordReader();
		reader.initialize(split, context);
		return reader;
	}
}

    键是文件的全路径，值是文件内容。nextKeyValue()在Mapper.run()方法调用，每个切片会新创建一个DIYRecordReader对象。

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.BytesWritable;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.InputSplit;
import org.apache.hadoop.mapreduce.RecordReader;
import org.apache.hadoop.mapreduce.TaskAttemptContext;
import org.apache.hadoop.mapreduce.lib.input.FileSplit;

public class DIYRecordReader extends RecordReader<Text, BytesWritable>{
    
    

	FileSplit split;
	Configuration conf;
	Text key = new Text();
	BytesWritable value = new BytesWritable();
	boolean isProgress = true;
	
	@Override
	public void initialize(InputSplit split, TaskAttemptContext context) throws IOException, InterruptedException {
    
    
		this.split = (FileSplit) split;
		this.conf = context.getConfiguration();
	}

	@Override
	public boolean nextKeyValue() throws IOException, InterruptedException {
    
    
		if (isProgress) {
    
    
			//1.获取fs对象
			Path path = split.getPath();
			FileSystem fs = path.getFileSystem(conf);
			//2.获取输入流
			FSDataInputStream fis = fs.open(path);
			//3.拷贝
			byte[] buf = new byte[(int) split.getLength()];
			IOUtils.readFully(fis, buf, 0, buf.length);
			//4.封装key
			key.set(path.toString());
			//5.封装value
			value.set(buf, 0, buf.length);
			//6.关闭资源
			IOUtils.closeStream(fis);
			isProgress = false;
			return true;
		}
		return false;
	}

	@Override
	public Text getCurrentKey() throws IOException, InterruptedException {
    
    
		return key;
	}

	@Override
	public BytesWritable getCurrentValue() throws IOException, InterruptedException {
    
    
		return value;
	}

	@Override
	public float getProgress() throws IOException, InterruptedException {
    
    
		return 0;
	}

	@Override
	public void close() throws IOException {
    
    }
}

import java.io.IOException;
import org.apache.hadoop.io.BytesWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

public class DIYInputFormatMapper extends Mapper<Text, BytesWritable, Text, BytesWritable> {
    
    
	@Override
	protected void map(Text key, BytesWritable value, Mapper<Text, BytesWritable, Text, BytesWritable>.Context context)
			throws IOException, InterruptedException {
    
    
		context.write(key, value);
	}
}

import java.io.IOException;
import org.apache.hadoop.io.BytesWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;

public class DIYInputFormatReducer extends Reducer<Text, BytesWritable, Text, BytesWritable> {
    
    
	@Override
	protected void reduce(Text key, Iterable<BytesWritable> values,
			Reducer<Text, BytesWritable, Text, BytesWritable>.Context context) throws IOException, InterruptedException {
    
    
		for (BytesWritable value : values) {
    
    
			context.write(key, value);
		}
	}
}

    驱动类设置InputFormat为自定义的InputFormat。设置OutputFormat为SequenceFileOutputFormat，多个文件输出成一个文件，键为全路径，值为文件内容，访问时输入全路径即可获得内容。

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.BytesWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.SequenceFileOutputFormat;

public class DIYInputFormatDriver {
    
    
	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
    
    
		args = new String[] {
    
     "e:/input", "e:/output"};
		Configuration conf = new Configuration();
		Job job = Job.getInstance(conf);
		job.setJarByClass(DIYInputFormatDriver.class);
		job.setMapperClass(DIYInputFormatMapper.class);
		job.setReducerClass(DIYInputFormatReducer.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(BytesWritable.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(BytesWritable.class);
		FileInputFormat.setInputPaths(job, new Path(args[0]));
		FileOutputFormat.setOutputPath(job, new Path(args[1]));
		//设置输入的InputFormat
		job.setInputFormatClass(DIYInputFormat.class);
		//设置输出的OutputFormat
		job.setOutputFormatClass(SequenceFileOutputFormat.class);
		boolean result = job.waitForCompletion(true);
		System.exit(result ? 0 : 1);
	}
}

InputFormat总结

	<K, V>	切片
TextInputFormat（默认）	键是存储该行在整个文件中的起始字节偏移量，LongWritable类型。 值是该行的内容，不包括任何行终止符（换行符和回车键），Text类型。	按块的大小切片，本地是32M；集群Hadoop1.0是64M；2.0是128M
CombineTextInputFormat	键和值与TextInputFormat一样	按给定大小切片
KeyValueTextInputFormat	键是该行第一个分隔符左边的内容。 值是该行第一个分隔符右边的内容。	按块的大小切片
NLineInputFormat	键和值与TextInputFormat一样	按指定数量的行切块片*自定义InputFormat**