更多大数据专栏文章请点击 : –> 小马哥大数据专栏博文导航 <–
案例3: 手机号码分区
3.1 需求
在案例一的基础上，继续完善，将不同的手机号分到不同的数据文件的当中去，需要自定义分区来实现，这里我们自定义来模拟分区，将以下数字开头的手机号进行分开
135 开头数据到一个分区文件
136 开头数据到一个分区文件
137 开头数据到一个分区文件
其他分区
3.2 思路
1, 在案例1的基础上, 添加分区;
2, 分区实现: 使用MapReduce的自定义分区技术, 实现Partitioner逻辑;
3, 在Job启动类中设置job的分区类.
3.3 代码
案例1中代码基础上(代码略, 请翻看前面博文), 添加自定义Paritioner类
Partitioner类
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;
public class PhoneNumPartitioner extends Partitioner<Text, Text> {
/**
* 分区逻辑
* 135 开头数据到一个分区文件
* 136 开头数据到一个分区文件
* 137 开头数据到一个分区文件
* 其他分区
*
* @param key : Mapper任务的输出key
* @param value: : Mapper任务的输出value
* @param numPartitions: 分几个区, 就需要有几个ReduceTask, 这里设置分区个数
* @return
*/
@Override
public int getPartition(Text key, Text value, int numPartitions) {
String phoneNum = key.toString();
if (phoneNum.startsWith("135")) {
return 0;
} else if (phoneNum.startsWith("136")) {
return 1;
} else if (phoneNum.startsWith("137")) {
return 2;
} else {
return 3;
}
}
}
Job启动类
关键两行代码: 星号位置
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;
public class MainJob extends Configured implements Tool {
@Override
public int run(String[] args) throws Exception {
//1,创建一个Job类
Job job = Job.getInstance(super.getConf(), "Example1_job");
//2, 设置输入类,输入路径
job.setInputFormatClass(TextInputFormat.class);
TextInputFormat.addInputPath(job,new Path("D:\\devDoc\\hadoop\\datas\\example1"));
//3, 设置Mapper类, map输出类型
job.setMapperClass(Example1Mapper.class);
job.setMapOutputKeyClass(Text.class);
job.setMapOutputValueClass(Text.class);
//** 设置分区类 **
job.setPartitionerClass(PhoneNumPartitioner.class);
//4, 设置Reducer类, reduce输出类型
job.setReducerClass(Example1Reducer.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(Flow.class);
//** 设置ReduceTask的个数 **
job.setNumReduceTasks(4);
//5, 设置输出类, 输出路径
job.setOutputFormatClass(TextOutputFormat.class);
TextOutputFormat.setOutputPath(job,new Path("D:\\devDoc\\hadoop\\datas\\example1_partitioner_result"));
//6, 启动Job, 等待Job执行
boolean completion = job.waitForCompletion(true);
return completion?1:0;
}
public static void main(String[] args) {
int run = 0;
try {
run = ToolRunner.run(new Configuration(), new MainJob(), args);
} catch (Exception e) {
e.printStackTrace();
}
System.exit(run);
}
}
输出结果
计数器显示
[main] INFO org.apache.hadoop.mapreduce.Job - Counters: 30
File System Counters
FILE: Number of bytes read=45014
FILE: Number of bytes written=2461514
FILE: Number of read operations=0
FILE: Number of large read operations=0
FILE: Number of write operations=0
Map-Reduce Framework
Map input records=23
Map output records=23
Map output bytes=2830
Map output materialized bytes=2900
Input split bytes=112
Combine input records=0
Combine output records=0
Reduce input groups=21
Reduce shuffle bytes=2900
Reduce input records=23
Reduce output records=21
Spilled Records=46
Shuffled Maps =4
Failed Shuffles=0
Merged Map outputs=4
GC time elapsed (ms)=9
Total committed heap usage (bytes)=956825600
Shuffle Errors
BAD_ID=0
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=2583
File Output Format Counters
Bytes Written=604
Process finished with exit code 1
结果文件显示
2021/01/26 17:58 59 part-r-00000
2021/01/26 17:58 85 part-r-00001
2021/01/26 17:58 75 part-r-00002
2021/01/26 17:58 337 part-r-00003
2021/01/26 17:58 0 _SUCCESS
打开其中一个文件
13480253104 3 3 180 180
13823070001 6 3 360 180
13826544101 4 0 264 0
13922314466 12 12 3008 3720
13925057413 69 63 11058 48243
13926251106 4 0 240 0
......
更多大数据专栏文章请点击 : –> 小马哥大数据专栏博文导航 <–