Hadoop FileInputFormat中切片的大小的参数 运行详解

通过分析源码

在FileInputFormat中,计算切片大小的逻辑:Math.max(minSize, Math.min(maxSize, blockSize));  切片主要由这几个值来运算决定
minsize:默认值:1  
      配置参数: mapreduce.input.fileinputformat.split.minsize    


maxsize:默认值:Long.MAXValue  
    配置参数:mapreduce.input.fileinputformat.split.maxsize


blocksize
因此,默认情况下,切片大小=blocksize


maxsize(切片最大值):
参数如果调得比blocksize小,则会让切片变小,而且就等于配置的这个参数的值


minsize (切片最小值):
参数调的比blockSize大,则可以让切片变得比blocksize还大


选择并发数的影响因素:
1、运算节点的硬件配置
2、运算任务的类型:CPU密集型还是IO密集型
运算任务的数据量

hive可以通过set mapred.max.split.size设置分片大小;

这段逻辑及形成的切片规划描述文件,由FileInputFormat实现类的getSplits()方法完成
1.提交任务时候首先会读取到你的数据在那个目录 例如/datafile/demo.txt 假如(300M)
2.开始遍历处理该目录下所有文件 (规划切片)
3.遍历第一个文件demo.txt
  3.1获取文件大小,fs.sizeOf(demo.txt)
 3.2计算切片大小computeSplitSize(Math.max("mapred.min.split.size",min("mapred.max.split.size",blockSize)))=blockSize=128M(默认)
  3.3 开始切,形成第一个切片:demo.txt --0~128M 第二个分片demo.txt 128~256M 第三个分片 demo.txt 256~300M
  3.4 将切片信息写入一个切片规划文件中job.split 配置相关信息写入job.xml 还有运行的jar包 打包发给MrAppMaster

 

猜你喜欢

转载自blog.csdn.net/qq_33283716/article/details/81077765