Spark数据分区调研
Spark以textFile方式读取文件源码
textFile方法位于
spark-core_2.11/org.apache.spark.api.java/JavaSparkContent.scala
参数分析：
path ：String是一个URI，可以是HDFS、本地文件、或者其他Hadoop支持的文件系统
minPartitions：用于指定分区数，具体代码如下，
其中，defaultParallelism对应的就是spark.default.parallelism。如果是从HDFS上
面读取文件，其分区数为文件分片数（Hadoop 1.x中默认为64MB/片，在Hadoop
2.x中默认为128MB/片）。
在textFile中进入hadoopFile，源码如下，
上面代码做了几件事情：
1、获取hadoopConfiguration，并将hadoopConfiguration进行广播；
2、设置任务的文件读取路径；
3、实例化HadoopRDD。
进入到HadoopRDD中，找到getPartitions()方法，源码如下，
getPartitions()方法做了三件事情：
1、获取JobConf，并将其添加信任凭证；
2、获取输入路径格式，并将其按照minPartitions进行split；
3、根据输入的split的个数创建对应的HadoopPartition。
其中getSplits方法的源码如下，
源码在org.apache.hadoop.mapred.FileInputFormat中268行，具体实现如下，
/** Splits files returned by {@link #listStatus(JobConf)} when * they're too big.*/ public InputSplit[] getSplits(JobConf job, int numSplits)throws IOException { //FileStatus对象封装了文件系统中文件和目录的元数据，包括文件的长度、块大小、备份数、修// 改时间、所有者以及权限等信息 FileStatus[] files = listStatus(job); // 从job中获取输入文件状态信息 // Save the number of input files for metrics/loadgen job.setLong(NUM_INPUT_FILES, files.length); //将输入文件个数保存到job中 long totalSize = 0; // compute total size for (FileStatus file: files) { // check we have valid files if (file.isDirectory()) { throw new IOException("Not a file: "+ file.getPath()); } // 遍历当前作业的所有输入文件，然后将累积这些文件的字节数并保存到变量totalSize中 totalSize += file.getLen(); } // 按用户要求划分输入，确定每个split的目标大小goalSize long goalSize = totalSize / (numSplits == 0 ? 1 : numSplits); // minSplitSize 是FileInputFormat类的成员 ,允许的分区的最小的大小，默认为1B //job.getLong("mapred.min.split.size", 1)是获取配置文件中设置的值，若没有设置，则取1 long minSize = Math.max(job.getLong(org.apache.hadoop.mapreduce.lib.input. FileInputFormat.SPLIT_MINSIZE, 1), minSplitSize); // generate splits // 申请一个初始大小为numSplits的数组，来存放划分结果 ArrayList<FileSplit> splits = new ArrayList<FileSplit>(numSplits); // 申请一个网络拓扑，用于划分过程中保存整个网络的拓扑结构 NetworkTopology clusterMap = new NetworkTopology(); for (FileStatus file: files) { Path path = file.getPath(); // 获取文件路径 long length = file.getLen(); // 文件长度（字节数） if (length != 0) { FileSystem fs = path.getFileSystem(job); // 获得hdfs文件系统中的路径信息 BlockLocation[] blkLocations; if (file instanceof LocatedFileStatus) { blkLocations = ((LocatedFileStatus) file).getBlockLocations(); } else { // 获得此文件每个block所在位置（节点），可能存在于不同的节点上，所以是个数组 blkLocations = fs.getFileBlockLocations(file, 0, length); } if (isSplitable(fs, path)) { // 调用文件的getBlockSize方法，获取文件的块大小并存储在变量blockSize中 long blockSize = file.getBlockSize(); // 计算分片的大小，具体实现见后文 long splitSize = computeSplitSize(goalSize, minSize, blockSize); long bytesRemaining = length; // 文件剩余字节数 // 文件剩余大小 大于 切片大小的1.1倍才会继续切片 while (((double) bytesRemaining)/splitSize > SPLIT_SLOP) { // 获得此split所在的主机位置 String[] splitHosts = getSplitHosts(blkLocations, length-bytesRemaining, splitSize, clusterMap); // 添加分片到结果集,splitHosts表示此文件（path指定）的此分片 //（length-bytesRemaining和splitSize指定）所在的hosts splits.add(makeSplit(path, length-bytesRemaining, splitSize, splitHosts)); bytesRemaining -= splitSize; // 剩余大小 } // 将文件的最后一部分作为一个split if (bytesRemaining != 0) { String[] splitHosts = getSplitHosts(blkLocations, length - bytesRemaining, bytesRemaining, clusterMap); splits.add(makeSplit(path, length - bytesRemaining, bytesRemaining, splitHosts)); } } else { // 文件不可分片，则将整个文件作为一个分片 String[] splitHosts = getSplitHosts(blkLocations,0,length,clusterMap); splits.add(makeSplit(path, 0, length, splitHosts)); } } else { // 文件长度为0，则生成一个空分片 //Create empty hosts array for zero length files splits.add(makeSplit(path, 0, length, new String[0])); } } LOG.debug("Total # of splits: " + splits.size()); return splits.toArray(new FileSplit[splits.size()]); }
其中，每个分片的大小计算方法如下，
goalSize：是根据用户期望的分区数算出来的，每个分区的大小，总文件大小/用户期望分区数
minSize ：InputSplit的最小值，由配置参数mapred.min.split.size（在/conf/mapred-site.xml文件中配置）确定，默认是1（字节）
blockSize ：文件在HDFS中存储的block大小（在/conf/hdfs-site.xml文件中配置），不同文件可能不同，默认是64MB或者128MB。
结论
Spark从HDFS上读取文件时，按照文件的大小对数据进行分区，具体每个分区的大小通过上述cpmputeSplitSize(long goalSize,long minSize,long blockSize)方法进行计算，一般情况都是取goalSize和blockSize中较小的值。对于不同的文件形式具体可以从以下几个方面进行考虑 ：
数据以单文件且文件内容以一行的形式表现
在上述getSplits方法中输出类型InputSplit是对文件进行处理和运算的输入
单位，只是一个逻辑概念，每个InputSplit并没有对文件进行实际的切割，只是记录了要处理的数据的位置（包括文件的path和hosts）和长度（由start和length决定）。因此以行记录形式的文本，可能存在一行记录被划分到不同的block，甚至不同的DataNode上去。通过分析getSplits方法，可以得出，某一行记录同样也可能被划分到不同的InputSplit。但是不会对map之类的操作造成影响，原因是与FileInputFormat关联的RecordReader中的readLine方法在读取数据的时候不会受到InputSplit划分的限制，当读取一行的时候会一直读取直到读取到行结束符为止，因此其能够读取不同的InputSplit，直到把这一行数据读取完成。且当下一次在另外一个InputSplit中再次读取到该行的数据时不会再次进行计算。
数据以单文件且文件内容以多行的形式表现
如果一条请求的内容以多行的形式存储在一个文件中，一条请求的内容可能
会被划分开，出现解析错误，不能保证信息的完整性。
数据以多文件的形式表现
根据getSplits方法的具体实现，由于数据划分的时候是以文件为单位进行遍历的，当一个文件最后的部分不足splitSize时，将单独组成一个InputSplit，不会与下一个文件中的数据进行合并，因此不同文件中的数据不会被分到同一个InputSplit中。