Hadoop机架感知（rack-aware)配置

副本的存放策略又是HDFS实现高可靠性和搞性能的关键，优化的副本存放策略也正是HDFS区分于其他大部分分布式文件系统的重要特性。HDFS采用一种称为机架感知（rack-aware）的策略来改进数据的可靠性、可用性和网络带宽的利用率。大型HDFS实例一般运行在跨越多个机架的计算机组成的机群上，不同机架上的两台机器之间的通信需要经过交换机，这样会增加数据传输的成本。在大多数情况下，同一机架内的两台机器间的带宽会比不同机架的两台机器间的带宽大。

一方面，通过一个机架感知的过程，NameNode可以确定每个DataNode所属的机架ID。目前HDFS采用的策略就是将副本存放在不同的机架上，这样可以有效防止整个机架失效时数据的丢失，并且允许读数据的时候充分利用多个机架的带宽。这种策略设置可以将副本均匀地分布在集群中，有利于组织失效情况下的负载均衡。但是，因为这种策略的一个写操作需要传输数据块到多个机架，这增加了写操作的成本。

另一方面，在读取数据时，为了减少整体的带宽小号和降低整体的带宽延时，HDFS会尽量读取程序读取距离客户端最近的副本。如果在读取程序的同一个机架上有一个副本，那么就读取该副本；如果一个HDFS集群跨越多个数据中心，那么客户端也将首先读取本地数据中心的副本。

默认情况下，Hadoop的机架感知策略是未开启的，默认都是在同一个机架下面。下面叙述下配置步骤

1，创建sh脚本topology.sh

脚本位置自定义存放，这里存放在/usr/software/hadoop-2.7.3/sh

#!/bin/bash
HADOOP_CONF=/usr/software/hadoop-2.7.3/sh
while [ $# -gt 0 ] ; do
  nodeArg=$1
  exec<${HADOOP_CONF}/topology.data
  result=""
  while read line ; do
    ar=( $line )
    if [ "${ar[0]}" = "$nodeArg" ]||[ "${ar[1]}" = "$nodeArg" ]; then
      result="${ar[2]}"
    fi
  done
  shift
  if [ -z "$result" ] ; then
    echo -n "/default-rack"
  else
    echo -n "$result"
  fi
  done

在此要注意的是，要给topology.sh赋予可执行权限

2，配置机架数据

机架数据topolopy.data放置的位置是任意的，这里也放在/usr/software/hadoop-2.7.3/sh下
第一列为IP地址，第二列为主机名，第三列为机架位置

120.27.4.193 master /master/rack1
120.25.225.181 node1 /dd/rack1
120.25.81.15 node2  /dd/rack2

3,将脚本配置到hadoop的core-site.xml中

<property>
                <name>topology.script.file.name</name>
                <value>/usr/software/hadoop-2.7.3/sh/topology.sh</value>
</property>

4,检验配置

重启Hadoop，输入命令

hdfs dfsadmin -printTopology

打印如下

屏幕快照 2017-03-31 21.24.56.png

至此，说明机架感知配置成功且已启用

参考：
1，《Hadoop实战》
2，http://blog.csdn.net/l1028386804/article/details/51935169

作者：evil_ice
链接：https://www.jianshu.com/p/1ce145837be9
來源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。