[hadoop 配置文件] core-site.xml有关知识点

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/hadoop-3.1.2/hdfs/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
    <property>
        <name>fs.checkpoint.period</name>
        <value>60</value>
    </property>
    <property>
        <name>fs.checkpoint.size</name>
        <value>67108864</value>
    </property>
</configuration>
  • hadoop.tmp.dir

  • hdfs系统会把用到的数据存储在core-site.xml中由hadoop.tmp.dir指定,而这个值默认位于/tmp/hadoop-${user.name}下面,
    由于/tmp目录在系统重启时候会被删除,所以应该修改目录位置。 修改core-site.xml(在所有站点上都修改)

  • dfs.permissions.enabled

  • windows上的权限系统和linux上的权限系统,测试期间为了简单起见可以关闭权限检查
    在namenode的hdfs-site.xml上,添加配置:

<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>
  • fs.default.name
  • 默认的HDFS端口,用于NameNode与DataNode之间到的通讯
 <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
    </property>
  • hadoop.tmp.dir
  • 存放hadoop文件系统依赖的基本配置
 <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/hadoop-3.1.2/hdfs/tmp</value>
    </property>

持续更新…

发布了17 篇原创文章 · 获赞 51 · 访问量 4497

猜你喜欢

转载自blog.csdn.net/qq_44172732/article/details/104433117
今日推荐