hadoop的hadoop.tmp.dir安装时一定要更改

hadoop的hadoop.tmp.dir安装时一定要更改

在这里插入图片描述
hadoop.tmp.dir 属性确保了 HDFS 元数据的存储位置,其中包含了一些关键的文件,如:

fsimage 文件:这是 HDFS 的文件系统镜像,记录了整个文件系统命名空间的状态。它包含所有文件、目录、权限、块位置等重要信息。fsimage 文件的路径通常是 ${hadoop.tmp.dir}/dfs/name/current/fsimage。

edits 日志文件:这是 NameNode 的操作日志,记录了对文件系统进行的所有修改操作,如创建、删除、重命名文件等。edits 日志文件的路径通常是 ${hadoop.tmp.dir}/dfs/name/current/edits。

version 文件:该文件记录了 NameNode 的版本信息,用于向后兼容性和识别文件系统的状态。version 文件的路径通常是 ${hadoop.tmp.dir}/dfs/name/current/VERSION。

除了这些文件,hadoop.tmp.dir 可能还包含其他与 HDFS 元数据相关的文件,具体取决于 Hadoop 的配置和运行情况。

hadoop.tmp.dir 配置的是Hadoop临时目录,比如HDFS的NameNode数据默认都存放这个目录下,查看*-default.xml 等默认配置文件,就可以看到很多依赖 h a d o o p . t m p . d i r 的配置。默认的 h a d o o p . t m p . d i r 是 / t m p / h a d o o p − {hadoop.tmp.dir} 的配置。 默认的hadoop.tmp.dir 是/tmp/hadoop- hadoop.tmp.dir的配置。默认的hadoop.tmp.dir/tmp/hadoop{user.name} ,此时有个问题就是 NameNode 会将 HDFS 的元数据存储在这个/tmp目录下,如果操作系统重启了,系统会清空 /tmp 目录下的东西,导致NameNode元数据丢失,是个非常严重的问题,所有我们应该修改这个路径。

猜你喜欢

转载自blog.csdn.net/qq_43688472/article/details/132609466