CentOs安装Hadoop单机伪分布式
- 解压hadoop包
# tar -zxvf ./hadoop-3.1.3.tar.gz
- JDK已经配置好了可以忽略
- 编辑hadoop安装文件夹下面的/etc/hadoop/
export JAVA_HOME=/version/java/jdk1.8.0_231/
- 设置伪分布模式(Pseudo-Distributed Operation)修改etc/hadoop/core-site.xml文件,增加配置(fs.defaultFS:默认文件系统名称)
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
- 修改etc/hadoop/hdfs-site.xml文件,增加配置(dfs.replication:文件副本数)
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
- 设置主机允许无密码SSH链接
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa // 创建公钥私钥对
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys //
chmod 0600 ~/.ssh/authorized_keys // 设置权限,owner有读写权限,group和other无权限
- 格式化文件系统
bin/hdfs namenode -format
- 启动NameNode和DataNode进程(启动hdfs)
./sbin/start-dfs.sh // 启动NameNode和DataNode进程
./sbin/stop-dfs.sh // 关闭NameNode和DataNode进程
9. 启动YARN
./sbin/start-yarn.sh
./sbin/stop-yarn.sh