Hadoop安装和配置--参考官网

参考文档：http://hadoop.apache.org/docs/r3.0.3/hadoop-project-dist/hadoop-common/SingleCluster.html

就是将官网翻译了一下：

Hadoop：安装单个节点模式

目的

本文档介绍如何设置和配置单节点Hadoop安装，以便您可以使用Hadoop MapReduce和Hadoop分布式文件系统（HDFS）快速执行简单操作

先决条件

支持的平台

支持GNU / Linux作为开发和生产平台。Hadoop已经在具有2000个节点的GNU / Linux集群上进行了演示。Windows也是一个支持的平台，但以下步骤仅适用于Linux。要在Windows上设置Hadoop，请参阅Wiki页面

所需软件

所需的Linux软件包括：Java™必须安装。推荐的Java版本在HadoopJavaVersions中描述。如果要使用可选的启动和停止脚本，则必须安装ssh，并且必须运行sshd才能使用管理远程Hadoop守护程序的Hadoop脚本。此外，建议安装pdsh以获得更好的ssh资源管理

安装软件

如果你的集群没有必要的软件，你需要安装它

例如在Ubuntu Linux上：

  $ sudo apt-get install ssh
  $ sudo apt-get install pdsh

下载

要获得Hadoop发行版，请从其中一个Apache下载镜像下载最新的稳定版本

准备启动Hadoop集群

这里先安装JDK：https://blog.csdn.net/best3c/article/details/72848540

解压下载的Hadoop发行版。在发行版中，编辑文件etc / hadoop / hadoop-env.sh来定义一些参数，如下所示：

  # set to the root of your Java installation
  export JAVA_HOME=/usr/java/latest

尝试以下命令：

 $ bin/hadoop

这将显示hadoop脚本的使用文档

现在您已准备好以三种受支持模式之一启动Hadoop集群：

本地（独立）模式
伪分布式模式
完全分布式模式

独立操作

默认情况下，Hadoop被配置为以非分布模式运行，作为单个Java进程

这对调试很有用。以下示例将解压后的conf目录复制为输入，然后查找并显示给定正则表达式的每个匹配项。输出写入给定的输出目录

  $ mkdir input
  $ cp etc/hadoop/*.xml input
  $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar grep input output 'dfs[a-z.]+'
  $ cat output/*

伪分布式操作

Hadoop也可以在伪分布模式下的单节点上运行，其中每个Hadoop守护进程都在单独的Java进程中运行

配置

使用以下内容：

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

设置无密码ssh

现在检查您是否可以在没有密码的情况下ssh到本地主机：

ssh localhost

如果您不能在没有密码的情况下ssh到本地主机，请执行以下命令：

  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

执行

以下说明是在本地运行MapReduce作业。如果要在YARN上执行作业，请参阅单节点上的YARN

格式化文件系统：

 $ bin/hdfs namenode -format

启动NameNode守护进程和DataNode守护进程：

  $ sbin/start-dfs.sh

翻译不下去了，就先这样吧，感觉官方文档写得很乱。。。。。。

Hadoop安装和配置--参考官网

猜你喜欢