Mac OS X 10.7.2下搭建hadoop1.0.3伪分布式模式

第一步：下载hadoop1.0.3

在浏览器输入：http://apache.etoak.com/hadoop/common/hadoop-1.0.3/

选择hadoop-1.0.3.tar.gz

第二步：解压、配置环境变量

我将hadoop-1.0.3.tar.gz放置在了/Users/zhangosufei/software下。

利用命令：tar -zxvf hadoop-1.0.3.tar.gz解压，解压后的路径如下：

/Users/zhangosufei/software/hadoop-1.0.3

通过cd conf命令切换到conf，通过vi hadoop-env.sh，在此文件末尾输入一下命令：

export JAVA_HOME=/System/Library/Frameworks/JavaVM.framework/Versions/1.6.0/Home
export HADOOP_INSTALL=/Users/zhangosufei/software/hadoop-1.0.3
export PATH=$PATH:$HADOOP_INSTALL/bin

保存，退出。

注意：HADOOP_INSTALL根据你本地hadoop所放置的位置来设置。

第三步：配置hadoop

通过vi core-site.xml，编辑此文件如下：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

通过vi mapred-site.xml，编辑此文件如下：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
</configuration>

通过vi hdfs-site.xml，编辑此文件如下：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

第四步：配置SSH

在系统偏好设置-》共享中，勾选远程登录选项，如下图：

第五步：格式化分布式文件系统

使用如下命令格式化：

bin/hadoop namenode -format

第六步：启动hadoop

使用如下命令启动：

bin/start-all.sh

启动过程中，需要多次输入你登录操作系统的密码，如下图：

starting namenode, logging to /Users/zhangosufei/software/hadoop-1.0.3/libexec/../logs/hadoop-zhangosufei-namenode-bogon.out
Password:
localhost: starting datanode, logging to /Users/zhangosufei/software/hadoop-1.0.3/libexec/../logs/hadoop-zhangosufei-datanode-bogon.out
Password:
localhost: starting secondarynamenode, logging to /Users/zhangosufei/software/hadoop-1.0.3/libexec/../logs/hadoop-zhangosufei-secondarynamenode-bogon.out
starting jobtracker, logging to /Users/zhangosufei/software/hadoop-1.0.3/libexec/../logs/hadoop-zhangosufei-jobtracker-bogon.out
Password:
localhost: starting tasktracker, logging to /Users/zhangosufei/software/hadoop-1.0.3/libexec/../logs/hadoop-zhangosufei-tasktracker-bogon.out

在浏览器中输入http://localhost:50070，如果无法访问此服务，请查看logs目录下的hadoop-zhangosufei-namenode-bogon.log文件。如果配置成功，会看到以下页面：

在浏览器中输入http://localhost:50030，如果无法访问此服务，请查看logs目录下的hadoop-zhangosufei-datanode-bogon.log文件。如果配置成功，会看到以下页面：

OK，恭喜你，你的hadoop配置成功了。

Mac OS X 10.7.2下搭建hadoop1.0.3伪分布式模式

猜你喜欢