linux之hadoop环境搭建

1、centos克隆机,网卡配置

克隆机导致网卡直接变为eth1,

需要将vi   /etc/udev/rules.d/70-persistence-net.rules


address值记下来,将name由eth1改为eth0;

修改

将上面的address改到下面HWADDR。DEVICE改为eth0;

然后init6重启系统。就好了。

2、jdk的安装,环境变量配置

      1、上传tar包

      2、解压tar包


      3、配置环境变量

        

注意:配置中遇到的坑 /etc/profile 配置环境变量是系统变量 应用于每个用户。

          hadoop读取当前用户变量

         ~目录下 .bash_file 可以在这个里配置 用户的环境变量

          .bashrc 非登录的shell

          加入这个

if [ -f ~/.bashrc ]; then
    . ~/.bashrc
fi

           .bash_file会调用.bashrc中的配置

       

3、hadoop伪分布式搭建

        1、关闭防火墙

   service iptables stop 本次开机有效,重启之后失效。

   chkconfig iptables off 开机不启动

   关闭selinux

   vi /etc/selinux/config

  

   2、修改主机名

    配置主机名:
    vi  /etc/sysconfig/network
    配置主机名和ip地址的映射
    vi /etc/hosts

        102.168.0.123 hadoop01

    重启后才生效。

   3、上传hadoop编译包

   4、配置及格式化namenode

    配置hadoop-2.6/etc/hadoop/core-site.xml

    添加一段配置如下:namenode访问地址rpc socket(TCP/IP)通信地址
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop-2.6.0/tmp-${user.name}</value>
    </property>
    配置hadoop2.6/etc/hadoop/slaves配置文件(文本文件 默认localhost)
     cc或者localhost

     配置hadoop2.6/etc/hadoop/hdfs-site.xml(namenode、datanode文件存储位置、数据块的副本参数)

    不配置默认value为3

   <property>
        <name>dfs.replication</name>
        <value>1</value>
   </property>
   格式化namenode  只需要在初始化的时候执行一次

    [root@cc hadoop2.6]# ./bin/hdfs namenode -format

        遇到的坑:初始化时报错,配置文件修改时编码问题。解决方法查看当前linux连接的编码修改utf-8,直接从windows修改配置文件,直接覆盖过去就好了。

    5、ssh免密配置

    [root@hadoop01 cc]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
    [root@hadoop01 cc]# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
  ssh-keygen代表生成密钥;-t(注意区分大小写)表示指定生成的密钥类型;dsa是dsa密钥认证的意思,即密钥类型;-P用 于提供密语;-f指定生成的密钥文件。
  .ssh表示ssh文件是隐藏的。这个命令会在.ssh文件夹下创建两个文件id_dsa及id_dsa.pub,这是SSH的一对私钥和公钥,类似于钥匙及锁,把id_dsa.pub(公钥)追加到授权的key里面去。

  后期做scp文件传输有用!

 

技巧:

        bin文件中命令:操作文件,sbin文件中: 启停命令。

        jps查看进程 java相关。

        bin/hadoop fs -xx 命令是hadoop1.0的命令;效果跟下边命令一致。

        2.0后命令为:bin/hdfs dfs -xxx,就是现在使用的命令。


  

猜你喜欢

转载自blog.csdn.net/m0_37897396/article/details/80647324