一、环境要求

1）、安装VMware,这里面需要安装centOS6.0的操作系统并选择sever版本

2）、安装Xshell，这个用于连接Linux服务器

二、Linux环境配置

1）配置网络：

Xshell中输入

vi /etc/sysconfig/network-scripts/ifcfg-eth0

修改里面的内容为：（按A键修改，按ESC键退出修改，输入:wq退出并）

      DEVICE=eth0
      HWADDR=00:0C:29:E3:CF:B3
      TYPE=Ethernet
      UUID=11680267-bc08-42f7-b6c4-d42f6c879e30
      ONBOOT=yes
      NM_CONTROLLED=yes
      BOOTPROTO=static
      IPADDR=192.168.17.128
      NETMASK=255.255.255.0
      GATEWAY=192.168.17.2
      DNS1=192.168.17.2
      DNS2=8.8.8.8

2）修改主机名

   vi /etc/sysconfig/network

修改里面的内容为

   vi /etc/sysconfig/network

3）添加主机IP

   vi /etc/hosts

修改里面的内容为：

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.17.128 master

三、常用命令

xftp里面put上传文件，lcd选择下载目录，（get 目录文件）来下载文件

ls查看当前目录下的文件，tree -l以树形结构来查看目录下的文件，pwd查看当前目录

seq 5打印1——5的数字，echo{1..5}打印1——5的数字

解压tar.gz文件： tar -zxvf jdk-8u152-linux-x64.tar.gz -C /software/

改变hadoop文件的权限：chmod o+x hadoop （增加写权限）chmod o-w hadoop（减少写权限)

更改文件的宿主：chown -R spark:spark hadoop

添加用户：useradd -m -d /home/hadoop hadoop

删除用户：userdel -r hadoop

删除文件：userdel -r hadoop

更换角色：su - hadoop

生成密钥：ssh-keygen -t rsa -P ''（file文件可以不用选择，让它默认就好）

复制密钥到名为slave的机器：ssh-copy-id slave

连接到名为slave的机器：ssh slave

把一台主机的1.txt文件复制到另一台主机文件： scp -r 1.txt slave:/install/

注：hadoop都是文件的名字

四、软件安装的几种方式

A、rpm安装
rpm -ivh --force --nodeps 包列表....
B、编译安装
readme/readme.txt/README
./configure
echo $?
make
echo $?
make install
echo $?
make && make install

C、解压、配置环境

软件卸载的几种方式

rpm -e --nodeps 包列表.....

五、hadoop集群的安装步骤

1、配置静态IP地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0

2、配置主机名
vi /etc/sysconfig/network
echo 'master'>>/etc/sysconfig/network

3、主机名与IP地址映射
vi /etc/hosts
ip地址主机名

4、创建hadoop

useradd -m -d /home/hadoop hadoop

5、设置公私密匙对实现免密通信
ssh-keygen -t rsa -P ''

ssh-copy-id slave

6、开启slave节点上install和software两个目录的权限
7、关闭master和slave节点上的selinux和防火墙
8、在master和slave节点上安装lrzsz方便上传文件
9、卸载旧的jdk并上传和安装新版jdk
10、切换到hadoop用户实现master免密登录master和slave
11、在hadoop用户下于master和slave节点上安装hadoop
12、配置hadoop环境(修改配置文件[6个配置文件])
13、在master节点上的hadoop用户下格式化集群文件系统
14、启动HDFS集群和Yarn集群

备注：
HDFS集群:分布式存储
Yarn集群:分布式计算

内存比较大:
新增一个slave节点(新增一台虚拟机)
拷贝jdk和hadoop的安装目录
修改/etc/profile配置文件
在master节点上修改slaves文件,增加新增节点的主机名即可

Linux入门（一）

四、软件安装的几种方式

猜你喜欢