大数据学习准备工作

• 一、linux安装
• 1.1安装vmware软件

 

 

• 1.2验证VMWARE是否安装成功

(如果机器在安装vmware的时候会出现一个错误：virtual XT，这需要重启电脑<按F2/按DELET/.........>进入BIOS，开启这个虚拟加速开关)

(有些WINDOWS8/10系统会出现虚拟网卡安装失败的现象，这需要关闭windows的驱动程序安装签名验证)

 

 

• 1.3启动vmware后的软件界面

 

• 1.4新建虚拟机

 

• 1.5选择自定义配置

 

 

 

 

• 1.6选择硬件兼容标准

 

• 1.7选择是否让vmware安装操作系统

 

 

• 1.8选择将要安装的操作系统的类型

 

• 1.9选择虚拟系统文件存放的目录

 

 

1.10为虚拟机分配cpu/内存

 

 

 

• 1.11选择虚拟机所连接的网络类型

 

 

1.12选择为虚拟机创建一块新的虚拟磁盘

 

 

• 1.13虚拟机创建完毕后，可以调整硬件配置（删除打印机、声卡等无用硬件）

 

• 1.14往虚拟机的光驱中插入一张linux安装光盘的iso镜像文件

 

 

 

 

• 1.15启动虚拟机，将自动进入centos安装界面

接下来按提示不断下一步即可（中间可以选择安装模式：desktop、minimal、server等，建议先用desktop，因为安装的工具软件比较全）

 

 

 

 

• 1.16centos系统安装完后，需要设置网络

首先在vmware中，查看NAT网络模式中的虚拟路由器的网段和IP地址

 

 

 

 

• 1.17接下来设置windows的vmnet8的ip地址和虚拟机中centos的ip地址，即可联网

（图片：NAT虚拟网络配置.png）

• 二、linux常用软件安装
• 2.1修改Linux的基本配置
• 修改主机名

vi /etc/sysconfig/network

NETWORKING=yes HOSTNAME=server1.itcast.cn

• 修改ip地址

vi /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0 TYPE=Ethernet ONBOOT=yes BOOTPROTO=static IPADDR=192.168.0.101 NETMASK=255.255.255.0

service network restart

• 修改ip地址和主机名的映射关系

vi /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.0.101 server1.itcast.cn

• 关闭iptables并设置其开机启动/不启动

service iptables stop

chkconfig iptables on

chkconfig iptables off

• 2.2安装JDK
• 上传jdk-7u45-linux-x64.tar.gz到Linux上
• 解压jdk到/usr/local目录

tar -zxvf jdk-7u45-linux-x64.tar.gz -C /usr/local/

• 设置环境变量，在/etc/profile文件最后追加相关内容

vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.7.0_45 export PATH=$PATH:$JAVA_HOME/bin

• 刷新环境变量

source /etc/profile

• 测试java命令是否可用

java -version

• 2.3安装Tomcat
• 上传apache-tomcat-7.0.68.tar.gz到Linux上
• 解压tomcat

tar -zxvf apache-tomcat-7.0.68.tar.gz -C /usr/local/

• 启动tomcat

/usr/local/apache-tomcat-7.0.68/bin/startup.sh

• 查看tomcat进程是否启动

jps

• 查看tomcat进程端口

netstat -anpt | grep 2465

• 通过浏览器访问tomcat

http://192.168.0.101:8080/

• 2.5安装MySQL
• 上传MySQL-server-5.5.48-linux2.6.x86_64.rpm、MySQL-client-5.5.48-linux2.6.x86_64.rpm到Linux上
• 使用rpm命令安装MySQL-server-5.5.48-1.linux6.x86_64.rpm，缺少perl依赖

rpm -ivh MySQL-server-5.5.48-1.linux2.6.x86_64.rpm

• 安装perl依赖，上传6个perl相关的rpm包

rpm -ivh perl-*

• 再安装MySQL-server，rpm包冲突

rpm -ivh MySQL-server-5.5.48-1.linux2.6.x86_64.rpm

• 卸载冲突的rpm包

rpm -e mysql-libs-5.1.73-5.el6_6.x86_64 --nodeps

• 再安装MySQL-client和MySQL-server

rpm -ivh MySQL-client-5.5.48-1.linux2.6.x86_64.rpm

rpm -ivh MySQL-server-5.5.48-1.linux2.6.x86_64.rpm

• 启动MySQL服务，然后初始化MySQL

service mysql start

/usr/bin/mysql_secure_installation

• 测试MySQL

mysql -u root -p

 

 

三、本地YUM源制作

• 3.1YUM相关概念
• 什么是YUM

YUM（全称为 Yellow dog Updater, Modified）是一个在Fedora和RedHat以及CentOS中的Shell前端软件包管理器。基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件包，无须繁琐地一次次下载、安装。

• YUM的作用

在Linux上使用源码的方式安装软件非常满分，使用yum可以简化安装的过程

• 3.2YUM的常用命令

安装httpd并确认安装

yum instll -y httpd

 

列出所有可用的package和package组

yum list

 

清除所有缓冲数据

yum clean all

 

列出一个包所有依赖的包

yum deplist httpd

 

删除httpd

yum remove httpd

• 3.3制作本地YUM源
• 为什么要制作本地YUM源

YUM源虽然可以简化我们在Linux上安装软件的过程，但是生成环境通常无法上网，不能连接外网的YUM源，说以接就无法使用yum命令安装软件了。为了在内网中也可以使用yum安装相关的软件，就要配置yum源。

• YUM源的原理

YUM源其实就是一个保存了多个RPM包的服务器，可以通过http的方式来检索、下载并安装相关的RPM包

• 制作本地YUM源（以下十六个步骤）

   1准备一台Linux服务器，用最简单的版本CentOS-6.7-x86_64-minimal.iso

   2配置好这台服务器的IP地址

   3上传CentOS-6.7-x86_64-bin-DVD1.iso到服务器

   4将CentOS-6.7-x86_64-bin-DVD1.iso镜像挂载到某个目录

                      mkdir /var/iso

                      mount -o loop CentOS-6.7-x86_64-bin-DVD1.iso /var/iso

    5.修改本机上的YUM源配置文件，将源指向自己

           备份原有的YUM源的配置文件

          cd /etc/yum.repos.d/

          rename .repo .repo.bak *

          vi CentOS-Local.repo

[base] name=CentOS-Local baseurl=file:///var/iso gpgcheck=1 enabled=1   #很重要，1才启用 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

添加上面内容保存退出

       6清除YUM缓冲

yum clean all

     7列出可用的YUM源

yum repolist

     8安装相应的软件

yum install -y httpd

     9.开启httpd使用浏览器访问http://192.168.0.100:80（如果访问不通，检查防火墙是否开启了80端口或关闭防火墙）

service httpd start

   10.将YUM源配置到httpd（Apache Server）中，其他的服务器即可通过网络访问这个内网中的YUM源了

cp -r /var/iso/ /var/www/html/CentOS-6.7

   11.取消先前挂载的镜像

umount /var/iso

   12.在浏览器中访问http://192.168.0.100/CentOS-6.7/

    13让其他需要安装RPM包的服务器指向这个YUM源，准备一台新的服务器，备份或删除原有的YUM源配置文件

cd /etc/yum.repos.d/

rename .repo .repo.bak *

vi CentOS-Local.repo

[base] name=CentOS-Local baseurl=http://192.168.0.100/CentOS-6.7 gpgcheck=1 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6

添加上面内容保存退出

     14在这台新的服务器上执行YUM的命令

yum clean all

yum repolist

     15安装相应的软件

yum install -y gcc

 

    16加入依赖包到私有yum的repository

进入到repo目录

执行命令：  createrepo  .

 

• 四、VMware虚拟机三种联网方法及原理
• 4.1Brigde——桥接：默认使用VMnet0

• 4.1.1原理：

 
Bridge  桥"就是一个主机，这个机器拥有两块网卡，分别处于两个局域网中，同时在"桥"上，运行着程序，让局域网A中的所有数据包原封不动的流入B，反之亦然。这样，局域网A和B就无缝的在链路层连接起来了，在桥接时，VMWare网卡和物理网卡应该处于同一IP网段  当然要保证两个局域网没有冲突的IP.
 
VMWare 的桥也是同样的道理，只不过，本来作为硬件的一块网卡，现在由VMWare软件虚拟了！当采用桥接时，VMWare会虚拟一块网卡和真正的物理网卡就行桥接，这样，发到物理网卡的所有数据包就到了VMWare虚拟机，而由VMWare发出的数据包也会通过桥从物理网卡的那端发出。
 
所以，如果物理网卡可以上网，那么桥接的软网卡也没有问题了，这就是桥接上网的原理了。      

• 4.1.2联网方式：

 
这一种联网方式最简单，在局域网内，你的主机是怎么联网的，你在虚拟机里就怎么连网。把虚拟机看成局域网内的另一台电脑就行了！
 
提示：主机网卡处在一个可以访问Internet的局域网中，虚拟机才能通过Bridge访问Internet。
 

`````````````````````````````````````````````````````````````````````````````````````````````````````````````````````
 

• 4.2NAT——网络地址转换  ：默认使用VMnet8

• 4.2.1原理：

 
NAT 是  Network  address  translate的简称。NAT技术应用在internet网关和路由器上，比如192.168.0.123这个地址要访问internet，它的数据包就要通过一个网关或者路由器，而网关或者路由器拥有一个能访问internet的ip地址，这样的网关和路由器就要在收发数据包时，对数据包的IP协议层数据进行更改（即  NAT），以使私有网段的主机能够顺利访问internet。此技术解决了IP地址稀缺的问题。同样的私有IP可以网关NAT  上网。    
 
VMWare的NAT上网也是同样的道理，它在主机和虚拟机之间用软件伪造出一块网卡，这块网卡和虚拟机的ip处于一个地址段。同时，在这块网卡和主机的网络接口之间进行NAT。虚拟机发出的每一块数据包都会经过虚拟网卡，然后NAT，然后由主机的接口发出。
 
虚拟网卡和虚拟机处于一个地址段，虚拟机和主机不同一个地址段，主机相当于虚拟机的网关，所以虚拟机能ping到主机的IP，但是主机ping不到虚拟机的IP。

• 4.2.2联网方式：

 
方法1、动态IP地址。
 
主机是静态IP或动态IP，都无所谓，将虚拟机设置成使用DHCP方式上网,Windows下选择“自动获取IP“，linux下开启DHCP服务即可。（这种方法最简单，不用过多的设置，但要在VMware中进行“编辑→虚拟网络设置”，将NAT和DHCP都开启了。一般NAT默认开启，DHCP默认关闭）

方法2、静态IP地址。
 
如果不想使用DHCP，也可以手动设置：
 
IP设置与vmnet1同网段,网关设置成vmnet8的网关（在“虚拟网络设置”里的Net选项卡里能找到Gateway）通常是xxx.xxx.xxx.2。
子网掩码设置与VMnet8相同（设置好IP地址后，子网掩码自动生成）
DNS设置与主机相同。
 
例如：主机IP是10.70.54.31,设置虚拟机IP为10.70.54.22。Netmask,Gateway,DNS都与主机相同即可实现  虚拟机  ---主机  虚拟机<---->互联网  通信。    
 
提示：使用NAT技术，主机能上网，虚拟机就可以访问Internet，但是主机不能访问虚拟机。

 

• 4.3Host-Only——私有网络共享主机：默认使用VMnet1

• 4.3.1原理：

 
提供的是主机和虚拟机之间的网络互访。只想让虚拟机和主机之间有数据交换，而不想让虚拟机访问Internet，就要采用这个设置了。
 
Host-only的条件下，VMWare在真正的Windows系统中，建立一块软网卡。这块网卡可以在网络连接中看到，一般是VMNET1，这块网卡的作用就是使Windows看到虚拟机的IP。
 

• 4.3.2联网方法：

 
方法1、动态IP地址。
像上面那样开启DHCP后，虚拟机直接自动获取IP地址和DNS。就可以和主机相连了。当然，还要进行一些局域网共享的操作，这里不再赘述。
 
方法2、静态IP地址。    
 
也可以手动设置，将虚拟机IP设置与VMnet1同网段,网关设置成VMnet1的网关相同,其余设置与VMnet1相同,DNS设置与主机相同。
 
例如：VMnet1  IP:172.16.249.1        Gateway  :172.16.249.2

那么虚拟机  IP:172.16.249.100        Gateway:  172.16.249.2

这样、      虚拟机<--->主机              可以通信        
但是、        虚拟机<--->互联网      无法通信
 
提示：Host-only技术只用于主机和虚拟机互访，于访问internet无关。

 

• 五、其他
• 5.1批量自动删除rpm包：

rpm -qa | grep mysql | while read c; do rpm -e $c --nodeps; done

• 5.2minimal最小化安装

eth0默认没有自启用
修改配置文件
onboot=true

• 5.3修改静态地址后发现无法ping外网

需要设置网关
route add default gw 192.168.33.1
添加nameserver
vi /etc/resolv.conf
nameserver 192.168.33.1

• 5.4挂载光盘

mkdir /mnt/cdrom
mount -t iso9660 -o ro /dev/cdrom/ /mnt/cdrom

• 5.5解决克隆后eth0不见的问题

直接修改  /etc/sysconfig/network-script/ifcfg-eth0
删掉UUID  HWADDR
配置静态地址
然后：
rm -rf /etc/udev/rules.d/70-persistent-net.rules
然后 reboot

• 5.6ssh免密登陆示意图