vmware centOS7.0环境下配置hadoop集群+spark集群

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/xj13821328013/article/details/81364364

从开始玩linux，配置hadoop和spark集群的过程用了二十多个小时，后面也是进行得越来越顺利。

在安装和配置过程中学习和用到的一些网站和博客，在此分享一下。

一、vmware centOS7.0 hadoop jdk hadoop scala spark 安装包百度网盘分享

链接：https://pan.baidu.com/s/16d1gxlYOxL9-dwHcNiyrDw 密码：04y4

二、vmware及vmware下centOS7.0的安装，按照百度经验照做就可以解决

三、centOS7.0安装后无法上网

（1）使用root权限

su   //使用root权限

（2）  修改ifcfg-enoxxxxx文件

（3）将no改为yes

扫描二维码关注公众号，回复： 4353460 查看本文章

（4）重启network

service network restart

四、安装配置JDK

（1）参考博客https://www.cnblogs.com/yjlch1016/p/8900841.html

注centOS7.0自带openjdk，并且没有配置环境变量，可先下载jdk安装包，解压之后直接配置环境变量即可，无需卸载openjdk操作

（2）参考博客https://blog.csdn.net/u013248434/article/details/70304526 

可以得知获取centOS7.0自带openjdk的安装路径，但是对于scala的安装，必须要按照（1）安装jdk

安装成功后，javac、java、java -version进行验证，截图如下

五、hadoop安装及集群配置

参考博客 https://blog.csdn.net/pucao_cug/article/details/71698903

六、scala,spark安装及单机、集群配置

集群版，参考博客 https://blog.csdn.net/pucao_cug/article/details/72353701

单机版，参考博客 https://blog.csdn.net/pucao_cug/article/details/72377219

spark测试，参考博客 https://blog.csdn.net/pucao_cug/article/details/72377219

七、putty传输文件

（1）从windows向centOS传输文件，参考博客 https://blog.csdn.net/wqn_csdn/article/details/72582000

（2）将centOS中的文件下载到本地的命令如下，即可在本地查看下载的文档

八、U盘挂载

参看百度经验 https://jingyan.baidu.com/article/8ebacdf028b13449f65cd5a5.html

九vmware tools安装以实现虚拟机和主机之间文件拖拽共享（但是在虚拟机下有多个centOS7.0系统时，我只能配置成功一个）

参考博客  http://blog.51cto.com/5001660/2093899

在熟悉的过程中遇到了很多坑，但是处理起来会越来越顺利许多。