Windows平台安装及配置Hadoop(不借助cygwin)

由于项目需要,我在VMware上装了几个虚拟机Windows server 2012 R2,并要搭建Hadoop集群。刚刚入门hadoop,一头雾水,然后开始搜各种教程,首先是选用cygwin进行安装,但是呢,后来出现一堆问题,然后放弃。最终选择直接在Windows server 2012 R2上安装配置Hadoop,在这里非常感谢博友教程,地址是https://blog.csdn.net/antgan/article/details/52067441,基本是按照这个教程来的,主要说下我踩得坑吧。

整个流程是:

JDK安装及环境变量配置(这个教程很多自己搜吧)

下载hadoop2.5.2.tar.gz 并解压,配置hadoop环境变量,修改hadoop配置文件,我的是直接放到C目录下,即C:\hadoop-2.5.2

其文件目录为

下载hadooponwindows-master.zip 并解压,将bin目录替换原来hadoop目录下的bin目录即可

运行环境:运行cmd,窗口起到C:\hadoop-2.5.2\bin下,执行“hdfs namenode -format”命令,这里开始报错,

跟hdfs-site.xml文件相关,  异常: 2 字节的 UTF-8 序列的字节 2 无效

<?xml version="1.0" encoding="UTF-8"?>  

直接将UTF-8改为UTF8,即

<?xml version="1.0" encoding="UTF8"?>  

重新运行cmd,首先应将上次格式化生成的logs目录下的文件及workplace目录下生成的文件删除,注意只删除目录下文件,不删除文件目录。窗口起到C:\hadoop-2.5.2\bin下,执行“hdfs namenode -format”命令,不在报错

cmd窗口转换到sbin下,执行“start-all.cmd”命令,弹出以下四个窗口,

紧接着在sbin下,执行“jps”命令,得到以下结果:

到这一步hadoop服务搭建完毕。

按照上文博友教程进行上传测试,操作HDFS,注意在Hadoop服务开启的状态下,再另打开一个cmd窗口,执行以下操作:

首先创建输入目录:

 

上传数据到目录:

然后查看文件:

 

猜你喜欢

转载自www.cnblogs.com/wanglexueshilengde/p/8985198.html