看了很多博客,发现了一个最适合新手的,而且本人已经验证安装成功,链接如下:
http://www.powerxing.com/install-hadoop/
对安装过程中遇到的一些问题的补充
1. 将文件放入虚拟机中
不能直接将jdk安装包复制粘贴到虚拟机中,要先安装了vmware tools才可以,步骤如下
1.1点击工具栏中的 虚拟机(M),在弹出的下拉框中再点击设置(s)
1.2,在设置中选择选项面板,并点击共享文件夹,在右边选择总是启用(E),然后点击确定
1.3安装vmware tool 选择共享的磁盘或者文件夹,安装成功后,就可以直接将jdk安装包从外面复制粘贴(paste)到虚拟机中了
2. 启动伪分布式的时候报错
Error: JAVA_HOME is not set and could not be found.
解决方法:
输入 gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh 打开文件
更改 export JAVA_HOME=$JAVA_HOME (将相对路径改成绝对路径)
变成 export JAVA_HOME=/usr/java/jdk1.6.0_45(根据你安装的路径来填写)
3.用eclipse开发hadoop程序
链接如下:http://www.powerxing.com/hadoop-build-project-using-eclipse/
问题1:在/usr/local/hadoop目录下输入 ./sbin/start-dfs.sh 后,出现permission denie
原因:权限问题,用sudo ./sbin/start-dfs.sh 也会失败
解决方法: 先切换为root用户 输入命令 su
然后输入 ./sbin/start-dfs.sh
再切换回普通用户 su hadoop
问题2:Exception in thread "main" ExitCodeException exitCode=1:
chmod: 无法访问"/usr/local/hadoop/tmp/mapred/staging/bo806358276/.staging/job_local806358276_0001
原因:权限问题
解决办法: 1.切换到root用户 输入命令 su
2.输入命令 chmod -R 777 /usr/local/hadoop (/usr/local/hadoop是hadoop的安装目录,根据你自己的安装目录修改)
问题3:org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=DrWho, access=WRITE, inode="hadoop":hadoop:supergroup:rwxr-xr-x
解决方法:
- 找到WordCount工程下的src中的hdfs-site.xml
- 找到/user/local/hadoop/etc/hadoop/hdfs-site.xml (根据你的hadoop安装目录进行查找)
都打开,并且在其中添加一段代码
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
有篇文章透彻的讲解这个问题的根源,链接如下:http://www.huqiwen.com/2013/07/18/hdfs-permission-denied/
最后,如果原作者的文章真的对你帮助很大,那么最好微信赞助,因为对别人的有效付出给予回报,既是对别人的尊重,也是对自己的尊重。
看了很多博客,发现了一个最适合新手的,而且本人已经验证安装成功,链接如下: http://www.powerxing.com/install-hadoop/ 对安装过程中遇到的一些问题的补充 1. 将文件放入虚拟机中 不能直接将jdk安装包复制粘贴到虚拟机中,要先安装了vmware tools才可以,步骤如下 1.1点击工具栏中的 虚拟机(M),在弹出的下拉框中再点击 设置(s)
1.2,在设置中选择 选项面板,并点击 共享文件夹,在右边选择 总是启用(E),然后点击确定
1.3安装vmware tool 选择共享的磁盘或者文件夹,安装成功后,就可以直接将jdk安装包从外面复制粘贴(paste)到虚拟机中了 2. 启动伪分布式的时候报错 Error: JAVA_HOME is not set and could not be found. 解决方法: 输入 gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh 打开文件 更改 export JAVA_HOME=$JAVA_HOME (将相对路径改成绝对路径)
变成 export JAVA_HOME=/usr/java/jdk1.6.0_45(根据你安装的路径来填写) 3.用eclipse开发hadoop程序 链接如下: http://www.powerxing.com/hadoop-build-project-using-eclipse/ 问题1:在/usr/local/hadoop目录下输入 ./sbin/start-dfs.sh 后,出现permission denie 原因:权限问题,用sudo ./sbin/start-dfs.sh 也会失败 解决方法: 先切换为root用户 输入命令 su 然后输入 ./sbin/start-dfs.sh 再切换回普通用户 su hadoop 问题2: Exception in thread "main" ExitCodeException exitCode=1: chmod: 无法访问"/usr/local/hadoop/tmp/mapred/staging/bo806358276/.staging/job_local806358276_0001 原因:权限问题 解决办法: 1.切换到root用户 输入命令 su 2.输入命令 chmod -R 777 /usr/local/hadoop (/usr/local/hadoop是hadoop的安装目录,根据你自己的安装目录修改) 问题3: org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=DrWho, access=WRITE, inode="hadoop":hadoop:supergroup:rwxr-xr-x 解决方法:
- 找到WordCount工程下的src中的hdfs-site.xml
- 找到/user/local/hadoop/etc/hadoop/hdfs-site.xml (根据你的hadoop安装目录进行查找)