Ubuntu12.04 + Hadoop 1.0.4

 转发请指明出处:http://sgq0085.iteye.com/admin/blogs/1851294 环境用到的各软件版本号: ubuntu-12.04.2-server-amd64,hadoop-1.0.4.tar.gz,jdk-6u45-linux-x64.bin,VMware-workstation-full-9.0.2-1031769,eclipse Indigo Service Release 2 1. 安装JDK (1)创建目录,并将JDK拷贝到该目录下  
$ mkdir /usr/lib/jvm/jdk
$ cp ~/jdk-6u45-linux-x64.bin /usr/lib/jvm/jdk/jdk-6u45-linux-x64.bin
  (2)为该文件设置权限    
$ sudo chmod 777 ./jdk-6u45-linux-x64.bin
 (3)安装JDK
$ sudo -s ./jdk-6u45-linux-x64.bin
    (4)设置环境变量/etc/profile 或 当前用户的.bash_profile  最后加入  
#set java environment
export JAVA_HOME=/usr/lib/jvm/jdk/jdk1.6.0_45

export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
    (5)使环境变量生效
$ source /etc/profile
$ source .bash_profile 
  (6)在终端使用echo命令检查环境变量设置情况。  
$ echo $JAVA_HOME
$ echo $CLASSPATH
$ echo $PATH
  (7)检查JDK是否安装成功  
$ java -version
  (8)配置默认JDK版本  
$ sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk/jdk1.6.0_45/bin/java 300 
$ sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk/jdk1.6.0_45/bin/javac 300 
$ sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/jdk/jdk1.6.0_45/bin/jar 300 
  (9)检查  
$ sudo update-alternatives --config java 
  2.安装SSH   (1)ubuntu桌面版本 默认并没有安装ssh服务,如果通过ssh链接ubuntu,需要自己手动安装ssh-server。判断是否安装ssh服务,可以通过如下命令进行:  
$ ssh localhost ssh
$ ssh localhost ssh: connect to host localhost port 22: Connection refused
$ sudo apt-get install openssh-server 
  (2)启动SSH服务     
$ sudo /etc/init.d/ssh start
  (3)启动后,可以通过如下命令查看服务是否正确启动  
$ ps -e|grep ssh  
$ ssh localhost
$ who
  (4)在本地生成空密码的公钥和私钥
cd ~/.ssh
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
 (5)配置本地访问不需要密码,运行
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys  
  3.允许 su 到 root及允许root登录 (1)允许su到root  
$ sudo passwd
Password: <--- 输入安装时那个用户的密码
Enter new UNIX password: <--- 新的Root用户密码
Retype new UNIX password: <--- 重复新的Root用户密码
  (2)允许root登录    
$ gksu /usr/sbin/gdmsetup
  4.安装Hadoop (1).将hadoop-1.0.4.tar.gz,cp到用户目录下,并解压  
$ tar xvzf hadoop-1.0.4.tar.gz
  (2).修改hadoop-env.sh中加入
export JAVA_HOME=/usr/lib/jvm/jdk/jdk1.6.0_45
export HADOOP_CLASSPATH=/home/hadoop/hadoop-1.0.4
hadoop-env.sh 或 ~/.profile
export HADOOP_HOME_WARN_SUPPRESS=1
   (3).修改core-site.xml 中加入 其中hadoop.tmp.dir写绝对路径是修改defaults中,默认在/tmp目录下,导致每次启动后都要重新hadoop namenode -format。fs.default.name写ip,为了保障eclipse插件可以连接上  
<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hadoop/tmp/hadoop</value>
</property>
<property>
  <name>fs.default.name</name>
  <value>hdfs://192.168.6.241:9000</value>
</property>
  (4).修改hdfs-site.xml  
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
<property>
  <name>dfs.permissions</name>
  <value>false</value>
</property>
   (5).修改mapred-site.xml 写IP的理由mapred.job.tracker同fs.default.name  
<property>
  <name>mapred.job.tracker</name>
  <value>192.168.6.241:9001</value>
</property>
<property>
  <name>mapred.child.tmp</name>
  <value>/home/hadoop/tmp</value>
</property>
  (6).在hadoop目录下,格式化命名空间
bin/hadoop namenode -format  
  (7).运行hadoop
bin/start-all.sh  
  (8).运行测试
bin/hadoop jar hadoop-0.20.2-examples.jar pi 2 10  
 
5.hadoop-eclipse-plugin-1.0.4 使用 (1)将插件放到eclipse/dropins目录下,重启eclipse (2)在Window->Preferences->Hadoop Map/Reduce 下选择Hadoop的安装路径(解压一份即可,用于创建项目时导入JAR包) (3)在eclipse下端,“Map/Reduce Locations”,在下面空白的地方点右键,选择“New Hadoop location...”
Location name(取个名字)
Map/Reduce Master(Job Tracker的IP和端口,根据mapred-site.xml中配置的mapred.job.tracker来填写)
DFS Master(Name Node的IP和端口,根据core-site.xml中配置的fs.default.name来填写)
  运行可以参照:http://www.blogjava.net/yongboy/archive/2012/04/26/376486.html 这里有两个个问题: 1.参数应该传入/user/hadoop/input2 /user/hadoop/output2 写master或者写虚拟机IP经测试都运行失败; 2.修改的hadoop-core-1.0.4.jar,是指eclipse里面项目中导入的Jar包,与Hadoop实际运行环境中Jar包无关。 转发请指明出处:http://sgq0085.iteye.com/admin/blogs/1851294 ubuntu固定IP NAT方式,可参考 http://www.cnblogs.com/objectorl/archive/2012/09/27/vmware-ubuntu-nat-static-ip-settings.html
sudo vim /etc/network/interfaces 
interfaces里面增加或修改为
auto eth0  
iface eth0 inet static  
    address 192.168.2.155  
    netmask 255.255.255.0  
    gateway 192.168.2.1  
    dns-nameservers 218.85.157.99 218.85.152.99 
重启网卡:
sudo /etc/init.d/networking restart   
 设置时间
sudo date -s 05/20/2013
sudo date -s 13:58:00
date
 

猜你喜欢

转载自sgq0085.iteye.com/blog/1851294
今日推荐