MapReduce3种运行方式


MapReduce运行 3 种方式:

一、本地方式运行:
1、pc环境:
    1.1、将Hadoop安装本地解压
    1.2、配置Hadoop的环境变量
        添加%HADOOP_HOME%
        修改%PATH%  添加%HADOOP_HOME%/bin;%HADOOP_HOME%/sbin
    1.3、在解压的Hadoop的bin目录下 添加winutils.exe工具
2、Java工程
    2.1、jdk一定要使用自己的jdk、不要使用eclipse自带
    2.2、根目录(src目录下),不要添加任何MapReduce的配置文件  hdfs-site.xml yarn-site.xml core-site.xml mapred-site.xml
    2.3、在代码当中,通过conf.set方式来进行指定。conf.set("fs.defaultFS", "hdfs://node1:8020");
    2.4、修改Hadoop源码 ,将NativeIO和YARNRunner两个类拷至项目下  org.apache.hadoop.io.nativeio.NativeIO中access方法 返回值改为空
3、右键run执行

集群运行两种方式:
二、
    Java工程
    1、根目录(src目录下),添加Hadoop的配置文件 hdfs-site.xml yarn-site.xml core-site.xml mapred-site.xml
    2、在代码当中,指定jar包的位置,config.set("mapred.jar", "D:\\MR\\wc.jar");
    3、修改Hadoop源码
    4、将工程打jar包
    5、右键run执行

三、
    Java工程
    1、根目录(src目录下),添加Hadoop的配置文件 hdfs-site.xml  yarn-site.xml core-site.xml mapred-site.xml
    2、将工程打jar包
    3、手动将jar包上传到集群当中
    4、通过hadoop命令来运行。hadoop jar jar位置 mr代码入口 (例如:hadoop jar /usr/wc.jar com.sxt.mr.WcJob)


HBase运行:
在代码当中指定HBase所使用的ZooKeeper集群。
(注意:如果hbase搭建的是伪分布式,那么对应的ZooKeeper就是那台伪分布式的服务器)
conf.set("hbase.zookeeper.quorum", "node1,node2,node3");


System.setProperty("HADOOP_USER_NAME", "root");


 

猜你喜欢

转载自blog.csdn.net/yangang1223/article/details/81217210