阿里云上运行MapReduce例子

接着上次博客记录, 例子虽然可以在本地运行,如果将写好的代码在阿里云上运行。
基本步骤如下:
1.将写好的代码导出成jar文件,代码里面的字段名用小写,ODPS都转为小写,用大写会报错找不到相应的字段,在后面执行才知道这个问题。
  EtlTools.java-->Export--->Jar file-->name-mr.jar
2.从Eclipse workspace拷贝到D:\odpscmd_public\bin,路径不能有中文,否则后面会报错找不到相应的jar包
3.数据准备,建表
CREATE TABLE etl_in (idCard STRING, name STRING, dept STRING);
CREATE TABLE etl_out (idCard STRING, name STRING);

将数据用txt文本保存,记得txt文件用UTF-8编码,否则数据在ODPS客户端查看是乱码

命令行:tunnel upload data.txt  etl_in; 导入数据

4.上传jar包,运行MR
jar  add   name-mr.jar;
jar -resources name-mr.jar -classpath name-mr.jar com.aliyun.odps.examples.mr.EtlTools ;

5.验证结果 select * from etl-out;

猜你喜欢

转载自lakerhu.iteye.com/blog/2300176