cloudera hadoop CDH目录下Hadoop-streaming.jar等其他jar包的路径

背景

前面我是在自己的电脑上搭建分布式环境hadoop,做了一些实验,但是就今天下午上传了一个300多MB的文件,然后进行处理都非常的慢,估计没有几个小时是弄不完的。于是想起前面借用学校的一个集群,也折腾了一下,但是就是不知道他的目录结构,要找什么东西都找不到,是用cloudera进行管理和配置的,我想用hadoop-streaming-*jar来运行python脚本。于是网上百度,终于找到了!

正文

参考博客:
hadoop基础—-hadoop实战(十一)—–hadoop管理工具—CDH的目录结构了解
第一种:
ls /opt/cloudera/parcels/CDH/jars

可以看到:
hadoop-streaming-2.6.0-cdh5.12.0.jar
hadoop-streaming-2.6.0-mr1-cdh5.12.0.jar
应该就是它了!
第二种:
ls /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce

可以看到:
hadoop-streaming-2.6.0-cdh5.12.0.jar
hadoop-streaming.jar
其他资料:
Cloudera hadoop配置文件地址和修改配置属性方法
可以看到环境配置文件:
core-site.xml hadoop-env.sh hdfs-site.xml log4j.properties mapred-site.xml ssl-client.xml topology.map topology.py yarn-site.xml

猜你喜欢

转载自blog.csdn.net/zimojiang/article/details/80747340