B05 - 004、Hadoop基本命令初体验

0、本章学习目录大纲 - Hadoop初体验

初学耗时：0.5h

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

一、HDFS
  1.1  创建文件夹。
  1.2  上传文件。

二、MapReduce
    2.1  查找系统自带的jar包。
    2.2  圆周率计算。
    2.3  单词统计。

---

 ギ 舒适区ゾ || ♂ 累觉无爱 ♀

一、HDFS

  1.1 ~  创建文件夹。

# 老版命令
hadoop fs -mkdir -p /test/old

# 新版命令
hdfs dfs -mkdir -p /test/new

zrk691101:50070

  1.2 ~  上传文件。

hdfs fs -put /root/install.log /test/new

演讲有什么好怕的，不讲不就行了？

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

二、MapReduce

  2.1 ~  查找系统自带的jar包。

  2.2 ~  圆周率计算。

    2.2.1 .  分配map为2，reduce为5。【绝对路径】

hadoop jar /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar pi 2 5

  2.3 ~ 单词统计。

    2.3.1 .  编辑文件。

vim input.txt

hello hadoop
spark habase
kafa hive
hive
hadoop hive
hive spark

    2.3.2 .  运行。【相对路径】

cd /export/servers/hadoop-2.6.0-cdh5.14.0/share/hadoop/mapreduce

hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.14.0.jar wordcount /wordcount/input /wordcount/output2

  2.4 ~ 登录查询mapreduce历史记录。

zrk691101:8088

演讲有什么好怕的，不讲不就行了？

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

＾ 至此，Hadoop基本命令初体验完成。

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

※ 世间诱惑何其多，坚定始终不动摇。

以下措施中，不可能改进分布式系统读写(IO)性能的有____。

…
A、网络从千兆网升级为万兆网。
B、优化调度系统，尽量做到任务与数据相近（Locality）。
C、数据预取机制。
D、实现异步读写机制。
…
D

演讲有什么好怕的，不讲不就行了？

- - - - - - - - - - - - - - - - - - - - - - - - - - - -

注：CSDN手机端暂不支持章节内链跳转，但外链可用，更好体验还请上电脑端。

我知道我的不足，我也知道你的挑剔，但我就是我，不一样的烟火，谢谢你的指指点点，造就了我的点点滴滴：）！

演讲有什么好怕的，不讲不就行了？