hadoop问题总结:hive load写入数据很慢

1.hadoop fs -Ddfs.replication=1 -put   file.txt /tmp/a.txt  这个速度很快.
因为一个副本是写本地硬盘的.硬盘排除了
2.网卡坏了
http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html

vmstat 1 检测内存,io,cpu

set mapred.reduce.slowstart.completed.maps=0.9  ;

jps -m
30688 Child 127.0.0.1 54561 attempt_201409281524_0001_r_000025_1
r代表reduce,m代表map。
基本上 8核心cpu  配6个硬盘比较好.   除去两核心来运行系统和datanode TaskTracker

剩下6个线程  对应 6个硬盘 比较靠谱.

hadoop balancer -threshold 5

http://slave05:50060/tasklog?attemptid=attempt_201409291605_2544_r_000012_0&all=true

猜你喜欢

转载自serisboy.iteye.com/blog/2071405
今日推荐