sqoop从HDFS导出数据到Mysql,卡在Running job: job_1571036741208_0010不动了,或者map 100% reduce 0%不动了

用sqoop从HDFS导出数据到mysql,一直卡在Running job: job_1571036741208_0010,应该是内存太小,导致速度太慢

yarn-site-xml中增加下面两个,然后分发给各个节点,再重启yarn即可

<property>  
     <name>yarn.nodemanager.resource.memory-mb</name>  
     <value>20480</value>  
     <discription>每个节点可用内存,单位MB</discription>
 </property>  
 <property>  
    <name>yarn.scheduler.minimum-allocation-mb</name>  
    <value>2048</value>  
    <discription>单个任务可申请最少内存,默认1024MB</discription>  
 </property>  

到map 100% reduce 0%不动了

内存大了以后,这里应该是数据有问题,要不然就是建表有问题,就是数据和表结构或编码冲突
长度溢出:导入的数据超过mysql表的字段长度
主键重复 :因为数据中有重复的主键的值(主键不能重复)

发布了83 篇原创文章 · 获赞 61 · 访问量 9190

猜你喜欢

转载自blog.csdn.net/weixin_43736084/article/details/102550464
今日推荐