Hadoop集群搭建过程中遇到的问题

1.    要先搭建zookeeper 在再搭建hbase   而且搭建hbase的时候  

     hbase_env.sh   里面的    HBASE_MANAGES_ZK=false 不能等于true ,因为hbase本身自带zookeeper，所以要把hbase里面的zookeeper关掉，，，才可以。

2.    在一些配置conf里，有的有两个     bin    sbin        所以在配置环境变量的时候要写全！！！

               export SPARK_HOME=/usr/local/spark
               export PATH=$PATH:$SPARK_HOME/sbin:$SPARK_HOME/bin

3.   配置spark:   这是个大活！

你会看到这样的报错：

    at io.netty.channel.AbstractChannelHandlerContext$WriteAndFlushTask.write(AbstractChannelHandlerContext.java:1116)
    at io.netty.channel.AbstractChannelHandlerContext$AbstractWriteTask.run(AbstractChannelHandlerContext.java:1051)
    at io.netty.util.concurrent.SingleThreadEventExecutor.runAllTasks(SingleThreadEventExecutor.java:399)

就是各种    at    ,不要惊慌，这是python找库，，，，他找不到库就报这样的错误

q首先确定Java版本，，，#Java  -version     #javac   -version     是否一样

不一样：https://blog.csdn.net/Vast_Wang/article/details/81249038

再就是        先运行pyspark      要是报错    一般是  找不到本地库：  要确定   anaconda（或者是其他库）再每个节点上都安装了，，环境变量也都配置了       

再运行     HADOOP_CONF_DIR=/usr/local/bd/hadoop/etc/hadoop pyspark --master yarn --deploy-mode client

要是报错    ，再要是这个错  ：

18/08/09 16:02:46 ERROR cluster.YarnSchedulerBackend$YarnSchedulerEndpoint:

Sending RequestExecutors(0,0,Map(),Set()) to AM was unsuccessful

java.io.IOException:Failed tosend RPC 8631251511338434358 to

java.nio.channels.ClosedChannelException

解决办法是   

修改yarn-site.xml，添加下列property
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>

一定要确保每个节点   都修改   了，，，，，关闭集群，，，启动集群，，，启动spark

最后这样就是成功了！