版权声明：该版权归博主个人所有,在非商用的前提下可自由使用,转载请注明出处. https://blog.csdn.net/qq_24696571/article/details/85808293
- ZooKeeper是一个分布式的应用程序协调服务
- ZooKeeper是Hadoop和Hbase的重要组件,Hbase和ZooKeeper之间具有强依赖的关系.
- ZooKeeper为分布式应用提供一致性服务,它的功能包括:配置维护/域名服务/分布式同步/组服务和分布式锁的服务等.
- ZooKeeper角色图
- 各服务器和Leader发生数据交换,Leader保证集群的数据同步
- Follower和Leader可以选举Leader
- Leader(领导者)负责投票和决定
- Flower(跟随者)负责将请求转发给leader,返回结果,参与投票
- ObServer(观察者)负责将请求转发leader,ObSserver不参与投票,只数据同步,定位是扩展系统弄和提高读取速度
- ZooKeeper的特点
数据一致
可靠:消息备一台服务器接受,就被其他所有服务器接受
独立性:服务器间互不干预
实时性,客户端得到的数据不一定是最新的,用sync接口可以获得最新数据
独立性
原子性,请求如果不成功就失败,没有中间转台
顺序性,服务器发布消息的顺序一致
- YARN资源管理任务调度流程
-
- 客户端提交一个任务或者请求或者操作给yarn的ResourceManager资源管理,ResourceManager掌握整个集群的资源
- ResourceManager会根据它掌握的信息,随机找一台DateNode启动ApplicationMater进行任务调度.
- ApplicationMaster启动后,开始任务调度,向ResourceManager请求资源,用来启动进程(Executor),执行任务
- ResourceManager将任务的资源信息返回给ApplicationMaster
- ApplicationMaster获得资源信息 , 去执行任务.去指定的DateNode启动进程,然后对应的资源返回给客户端