1.YARN命令参考
- 概述
YARN命令通过二进制程序bin/yarn执行。不带参数直接运行,可以打印出所有命令的描述。
用法:yarn [SHELL_OPTIONS] COMMAND [GENERIC_OPTIONS] [SUB_COMMAND] [COMMAND_OPTIONS]
YARN has an option parsing framework that employs parsing generic options as well as running classes.【暂时不理解是什么意思】
- 用户命令
用户命令是为Hadoop集群的普通用户使用。
application or app
作用:Prints application(s) report/kill application/manage long running application
用法:Usage:yarn application [options] Usage:yarn app [options]
-appId <ApplicationId>
-appStates <States>:应用的状态有:ALL,NEW,NEW_SAVING,SUBMITED,ACCEPTED,RUNNING,FINISHED,FAILED。
-changeQueue <Queue Name>:改变应用队列,'movetoqueue'已经废弃。
-component <Component Name> <Count>:改变一个应用或者长期运行服务的组件或者容器的数量,可以用绝对或者相对形式表示。
-destroy <Application Name or ID>:销毁一个保存的应用规格说明并且永久移除所有的应用数据。
-kill <Application ID>:kill掉应用,可以是用空白隔开的多个应用。
-launch <Application Name> <File Name>:从规格文件运行应用。
-list:列出应用。
-queue <Queue Name>:跟changeQueue配置使用改变一个应用的队列。
-save <Application Name> <File Name>:保存一个应用的规格文件。
-start <Application Name>:启动一个之前保存的应用。
-status <ApplicationId or ApplicationName>:打印应用的状态。
-stop <ApplicationId or ApplicationId>:平滑地停止应用。
-updateLifetime <Timeout>:修改应用的超时时间。
-updatePriority <Priority>:修改应用的优先级。
applicationattempt
作用:prints applicationattempt(s) report
用法:Usage:yarn applicationattempt [options]
-list <ApplicationId>: 列出给定的应用的attempts
-status <Application Attempt Id>:打印应用的attempt的状态。
classpath
作用:打印出类路径。
用法:Usage:yarn classpath [--glob --jar <path> | -h | --help]
container
作用:打印容器报告
用法:Usage:yarn container [options]
-list <Application Attempt Id>:列出应用attempt的容器。
-status <ContainerId>:打印容器状态。
jar
作用:运行一个jar文件。
用法:Usage:yarn jar <jar> [mainClass] args ...
logs
作用:Dump 容器日志
用法:Usage:yarn logs -applicationId <application ID> [options]
-applicationId <application ID>
-appOwner <AppOwner>: AppOwner,如果不指定,则为当前用户。
-containerId <ContainerId>:如果节点地址被指定,则必须指定ContainerId
-nodeAddress <NodeAddress>:如果ContainerId被指定,则必须指定nodeAddress,格式为:nodename:port
node
作用:打印节点报告
用法:Usage:yarn node [options]
-all
-list :列出所有运行的节点。
-states <States>
-status <NodeId>:打印节点状态。
queue
作用:打印队列信息
用法:Usage:yarn queue [options]
-status <QueueName>:打印队列状态。
version
作用:打印Hadoop 版本
envvars
作用:打印Hadoop环境变量
- 管理命令
管理命令是为Hadoop集群的管理员用户使用。
daemonlog
作用:获取或者设置日志级别。
nodemanager
作用:启动NodeManager
用法:Usage:yarn nodemanager
proxyserver
作用:启动web代理服务
用法:Usage:yarn proxyserver
resourcemanager
作用:启动ResourceManager
用法:Usage:yarn resourcemanager [-format-state-store]
rmadmin
作用:运行资源管理器管理客户端
用法:Usage:yarn rmadmin
-refreshQueues:重载队列的acls,states和特定属性。资源管理器会重载mapred-queues配置文件。
-refreshNodes[ -g | graceful [timeout in seconds] -client|server ]:刷新在资源管理器里的主机信息。
-refreshNodeResources:刷新在资源管理器中的节点管理器的资源。
-refreshSuperUserGroupsConfiguration:刷新超级用户代理组映射。
-refreshUserToGroupsMappings:刷新user-to-group映射。
-refreshAdminAcls:刷新资源管理器的管理acl。
-refreshServiceAcl:重载服务级别授权策略文件。
-addToClusterNodeLabels<"label1(exclusive=true),label2(exclusive=false)">:添加到集群节点标签。默认是true
-removeFromClusterNodeLabels<label1,label2>:从集群标签移除。
-replaceLabelsOnNode <"node1[:port]=label1,label2 node2[:port]=label1,label2"> [-failOnUnknownNodes]:替换节点标签,目前不支持在单个主机上指定多个标签。
-directlyAccessNodeLableStore:已经废弃,未来会移除。如果你配置了yarn.node-labels.fs-store.root-dir到一个本地目录,而不是分布式目录,则此命令只能在资源管理器节点上运行。
-refreshClusterMaxPriority:刷新集群最大优先级。
-updateNodeResource [NodeID] [MemSize] [vCores] ([OvercommitTimeout]):更新指定的节点资源。
-updateNodeResource [NodeID] [ResourceTypes]([OvercommitTimeout]):更新指定的节点上的资源类型。资源类型是逗号分隔的键值对,例如:memory-mb=1024M,vcores=1,resource1=2G,resource2=4m,resource1=2G,resource2=4m
-transitionToActive [-forceactive] [-forcemanual] <serviceId>:转换服务为激活状态。
-transitionToStandby [-forceactive] [-forcemanual] <serviceId>:转换服务为备用状态。
-failover [-forceactive] <serviceId1> <serviceId2> :启动一个失效备援从服务1到服务2。
-getServiceState <serviceId>:返回服务的状态。
-getAllServiceState:返回所有服务的状态。
-checkHealth <serviceId>:请求服务之星健康检查。如果检查失败,RMAdmin 工具会返回一个非0返回码。
schedulerconf
作用:更新调度器配置文件,此功能为alpha阶段,随后会改变。
用法:Usage:yarn schedulerconf [options]
-add <"queuePath1:key1=val1,key2=val2;queuePath2:key3=val3">: 添加分号分隔的队列配置。
-remove <"queuePath1;queuePath2">:移除队列,队列必须为STOPED状态,才能被删除。
-update<"queuePath1:key1=val1,key2=val2;queuePath2:key3=val3">:更新队列配置。
-global <key1=val1,key2=val2>:更新调度器全局配置。
scmadmin
作用:运行分片缓存管理器管理客户端
用法:Usage:yarn scmadmin [options]
-runCleanerTask:运行清理任务。
sharedcachemanager
作用:启动分片缓存管理器。
用法:Usage:yarn shardcachemanager
timelineserver
作用:启动TimeLineServer
用法:Usage timelineserver
registrydns
作用:启动RegistryDNS服务
用法:Usage:yarn registrydns