Ambari 操作指南 (Ambari Operations) 之三

继 (Ambari 操作 (Ambari Operations) 之二 :      https://blog.csdn.net/devalone/article/details/80800262 )


6 管理配置 (Managing Configurations)

-----------------------------------------------------------------------------------------------------------------------------------------
可以通过调整配置设置和属性值来优化集群上的 Hadoop 组件的性能。也可以利用 Ambari Web 通过如下方法,来建立和管理配置分组及配置设置的版本:

    • Changing Configuration Settings
    • Manage Host Config Groups
    • Configuring Log Settings
    • Set Service Configuration Versions
    • Download Client Configuration Files



6.1 修改配置设置 (Changing Configuration Settings)
-----------------------------------------------------------------------------------------------------------------------------------------
可以通过每一个服务的 Configs 页面优化服务性能。Configs 页面包含几个选项卡,用于管理配置版本,分组,设置,属性和值。可以调整设置,称为
"Smart Configs" 在宏级别(macro-level) 进行控制,每个服务的内存分配。调整 Smart Configs 要求相关配置的设置修改整个集群范围。Ambari 提示检验
并确认所有建议的修改并重启相关服务。

步骤:
    ①    在 Ambari Web 中,在左侧的服务列表上单击服务名称
    ②    从服务的 Summary 页面,单击 Configs 选项卡,然后利用如下选项卡管理配置设置
        
        利用 Configs tab 管理配置版本和分组
        利用 Settings tab 管理 "Smart Configs", 通过调整绿色的滑动按钮
        利用 Advanced tab 编辑特殊配置属性和值

    ③    单击 Save



6.1.1 调整智能配置设置 (Adjust Smart Config Settings)
-----------------------------------------------------------------------------------------------------------------------------------------
利用 Settings tab 管理 "Smart Configs", 通过调整绿色滑动按钮

步骤:
    ① 在 Settings tab, 单击并拖拽绿色滑动按钮到理想值

    ② 编辑显示为 Override 选项的属性

    ③ 单击 Save



6.1.2 编辑特定属性 (Edit Specific Properties)
-----------------------------------------------------------------------------------------------------------------------------------------
利用每个服务 Configs 页面的 Advanced tab 访问影响该服务性能的属性组

步骤:
    ① 在服务的 Configs 页面,单击 Advanced
    
    ② 在 Configs Advanced 页面,展开类别
    
    ③ 编辑属性值

    ④ 单击 Save


6.1.3 检验并确认配置修改 (Review and Confirm Configuration Changes)
-----------------------------------------------------------------------------------------------------------------------------------------
当修改了一个配置属性值是,Ambari Stack Advisor 捕捉到修改,并建议修改受此修改影响的所有相关的配置属性。修改一个属性,一个 "Smart
Configuration", 以及其他动作,例如添加或删除一个服务、主机或 ZooKeeper server, 或迁移一个 master, 或者启用一个组件的高可用性,所有要求检验
(review)并确认相关配置的修改。例如,如果提升 YARN 的 Minimum Container Size (Memory), Dependent Configurations 列出所有建议的修改,对此必须
检验(review) 并(可选地)接受(accept)。

修改的类型突出显示为如下颜色:

    值修改                :黄色
    添加的属性             :绿色
    删除的属性             :红色

检验并确认配置属性修改

步骤:
    ①    在 Dependent Configurations, 对于每个列出的属性检验摘要信息
    ②    如果这个修改可以接受,继续检验列表中的下一条属性
    ③    如果这个修改不可接受,单击属性前边的蓝色复选框标记
        单击复选框标记会清除复选框,清除复选框的修改是没有确认的,并且也不会发生修改
    ④    检验所有列出的修改之后,单击 OK 以确认所有标记的修改会发生



6.1.4 重启组件 (Restart Components)
-----------------------------------------------------------------------------------------------------------------------------------------
编辑并保存配置修改之后,一个 Restart 指示器会出现在组件旁边要重启以利用更新的配置值

    ①    单击指示的 Components 或 Hosts 链接来查看有关请求重启的细节

    ②    单击 Restart 然后单击适宜的动作


    
6.2 管理主机配置分组 (Manage Host Config Groups)
-----------------------------------------------------------------------------------------------------------------------------------------
Ambari 初始将所有安装的服务分配集群上所有主机到一个默认的配置分组。例如,使用默认配置部署一个三个节点的集群,HDFS 服务的每个主机都属于一个
具有默认配置设置信息的配置组。

    ● 管理配置分组:
    
    ①    单击服务名称,然后单击 Configs
    
    ②    在 Configs 页面,单击 Manage Config Groups
    
    ● 要创建一个新配置组,重新分配主机,并覆盖主机组件的默认设置,可以利用 Manage Configuration Groups 控件:

    ①    在 Manage Config Groups 中, 单击 Create New Configuration Group 的 + 符号按钮
    ②    命名并描述配置组的名称,然后选择 OK
    
    
    ● 向新的配置组中添加主机
    
    ①    在 Manage Config Groups 中,单击配置组名称
    ②    单击 Add Hosts to selected Configuration Group + 符号按钮
    ③    利用 Select Configuration Group Hosts, 单击 Components, 然后从列表中单击一个组件名称
        
        选取一个组件过滤主机列表,只有所选服务组件存在的主机会列出。要进一步过滤可用主机名称列表,可以利用 Filter 的下拉列表。默认情况系,
        主机列表通过 IP 地址过滤
        
    ④    过滤主机列表之后,单击每个要包含进配置分组主机的复选框
    
    ⑤    单击 OK
    
    ⑥    在 Manage Configuration Groups 中,单击 Save


    ● 编辑配置分组设置

    ①    在 Configs, 单击组名称
    ②    单击一个 Config Group, 展开组件找到允许 Override 的设置
    ③    提供一个默认值,然后单击 Override 或 Save
        配置组强制配置属性允许覆盖,取决于所选服务和组安装的组件
    
    ④    Override 提示选取如下选项之一:
        
        a. 或者单击一个已存在配置组的名称,属性值被第三步提供的值覆盖
        b. 或者创建一个新的配置组,包含默认值,加上被第三步提供的值覆盖的值
        c. 单击 OK.

    ⑤    单击 Save



6.3 配置日志设置 (Configuring Log Settings)
-----------------------------------------------------------------------------------------------------------------------------------------
Ambari 利用 Log4j properties 属性集控制 Hadoop 集群上运行的每一个服务的日志活动。最初,每个属性的默认值在 <service_name>-log4j template
模板文件中。Log4j 的属性和值限制了日志文件的大小和日志文件备份的数量,每个服务会超过 log4j 模板文件的设置。要访问每个服务默认的 Log4j 设置,
在 Ambari Web 中,浏览到 <Service_name> > Configs > Advanced <service_name>-log4j

    ● 修改一个服务的日志文件大小和备份数量:
    
    ①     编辑 <service_name> backup file size 以及 <service_name> # of backup files 属性值

    ②     单击 Save

    ● 自定义一个服务的 Log4j 设置:
    
    ①    在 <service_name> log4j template 中编辑属性
    ②    复制 log4j 模板文件内容
    ③    浏览到 custom <service_name>log4j 属性组
    ④    将复制到内容粘贴到 custom <service_name>log4j properties, 覆盖掉默认掉内容
    ⑤    单击 Save
    ⑥    提示时,检验并确认建议的配置修改
    ⑦    如果提示,重启受影响的服务
    
    重启服务中的组件会推送显示在 Custom log4j.properites 中的配置属性到每一部运行该服务组件的主机。

    如果自定义了日志属性,定义每个服务怎样的活动记入日志,需要刷新每个服务名称前的指示器。确保显示在 Custom logj4.properties 中的日志属性
    包含自定义信息。
    
    可选地,可以创建配置组来包含自定义日志属性。
    
    
6.4 设置服务配置版本 (Set Service Configuration Versions)
-----------------------------------------------------------------------------------------------------------------------------------------
Ambari 可以管理配置相关的服务。可以修改配置信息,查看修改历史,比较并恢复修改,以及推送配置变化到集群主机



6.4.1 基本概念 (Basic Concepts)
-----------------------------------------------------------------------------------------------------------------------------------------
理解 Ambari 中服务配置如何组织和存储非常重要。属性分组成配置类型,一系列配置类型组成了一个服务的配置集。

例如, Hadoop Distributed File System (HDFS) 服务包括 hdfs-site, coresite, hdfs-log4j, hadoop-env, and hadoop-policy 配置类型。如果浏览到
Services > HDFS > Configs, 可以编辑这些配置类型的配置属性。

Ambari 在服务级别执行配置版本化。因此,当在一个服务上修改一个配置属性时,Ambari 创建一个服务配置版本。



6.4.2 术语 (Terminology)
-----------------------------------------------------------------------------------------------------------------------------------------
配置属性(configuration property)        : 配置属性由 Ambari 管理,例如 NameNode 堆大小和复制因子
配置类型(configuration type, config type): 配置属性的组,例如,hdfs-site
服务配置(service configurations)        : 特定服务的配置类型集,例如,hdfs-site 和 core-site 作为 HDFS 服务配置的一部分
修改注释(change notes)                    :作为服务配置修改可选的注释
服务配置版本(service config version, SCV)    : 特定服务的一个配置版本
主机配置组(host config group, HCG)        : 一系列配置属性应用到一个特定的主机集合


6.4.3 保存修改 (Saving a Change)
-----------------------------------------------------------------------------------------------------------------------------------------
    ①    在 Configs, 修改某一配置属性的值
    ②    选择 Save
    ③    可选地,输入描述修改地注释
    ④    单机 Cancel 继续编辑,单击 Discard 保持控件没有任何修改,或者单击 Save 确认修改



6.4.4 查看历史 (Viewing History)
-----------------------------------------------------------------------------------------------------------------------------------------
Ambari Web 中,可以在两个位置查看配置变化历史:Dashboard 页面的 Config History tab, 和每个服务页面的 Configs tab

Dashboard > Config History tab 页面显示一个所有服务所有版本的表格,每个版本的号码和创建的时间日期。也可以看到是哪个用户修改的配置,以及修改
的注释。使用这个表格,可以过滤,排序,以及搜索版本。

Service > Configs tab 页面只显示最近配置的修改,当然也可以使用版本滚动条查看更早版本。利用这个选项卡可以快速访问服务最近的配置修改

利用这个视图,可以单击滚动条内的任何版本来查看,也可以将鼠标指针悬停在版本上以显示一个选项菜单,可以进行版本比较和执行恢复操作,可以选定
任何一个最为当前版本。


6.4.5 比较版本 (Comparing Versions)
-----------------------------------------------------------------------------------------------------------------------------------------
当在 Services > Configs tab 页面浏览版本滚动时,可以将鼠标指针悬停在版本上显示 view, compare, or revert (make current) 选项。

比较两个服务配置版本:

    ①    导航到某个配置版本,如 V6
    ②    利用版本滚动条,找到要与 V6 进行比较到版本,利润 V2
    ③    将鼠标指针悬停在 V2 上显示选项菜单,然后单击 Compare.

Ambari 显示 V6 和 V2 的比较,伴随一个 revert to V2 ((Make V2 Current) 的选项。Ambari 也在 Filter 控件新,通过 Changed properties 过滤显示



6.4.6 恢复修改 (Reverting a Change)
-----------------------------------------------------------------------------------------------------------------------------------------
通过 Make Current 特性可以恢复到一个旧的服务配置版本。Make Current 从选择恢复的版本上,创建一个新的服务配置版本,效果上,相当于一个克隆

启动 Make Current 操作后,在 Make Current Confirmation 提示上,输入注释并保存(Make Current)

有多种方法可以恢复到一个之前的配置版本:

    ● 查看一个特定的版本,然后单击 Make V* Current:
    ● 使用版本导航,然后单击 Make Current
    ● 将鼠标指针悬停到版本滚动条中到一个版本,然后单击 Make Current
    ● 执行版本比较,然后单击 Make V* Current



6.4.7 主机配置组 (Host Config Groups)
-----------------------------------------------------------------------------------------------------------------------------------------
服务配置版本作用域范围是到一个主机配置组。例如,在默认组中的修改可以在那个配置组中被比较和恢复,自定义组中也应用同样的方式。








6.5 下载客户端配置文件 (Download Client Configuration Files)
-----------------------------------------------------------------------------------------------------------------------------------------
客户端配置文件包括:.xml 文件, env-sh 脚本, 以及 log4j 属性用于配置 Hadoop 服务。对于包括客户端组件的服务(大多数服务,除了 SmartSense 和
Ambari Metrics 服务),可以下载与那个服务相关联的客户端配置文件。也可以下载整个集群的客户端配置文件作为一个存档文件。

● 为单一服务下载客户端配置文件:

步骤:
    ①    在 Ambari Web 中,浏览到想要配置到服务
    ②    单击 Service Actions
    ③    单击 Download Client Configs
        
    浏览器下载一个 "tarball" 存档文件只包含选定服务的客户端配置文件到浏览器默认的,本地下载目录
    
    ④    如果提示保存或打开客户端配置文件    
    ⑤    单击 Save File, 然后单击 OK
    
● 要为整个集群下载所有客户端配置文件

    ①    在 Ambari Web, 在服务列表底部单击 Actions
    ②    单击 Download Client Configs

    浏览器下载一个 "tarball" 存档文件包含集群所有客户端配置文件到浏览器默认的,本地下载目录



7 管理集群 (Administering the Cluster)
-----------------------------------------------------------------------------------------------------------------------------------------
利用 Ambari Web Admin 选项:

任何用户(any user)                    : 可以查看有关安装栈和加入其中的每个服务版本的信息

集群管理员(Cluster administrators)    : 能够
                                    • 启用 Kerberos 安全性
                                    • 重新生成 key tabs
                                    • 查看服务用户帐号的名称和值
                                    • 启用服务的自动启动

Ambari administrators                :能够
                                    • 添加新服务到安装栈
                                    • 升级安装栈到一个新的版本            




7.1 利用安装栈和版本信息 (Using Stack and Versions Information)
-----------------------------------------------------------------------------------------------------------------------------------------
Stack tab 包含有关集群栈中已安装和可用的服务。任何用户都可以浏览服务列表。作为 Ambari 系统管理员,可以单击 Add Service 来启动向导来安装
服务到集群中。

Versions tab 包含有关哪个版本的软件当前已安装并运行在集群中的信息。作为集群管理员,可以在此页启动一次自动集群更新。



7.2 查看服务账号 (Viewing Service Accounts)
-----------------------------------------------------------------------------------------------------------------------------------------
作为集群管理员,可以查看集群服务的服务用户和用户组账号列表。

在 Ambari Web UI > Admin, 单击 Service Accounts



7.3 启用 Kerberos 和重新生成 Keytabs (Enabling Kerberos and Regenerating Keytabs)
-----------------------------------------------------------------------------------------------------------------------------------------
作为集群管理员,可以在集群上启用并管理 Kerberos 安全性。

前提准备:
    在集群上启用 Kerberos 之前,必须为集群做好准备,如下列新所描述:
    
    https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.5/bk_ambari-security/content/ch_configuring_amb_hdp_for_kerberos.html


步骤:
    在 Ambari web UI > Admin 菜单,单击 Enable Kerberos 启动 Kerberos 向导

Kerberos 启用之后,可以在 Ambari web UI > Admin 菜单,重新生成 key tabs 以及禁用 Kerberos


7.3.1 重新生成 Keytabs (Regenerate Key tabs)
-----------------------------------------------------------------------------------------------------------------------------------------
作为集群管理员,可以再生维护 Kerberos 安全性要求的 key tabs


前提准备:
    再生 key tabs 之前:

    ● 集群必须 Kerberos-enabled
    ● 必须有 KDC Admin 凭证

步骤:
    ①    浏览到 Admin > Kerberos
    ②    单击 Regenerate Kerberos.
    ③    确认选择
    ④    Ambari 连接到 Kerberos Key Distribution Center (KDC) 并为服务和集群到 Ambari 负责人再生 key tabs. 可选地,可以只为那些丢失连 key
        tab 的主机生成 key tab, 例如,为那些在 Ambari 启用 Kerberos 时不在线或不可用的主机再生。
    
    ⑤    重启所有服务
    
    
7.3.2 禁用 Kerberos (Disable Kerberos)
-----------------------------------------------------------------------------------------------------------------------------------------
作为集群管理员,可以在集群上禁用 Kerberos

前提:
    禁用 Kerberos 安全性之前,集群必须已经是 Kerberos-enabled
    
步骤:
    ①    浏览到 Admin > Kerberos
    ②    单击 Disable Kerberos
    ③    确认选择
        集群服务停止,并且 Ambari Kerberos 安全性设置重置
    
    ④  要重新启用 Kerberos, 单击 Enable Kerberos 并跟随向导
    
    
    
7.4 启用服务自动启动 (Enable Service Auto-Start)
-----------------------------------------------------------------------------------------------------------------------------------------    
作为集群管理员或集群操作员,可以启用安装栈内每一个服务自动重启。一个服务启用了 auto-start 会使 ambari-agent 不需要用户手工作用重新启动
停止状态的服务组件。auto-start 服务默认是启用的,但只有 Ambari Metrics Collector 组件默认设置为 auto-start。

作为第一步,应该在核心 Hadoop 服务的工作节点上启用 auto-start, 例如 YARN 和 HDFS 的 DataNode 以 NameNode 组件。 也应该在 SmartSense 服务中
为所有组件启用 auto-start. 启用 auto-start 之后,在 Ambari Web 表盘中监控服务的操作状态。Auto-start 不会尝试显示为后台操作。诊断服务组件的
失败启动,检查 ambari agent 的日志文件,位于组件主机的 /var/log/ambari-agent.log
    
管理一个服务的组件 auto-start 状态

步骤:
    ①    在 Auto-Start Services 上,单击一个服务名称
        
    ②    在 Auto-Start Services 控件的至少一个组件,单击灰色区域,使其状态变为 Enabled
    
        服务名称右侧的绿色图标指示该服务启用了 auto-start 的组件的百分比
        
    ③    要启用服务的所有组件为 auto-start, 单击 Enable All
    
        绿色图标填满指示该服务的所有组件启用了 auto-start
        
    ④    要禁用服务所有组件的 auto-start, 单击 Disable All
    
        绿色图标清空指示该服务的所有组件禁用了 auto-start
        
    ⑤    要清除所有未定的状态改变,在保存它们之前,单击 Discard
    
    ⑥    结束修改 auto-start 状态设置时,单击 Save.
    
禁用服务当 auto-start :
    
    ①    在 Ambari Web, 单击 Admin > Service Auto-Start
    ②    在 Service Auto Start Configuration 中, 在 Auto-Start Services 控件上,单击灰色区域,使其状态由 Enabled 变为 Disabled

    ③    单击 Save


参考:

        Ambari 操作 (Ambari Operations) 之一

扫描二维码关注公众号,回复: 1926307 查看本文章

        Ambari 操作 (Ambari Operations) 之二

        Ambari 操作 (Ambari Operations) 之三

        Ambari 操作 (Ambari Operations) 之四

        Ambari 操作 (Ambari Operations) 之五

        Ambari 操作 (Ambari Operations) 之六



猜你喜欢

转载自blog.csdn.net/devalone/article/details/80813176
今日推荐