上一篇：CAT跨语言服务链监控（四）服务端消息分发 下一篇：CAT跨语言服务链监控（六）消息分析器与报表(一)
CAT配置
在CAT中，有非常多的配置去指导监控的行为，每个配置都有相应的配置管理类来管理，都有一个配置名， 配置在数据库或者配置文件中都是以xml格式存储，在运行时会被解析到具体实体类存储。我们选取一个配置的初始化代码来分析：
public class ServerFilterConfigManager implements Initializable {
@Inject
protected ConfigDao m_configDao;
private volatile ServerFilterConfig m_config;
private static final String CONFIG_NAME = "serverFilter";
@Override
public void initialize() throws InitializationException {
try {
Config config = m_configDao.findByName(CONFIG_NAME, ConfigEntity.READSET_FULL);
String content = config.getContent();
m_configId = config.getId();
m_modifyTime = config.getModifyDate().getTime();
m_config = DefaultSaxParser.parse(content);
} catch (DalNotFoundException e) {
try {
String content = m_fetcher.getConfigContent(CONFIG_NAME);
Config config = m_configDao.createLocal();
config.setName(CONFIG_NAME);
config.setContent(content);
m_configDao.insert(config);
m_configId = config.getId();
m_config = DefaultSaxParser.parse(content);
} catch (Exception ex) {
Cat.logError(ex);
}
} catch (Exception e) {
Cat.logError(e);
}
if (m_config == null) {
m_config = new ServerFilterConfig();
}
Threads.forGroup("cat").start(new ConfigReloadTask());
}
}以上代码是serverFilter配置的初始化逻辑，该配置的管理类是ServerFilterConfigManager，可以看到他实现了Initializable接口，所以，在ServerFilterConfigManager被plexus容器实例化之后，就会调用initialize()做一些初始化的工作，咱们看看他的初始化逻辑。
1、他首先读取cat数据库的config表，如果根据配置名 CONFIG_NAME 找到相关的配置信息。
2、如果 config 表中存在配置信息，则通过 DefaultSaxParser.parse(content) 方法解析xml配置信息，并将解析后的配置信息写入实体对象ServerFilterConfig m_config，我们的xml配置文件必须遵守CAT的解析规则，他们才会被正确的解析成对应的XxxConfig对象，具体配置规则大家在有需要的时候一步步摸索。
3、如果 config 表中不存在配置信息，就会去读取默认 xml 文件， 解析后写入到数据库和实体对象，下次再初始化的时候就是直接从数据库读取了，xml一般存在于cat-core/src/main/resources/config/ 和 cat-home/src/main/resources/config/ 两个目录。
4、其中有两个配置 serverFilter 和 aggreationConfig， 开启了检查更新线程，线程每隔1分钟检查配置是否更新，有更新就重新加载配置。
5、server.xml 配置文件的目录是由环境变量 CAT_HOME指定的，由CatHomeModule在setup安装的时候初始化。
我们来列一列cat有哪些配置
| 配置名 | 配置管理类 | 实体类 | 配置文件cat-xxxx/src/main/resources/config/*.xml | 用途 |
| ServerConfigManager | ServerConfigManager | ServerConfig | 环境变量 CAT_HOME/server.xml | 未知 |
| serverFilter | ServerFilterConfigManager | ServerFilterConfig | cat-core/..../serverFilter.xml | 未知 |
| all-report-config | AllReportConfigManager | AllConfig | cat-home/..../all-report-config.xml | 未知 |
| metricProductLine | ProductLineConfigManager | ProductLineConfig | cat-home/..../metricProductLine.xml | 未知 |
| userProductLine | ProductLineConfigManager | ProductLineConfig | cat-home/..../userProductLine.xml | 未知 |
| applicationProductLine | ProductLineConfigManager | ProductLineConfig | cat-home/..../applicationProductLine.xml | 未知 |
| networkProductLine | ProductLineConfigManager | ProductLineConfig | cat-home/..../networkProductLine.xml | 未知 |
| systemProductLine | ProductLineConfigManager | ProductLineConfig | cat-home/..../systemProductLine.xml | 未知 |
| databaseProductLine | ProductLineConfigManager | ProductLineConfig | cat-home/..../databaseProductLine.xml | 未知 |
| cdnProductLine | ProductLineConfigManager | ProductLineConfig | cat-home/..../cdnProductLine.xml | 未知 |
| metricConfig | MetricConfigManager | MetricConfig | cat-home/..../metricConfig.xml | 未知 |
| blackList | BlackListManager | BlackList | cat-home/..../blackList.xml | 未知 |
| routerConfig | RouterConfigManager | RouterConfig | cat-home/..../routerConfig.xml | 未知 |
| domainGroup | DomainGroupConfigManager | DomainGroup | cat-home/..../domainGroup.xml | 未知 |
| heartbeat-display-policy | HeartbeatDisplayPolicyManager | HeartbeatDisplayPolicy | cat-home/..../heartbeat-display-policy.xml | 未知 |
| topologyConfig | TopologyGraphConfigManager | TopologyGraphConfig | cat-home/..../topologyConfig.xml | 未知 |
| topoGraphFormat | TopoGraphFormatConfigManager | TopoGraphFormatConfig | cat-home/..../topoGraphFormat.xml | 未知 |
| bugConfig | BugConfigManager | BugConfig | cat-home/..../bugConfig.xml | 未知 |
| senderConfig | SenderConfigManager | SenderConfig | cat-home/..../senderConfig.xml | 未知 |
| netGraphConfig | NetGraphConfigManager | NetGraphSet | cat-home/..../netGraphConfig.xml | 未知 |
| url-pattern | UrlPatternConfigManager | UrlPattern | cat-home/..../url-pattern.xml | 未知 |
| app-config | AppConfigManager | AppConfig | cat-home/..../appConfig.xml | 未知 |
| app-speed-config | AppSpeedConfigManager | AppSpeedConfig | cat-home/..../app-speed-config.xml | 未知 |
| appRule | AppRuleConfigManager | MonitorRules | cat-home/..../appRule.xml | 未知 |
| storageGroup | StorageGroupConfigManager | StorageGroupConfig | cat-home/..../storageGroup.xml | 未知 |
| activityConfig | ActivityConfigManager | ActivityConfig | cat-home/..../activityConfig.xml | 未知 |
| exceptionRuleConfig | ExceptionRuleConfigManager | ExceptionRuleConfig | cat-home/..../exceptionRuleConfig.xml | 未知 |
| thirdPartyConfig | ThirdPartyConfigManager | ThirdPartyConfig | cat-home/..../thirdPartyConfig.xml | 未知 |
| aggreationConfig | AggregationConfigManager | Aggregation | cat-home/..../aggreationConfig.xml | 未知 |
| webRule | WebRuleConfigManager | MonitorRules | cat-home/..../webRule.xml | 未知 |
| businessRuleConfig | BusinessRuleConfigManager | MonitorRules | cat-home/..../businessRuleConfig.xml | 未知 |
| networkRuleConfig | NetworkRuleConfigManager | MonitorRules | cat-home/..../networkRuleConfig.xml | 未知 |
| databaseRuleConfig | DatabaseRuleConfigManager | MonitorRules | cat-home/..../databaseRuleConfig.xml | 未知 |
| systemRuleConfig | SystemRuleConfigManager | MonitorRules | cat-home/..../systemRuleConfig.xml | 未知 |
| heartbeatRuleConfig | HeartbeatRuleConfigManager | MonitorRules | cat-home/..../heartbeatRuleConfig.xml | 未知 |
| appComparisonConfig | AppComparisonConfigManager | AppComparisonConfig | cat-home/..../appComparisonConfig.xml | 未知 |
| app-command-format-config | CommandFormatConfigManager | CommandFormat | cat-home/..../app-command-format-config.xml | 未知 |
| alertConfig | AlertConfigManager | AlertConfig | cat-home/..../alertconfig.xml | 未知 |
| alertPolicy | AlertPolicyManager | AlertPolicy | cat-home/..../alertPolicy.xml | 未知 |
| transactionRule | TransactionRuleConfigManager | MonitorRules | cat-home/..../transactionRule.xml | 未知 |
| eventRule | EventRuleConfigManager | MonitorRules | cat-home/..../eventRule.xml | 未知 |
| storageSQLRule | StorageRuleConfigManager | MonitorRules | cat-home/..../storageSQLRule.xml | 未知 |
| storageCacheRule | StorageRuleConfigManager | MonitorRules | cat-home/..../storageCacheRule.xml | 未知 |
代码自动生成
上一节 ServerFilterConfigManager 类代码中的配置实体ServerFilterConfig的定义为 public class ServerFilterConfig extends BaseEntity<ServerFilterConfig>，所有的实体类都继承自BaseEntity<T>，这些实体类代码不是自己写的，而是通过插件生成的，插件在cat-home/pom.xml，cat-core/pom.xml，cat-consumer/pom.xml 中都会有定义，用以添加需要的实体，包括后面数据库的操作相关的实体，也是通过类似方式生成，这有点类似mybatis的数据库表对象生成器generator，我们来看看cat-core中的一个插件的定义：
<plugins>
<plugin>
<groupId>org.unidal.maven.plugins</groupId>
<artifactId>codegen-maven-plugin</artifactId>
<executions>
<execution>
<id>generate data model</id>
<phase>generate-sources</phase>
<goals>
<goal>dal-model</goal>
</goals>
<configuration>
<manifest>${basedir}/src/main/resources/META-INF/dal/model/server-manifest.xml,
${basedir}/src/main/resources/META-INF/dal/model/command-format-manifest.xml,
...
${basedir}/src/main/resources/META-INF/dal/model/server-filter-config-manifest.xml,
</manifest>
</configuration>
</execution>
<execution>
<id>generate dal jdbc model</id>
<phase>generate-sources</phase>
<goals>
<goal>dal-jdbc</goal>
</goals>
<configuration>
<manifest>${basedir}/src/main/resources/META-INF/dal/jdbc/report-manifest.xml,
${basedir}/src/main/resources/META-INF/dal/jdbc/config-manifest.xml,
${basedir}/src/main/resources/META-INF/dal/jdbc/app-manifest.xml, <![CDATA[,
${basedir}/src/main/resources/META-INF/dal/jdbc/report-manifest.xml,
${basedir}/src/main/resources/META-INF/dal/jdbc/config-manifest.xml,
,]]></manifest>
</configuration>
</execution>
</executions>
</plugin>
<plugins>插件在pom.xml中定义后，会在Maven Projects功能中展现出来，如图5：
插件会根据xml中的描述，生成相应的类，比如 ServiceFilterConfig实体类的描述文档为： ${basedir}/src/main/resources/META-INF/dal/model/server-filter-config-manifest.xml，这个文档是个父文档，它将引入文档server-filter-config-codegen.xml和server-filter-config-model.xml，这两个文档有对将要生成的类的成员变量、成员函数的描述。
在下一章节的消息分析器中，和报表相关的非常多的实体类 EventReport、EventType、EventName、TransactionReport、TransactionType、TransactionName、Machine等等，都是由CAT代码生成插件根据配置 cat-sonsumer/src/main/resources/META-INFO/dal/model/*.xml 自动生成的，我们可以通过修改xml文件为我们的报表添加新的成员变量。
数据库操作
在上一节插件中，还有一个是与数据库操作相关类的生成有关的，比如上边config表相关数据库操作类的描述文档为${basedir}/src/main/resources/META-INF/dal/jdbc/config-manifest.xml，插件会根据xml文档生成Config、ConfigDao、ConfigEntity三个类放在下图目录中：
那么config表有什么作用呢？这三个类分别有什么用途？在上一节我们多次用到这张表，例如我们初始化配置的时候，读取config表的记录，如果没有初始数据的话，配置管理类会从xml读取配置信息并插入config表了。
现在我们来讲一讲cat的数据库操作，先看看数据库操作的类图：
对数据库表的操作位于Dao类中，比如Config表的操作类就是 ConfigDao，所有Dao继承自AbstractDao，每个Dao都会拥有数据库执行引擎(QueryEngine)的指针，用以执行所有的SQL语句，QueryEngine在Dao初始化函数initialize()中被实例化，
每个执行引擎QueryEngine都拥有实体信息管理(EntityInfoManager)，以及查询解析器(QueryResolver)，查询执行器(QueryExecutor)，事务管理器(TransactionManager)，
实体信息管理类(EntityInfoManager)管理每个表的Entity信息，Entity中描述对数据库的具体操作，Config表的实体对象就是ConfigEntity，他会在AbstractDao.initialize()函数中向EntityInfoManager注册。
另外还有一个关键的类，就是Config类，继承自DataObject，是对config表的所有字段的描述。
我们来看几个数据库操作的案例，下面源码，
public class ConfigDao extends AbstractDao {
public List<Config> findAllConfig(Readset<Config> readset) throws DalException {
Config proto = new Config();
List<Config> result = getQueryEngine().queryMultiple(
ConfigEntity.FIND_ALL_CONFIG,
proto,
readset);
return result;
}
public Config findByName(String name, Readset<Config> readset) throws DalException {
Config proto = new Config();
proto.setName(name);
Config result = getQueryEngine().querySingle(
ConfigEntity.FIND_BY_NAME,
proto,
readset);
return result;
}
public int insert(Config proto) throws DalException {
return getQueryEngine().insertSingle(
ConfigEntity.INSERT,
proto);
}
@Override
protected Class<?>[] getEntityClasses() {
return new Class<?>[] { ConfigEntity.class };
}
}函数功能：
1、findAllConfig函数是获取所有的配置，返回的对象，是Config的List列表，调用查询引擎QueryEngine的queryMultiple 查询多条记录方法，传入的参数分别是实体操作方法ConfigEntity.FIND_ALL_CONFIG、查询条件数据proto、readset。
2、findByName函数则是按名字查询Config配置，逻辑跟上一个类似。
3、insert函数是插入一条config记录，调用查询引擎的insertSingle方法，参数分别是实体方法ConfigEntity.INSERT， 插入数据 proto。
4、getEntityClasses函数获取实体类
接下来我们以查询单条记录作为例子来看看查询引擎的实现逻辑，如下源码：
public class DefaultQueryEngine extends ContainerHolder implements QueryEngine {
public <T extends DataObject> T querySingle(QueryDef query, T proto, Readset<?> readset) throws DalException {
QueryContext ctx = this.createContext(query, proto);
ctx.setReadset(readset);
ctx.setFetchSize(1);
this.m_queryResolver.resolve(ctx);
List<T> results = this.m_queryExecutor.executeQuery(ctx);
if(results.isEmpty()) {
throw new DalNotFoundException("No record has been found for " + proto);
} else {
return (DataObject)results.get(0);
}
}
protected <T extends DataObject> QueryContext createContext(QueryDef query, T proto) {
QueryContext ctx = new DefaultQueryContext();
EntityInfo enityInfo = this.m_entityManager.getEntityInfo(query.getEntityClass());
Map<String, Object> queryHints = this.getQueryHints(query, proto);
ctx.setQuery(query);
ctx.setProto(proto);
ctx.setEntityInfo(enityInfo);
ctx.setQueryHints(queryHints);
return ctx;
}
}1、数据库引擎首先为该查询和对应条件数据proto创建查询上下文(QueryContext)，
2、然后会设置readset，并设置查询条数为1条，
3、然后将上下文交给查询解析器(QueryResolver)，解析器会根据查询上下文解析成对应的sql状态语，复制到上下文的 m_sqlStatement字段
4、最后将上下文交给执行器QueryExecutor去执行。并返回结果，如果没有找到结果，引擎会抛出DalNotFoundException异常。
数据库连接管理
数据库记录的更新与插入最终会由 MysqlWriteHandler 执行，而查询则由 MysqlReadHandler执行，两个Handler都会通过TransactionManager 的 getConnection 函数获取数据库的连接。
数据库连接是由DataSource管理，DataSource是由数据源管理器(DataSourceManager)管理，TransactionManager 拥有DataSourceManager的指针，DataSourceManager 提供函数getDataSource(String name)获取DataSource对象；
getDataSource函数首先会从DataSourceManager 自身 m_dataSources 中寻找指定数据源，如果没有找到，再从数据源描述管理器(JdbcDataSourceDescriptorManager) 中获取数据库数据源描述信息(JdbcDataSourceDescriptor)，然后利用描述信息去初始化连接池。
描述管理器也是先从自身 m_descriptors 中看是否存在指定描述信息(JdbcDataSourceDescriptor)，如果没有，则会通过 DataSourceProviver 生成描述信息。
DataSourceProviver可以认为是初始数据源描述信息(JdbcDataSourceDescriptor)的提供者，JdbcDataSourceDescriptorManager初始化的时候，Plexus容器会基于xml文档实例化 DataSourceProviver，这些xml文档有 cat-home/....../META-INF/plexus/components-cat-home.xml，cat-consumer/....../META-INF/plexus/components-cat-consumer.xml， cat-core/....../META-INF/plexus/components-cat-core.xml， 文档中的 datasourceFile 就是数据源配置路径，例如下面xml文档：
<component>
<role>org.unidal.dal.jdbc.datasource.DataSourceProvider</role>
<implementation>org.unidal.dal.jdbc.datasource.DefaultDataSourceProvider</implementation>
<configuration>
<datasourceFile>/data/appdatas/cat/datasources.xml</datasourceFile>
</configuration>
</component>JdbcDataSourceDescriptorManager是如何通过DataSourceProviver获取数据源描述信息(JdbcDataSourceDescriptor)？实际上是通过DataSourceProviver读取并解析datasourceFile文件，例如上面的/data/appdatas/cat/datasources.xml，然后将解析后的数据写入 DataSourceDef 对象，然后JdbcDataSourceDescriptorManager调用 buildDescriptor(DataSourceDef ds) 创建描述信息，下面是buildDescriptor的源码：
public class JdbcDataSourceDescriptorManager extends ContainerHolder implements Initializable {
private Map<String, JdbcDataSourceDescriptor> m_descriptors = new HashMap();
private List<DataSourceProvider> m_providers;
private String m_datasourceFile;
protected JdbcDataSourceDescriptor buildDescriptor(DataSourceDef ds) {
JdbcDataSourceDescriptor d = new JdbcDataSourceDescriptor();
PropertiesDef properties = ds.getProperties();
String url = properties.getUrl();
String connectionProperties = properties.getConnectionProperties();
if(connectionProperties != null && connectionProperties.length() > 0) {
d.setProperty("url", url + "?" + connectionProperties);
} else {
d.setProperty("url", url);
}
d.setId(ds.getId());
d.setType(ds.getType());
d.setProperty("driver", properties.getDriver());
d.setProperty("user", properties.getUser());
d.setProperty("password", properties.getPassword());
d.setProperty("login-timeout", Integer.valueOf(this.toTime(ds.getConnectionTimeout())));
d.setProperty("max-idle-time", Integer.valueOf(this.toTime(ds.getIdleTimeout())));
d.setProperty("min-pool-size", ds.getMinimumPoolSize());
d.setProperty("max-pool-size", ds.getMaximumPoolSize());
d.setProperty("checkout-timeout", ds.getCheckoutTimeoutInMillis());
return d;
}
}数据源描述信息包含哪些内容呢，我们结合上面源码和下面的 datasources.xml配置来看，
每个data-source都有一个id； type默认jdbc； driver 默认为 com.mysql.jdbc.Driver、url、用户名、密码，登陆超时、连接池大小、超时检测等等。
<data-source id="cat">
<maximum-pool-size>3</maximum-pool-size>
<connection-timeout>1s</connection-timeout>
<idle-timeout>10m</idle-timeout>
<statement-cache-size>1000</statement-cache-size>
<properties>
<driver>com.mysql.jdbc.Driver</driver>
<url><![CDATA[jdbc:mysql://192.168.20.67:3306/cat]]></url>
<user>root</user>
<password>f63hiccVEv0mMXi</password>
<connectionProperties><![CDATA[useUnicode=true&autoReconnect=true]]></connectionProperties>
</properties>
</data-source>