FlinkSQL怎么查找到要执行的代码

写在前面：我是「且听风吟」，目前是一名大数据开发工程师，热爱大数据开源技术，喜欢分享自己的所学所悟，现阶段正在从头梳理大数据体系的知识，以后将会把时间重点放在Spark和Flink上面。

如果你也对大数据感兴趣，希望在这个行业一展拳脚。欢迎关注我，我们一起努力，一起学习。博客地址：https://ropledata.blog.csdn.net

博客的名字来源于：且听风吟，静待花开。也符合我对技术的看法，想要真正掌握一门技术就需要厚积薄发的毅力，同时保持乐观的心态。

你只管努力，剩下的交给时间！

在这里插入图片描述

一、问题表述

在写flink sql的时候不知道大家是否会有一个疑问：咱们创建的flink sql是怎么找到它要执行的java代码在哪的呢？flink sql里也没有声明位置呀。

比如：

 CREATE TABLE my_table (
 id BIGINT,
 first_name STRING,
 last_name STRING,
 email STRING
 ) WITH (
 'connector'='kafka',
 'topic'='user_topic',
 'properties.bootstrap.servers'='localhost:9092',
 'scan.startup.mode'='earliest-offset',
 'format'='debezium-json'
);

最终解析 debezium-json 应该是: flink-formats/flink-json/src/main/java/org/apache/flink/formats/json/debezium

思考：FlinkSQL 是怎样的机制找到要执行的 Java 代码的呢？

二、思考

根据以往的经验，这种没有明确声明对应关系就能找到要执行代码的机制，可能是SPI（Service Provider Interface），它是一种服务发现机制。通过在ClassPath路径下的META-INF/services文件夹查找文件，自动加载文件里所定义的类。那flink sql会不会也是使用这个SPI机制找到的对应的format呢？

三、解决

首先咱们参考目前最新的flink 1.11的官方文档来看：how-to-use-connectors
然后在flink-formats/flink-json/src/main/resources/META-INF/services/org.apache.flink.table.factories.Factory可以找到一些SPI的配置信息：

org.apache.flink.formats.json.JsonFileSystemFormatFactory
org.apache.flink.formats.json.JsonFormatFactory
org.apache.flink.formats.json.debezium.DebeziumJsonFormatFactory
org.apache.flink.formats.json.canal.CanalJsonFormatFactory

这时候咱们可以肯定它一定使用了SPI机制来查找对应的format！

那具体是怎样的呢？
咱们可以看一下SPI的示例代码：

private static <T extends TableFactory> T findSingleInternal(
      Class<T> factoryClass,
      Map<String, String> properties,
      Optional<ClassLoader> classLoader) {
 
   List<TableFactory> tableFactories = discoverFactories(classLoader);
   List<T> filtered = filter(tableFactories, factoryClass, properties);
 
   if (filtered.size() > 1) {
      throw new AmbiguousTableFactoryException(
         filtered,
         factoryClass,
         tableFactories,
         properties);
   } else {
      return filtered.get(0);
   }
}
 
private static List<TableFactory>
discoverFactories(Optional<ClassLoader> classLoader) {
   try {
      List<TableFactory> result = new LinkedList<>();
      ClassLoader cl =
classLoader.orElse(Thread.currentThread().getContextClassLoader());
      ServiceLoader
         .load(TableFactory.class, cl)
         .iterator()
         .forEachRemaining(result::add);
      return result;
   } catch (ServiceConfigurationError e) {
      LOG.error("Could not load service provider for table factories.", e);
      throw new TableException("Could not load service provider for
table factories.", e);
   }
 
}

所以根据SPI的机制，咱们可以得出结论：Flink SQL是通过spi机制加载类，然后通过属性去过滤出需要的class！