flink数据写入hive实现demo

        首先呢,flink写入hive已经在1.10就实现了,但是我们这么用呢,其实是大多数公司不得已的情况,也是慢慢转型而来的一个适中的使用情况,Apache也为我们考虑提供了支持,帮我们再分布式环境、流计算的今天提供了更好的帮助。感谢这些社区贡献者和大佬的们研究分享。以下是实现的一个小demo,大家共同分析学习,有问题交流学习。

注意: 在本地环境读数据要是可以的话,写数据就一定可以的。写的时候需要注意服务器上的环境,主要是权限和jar依赖。

1.代码实现

1.1使用tableEvironment读取catlog配置,然后sql操作hive

1.先来个最基本的测试demo,测试通过在看后面的,这个是从hive表里读取数据然后写入hive

package flink.java.connector.hive.write;
import flink.java.utils.HiveResourceInfo;
import org.apache.flink.api.common.typeinfo.BasicTypeInfo;
import org.apache.flink.api.common.typeinfo.TypeInformation;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.typeutils.RowTypeInfo;
import org.apache.flink.connector.jdbc.JdbcInputFormat;
import org.apache.flink.table.api.*;
import org.apache.flink.table.api.bridge.java.BatchT

猜你喜欢

转载自blog.csdn.net/Baron_ND/article/details/110376212