ApacheのFLINK FLINK 1.10.0コミュニティが正式リリースを発表しました！
Pythonの、K8Sのサポートを向上させながら、このリリースの全体的なパフォーマンスと安定性FLINKジョブの修正リリース1.2Kの質問には、大幅な改善を行いました。
このバージョンでは、マークの点滅との完全な統合、およびSQL、この記事の意志の詳細新機能と主要な改善と流れハイブの統合を強化します。
まず、メモリ管理の最適化
原有TaskExecutorいくつかの欠点があります。
異なる構成モデルと流れ、バッチ。
外側のストリーム処理スタック構成RocksDB複雑では、ユーザ設定を必要とします。
K8S、糸、Mesos：メモリ管理をより明確かつ直感的にするために、FLINK 1.10 DUIのTaskExecutorメモリモデルや構成が大幅に改良を加え、この変更は、デプロイメント環境のさまざまなFLINKがより適しています。
均一なエントリポイントの変更は、そう下りフレームようツェッペリンが容易にプログラミングします。
第二に、統合Kubernetes
これは、コンテナ内FLINKを使用したいユーザーのための非常に良いニュースです。
でFlink1.10に立ち上げアクティブKubernetes統合
ResourceManagerのFLINK（K8sResMngr糸とFLINK Mesos統合と同様Kubernetes DAMA新しいポッドとローカル通信します）。また、ユーザーはFLINKクラスタリソースの消費量、制限されたマルチテナント環境を開始重合のための名前空間を使用することができます。RBACの役割と事前に設定されたサービスアカウントには十分な権限を持っています。
Kubernetesユーザーは単に、設定オプションを参照し、ジョブは、次のコマンドを使用していることKubernetes FLINK CLI上の既存のセッションに提出されることがあります。
./bin/flink run -d -e kubernetes-session -Dkubernetes.cluster-id=<ClusterId> examples/streaming/WindowJoin.jar
第三に、統合ハイブ
ハイブFLINKに統合開発することによって、FLINK 1.10は、それが本番環境で使用することができます。
そしてハイブ、FLINKサポートハイブバージョンリストのほとんどのバージョンをサポートしています。
1.0
- 1.0.0
- 1.0.1
1.1
- 1.1.0
- 1.1.1
1.2
- 1.2.0
- 1.2.1
- 1.2.2
2.0
- 2.0.0
- 2.0.1
2.1
- 2.1.0
- 2.1.1
2.2
- 2.2.0
2.3
- 2.3.0
- 2.3.1
- 2.3.2
- 2.3.3
- 2.3.4
- 2.3.5
- 2.3.6
3.1
- 3.1.0
- 3.1.1
- 3.1.2
需要引入依赖
<!-- Flink Dependency -->
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-hive_2.11</artifactId>
<version>1.10.0</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-table-api-java-bridge_2.11</artifactId>
<version>1.10.0</version>
<scope>provided</scope>
</dependency>
<!-- Hive Dependency -->
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-exec</artifactId>
<version>${hive.version}</version>
<scope>provided</scope>
</dependency>连接Hive代码
val settings = EnvironmentSettings.newInstance().useBlinkPlanner().inBatchMode().build()
val tableEnv = TableEnvironment.create(settings)
val name = "myhive"
val defaultDatabase = "mydatabase"
val hiveConfDir = "/opt/hive-conf" // a local path
val version = "2.3.4"
val hive = new HiveCatalog(name, defaultDatabase, hiveConfDir, version)
tableEnv.registerCatalog("myhive", hive)
// set the HiveCatalog as the current catalog of the session
tableEnv.useCatalog("myhive")四、PyFlink：支持UDF
从Flink 1.10开始，PyFlink开始支持UDF函数。
用户还可以pip使用以下方法轻松安装PyFlink ：
pip install apache-flink
五、其他重要变化
Flink现在可以编译并在Java 11上运行。
一个新的Elasticsearch sink，完全支持Elasticsearch 7.x版本。
Kafka 0.8 和 0.9 版本已经被废，不再支持。
删除了非认证网络流量配置选项taskmanager.network.credit.model。
删除了旧版Web UI。
六、贡献者名单
最后我们看一下贡献者的名单，有很多国内大神的身影
Achyuth Samudrala, Aitozi, Alberto Romero, Alec.Ch, Aleksey Pak, Alexander Fedulov, Alice Yan, Aljoscha Krettek, Aloys, Andrey Zagrebin, Arvid Heise, Benchao Li, Benoit Hanotte, Benoît Paris, Bhagavan Das, Biao Liu, Chesnay Schepler, Congxian Qiu, Cyrille Chépélov, César Soto Valero, David Anderson, David Hrbacek, David Moravek, Dawid Wysakowicz, Dezhi Cai, Dian Fu, Dyana Rose, Eamon Taaffe, Fabian Hueske, Fawad Halim, Fokko Driesprong, Frey Gao, Gabor Gevay, Gao Yun, Gary Yao, GatsbyNewton, GitHub, Grebennikov Roman, GuoWei Ma, Gyula Fora, Haibo Sun, Hao Dang, Henvealf, Hongtao Zhang, HuangXingBo, Hwanju Kim, Igal Shilman, Jacob Sevart, Jark Wu, Jeff Martin, Jeff Yang, Jeff Zhang, Jiangjie (Becket) Qin, Jiayi, Jiayi Liao, Jincheng Sun, Jing Zhang, Jingsong Lee, JingsongLi, Joao Boto, John Lonergan, Kaibo Zhou, Konstantin Knauf, Kostas Kloudas, Kurt Young, Leonard Xu, Ling Wang, Lining Jing, Liupengcheng, LouisXu, Mads Chr. Olesen, Marco Zühlke, Marcos Klein, Matyas Orhidi, Maximilian Bode, Maximilian Michels, Nick Pavlakis, Nico Kruber, Nicolas Deslandes, Pablo Valtuille, Paul Lam, Paul Lin, PengFei Li, Piotr Nowojski, Piotr Przybylski, Piyush Narang, Ricco Chen, Richard Deurwaarder, Robert Metzger, Roman, Roman Grebennikov, Roman Khachatryan, Rong Rong, Rui Li, Ryan Tao, Scott Kidder, Seth Wiesman, Shannon Carey, Shaobin.Ou, Shuo Cheng, Stefan Richter, Stephan Ewen, Steve OU, Steven Wu, Terry Wang, Thesharing, Thomas Weise, Till Rohrmann, Timo Walther, Tony Wei, TsReaper, Tzu-Li (Gordon) Tai, Victor Wong, WangHengwei, Wei Zhong, WeiZhong94, Wind (Jiayi Liao), Xintong Song, XuQianJin-Stars, Xuefu Zhang, Xupingyong, Yadong Xie, Yang Wang, Yangze Guo, Yikun Jiang, Ying, YngwieWang, Yu Li, Yuan Mei, Yun Gao, Yun Tang, Zhanchun Zhang, Zhenghua Gao, Zhijiang, Zhu Zhu, a-suiniaev, azagrebin, beyond1920, biao.liub, blueszheng, bowen.li, caoyingjie, catkint, chendonglin, chenqi, chunpinghe, cyq89051127, danrtsey.wy, dengziming, dianfu, eskabetxe, fanrui, forideal, gentlewang, godfrey he, godfreyhe, haodang, hehuiyuan, hequn8128, hpeter, huangxingbo, huzheng, ifndef-SleePy, jiemotongxue, joe, jrthe42, kevin.cyj, klion26, lamber-ken, libenchao, liketic, lincoln-lil, lining, liuyongvs, liyafan82, lz, mans2singh, mojo, openinx, ouyangwulin, shining-huang, shuai-xu, shuo.cs, stayhsfLee, sunhaibotb, sunjincheng121, tianboxiu, tianchen, tianchen92, tison, tszkitlo40, unknown, vinoyang, vthinkxie, wangpeibin, wangxiaowei, wangxiyuan, wangxlong, wangyang0918, whlwanghailong, xuchao0903, xuyang1706, yanghua, yangjf2019, yongqiang chai, yuzhao.cyz, zentol, zhangzhanchum, zhengcanbin, zhijiang, zhongyong jin, zhuzhu.zz, zjuwangg, zoudaokoulife, 砚田, 谢磊, 张志豪, 曹建华
FLINKシリーズ：
FLINKエントリ（） - ApacheのFLINKが紹介
エントリFLINK（2） -導入FLINKアーキテクチャ
よりリアルタイム計算、FLINK、カフカやその他の関連技術ボーエン、リアルタイムのストリーミングを計算するために歓迎の注意
