前回のブログ[Flinkの紹介] FlinkがKafkaデータを読み取るデモでは、Flinkを簡単に紹介してKafkaデータを読み取り、デモを通じて実践しました。このブログでは、Flinkを簡単に紹介してカスタムソースからMySQLデータを読み取り、デモを通じて演習を行います。
最初に、すべてのストリームソースのルートインターフェイスであり、マークされたインターフェイス（空のインターフェイス）関数を継承するSourceFunctionインターフェイスについて簡単に理解しましょう。
IDEAでSourceFunctionを開き、下の図に示すようにマウスを右クリックして、[ダイアグラム]-> [ダイアグラムの表示]を選択します。
SourceFunctionは、次の2つのインターフェイスメソッドを定義します。
1.実行：ソースを開始します。つまり、外部データソースを接続し、要素を発行してストリームを形成します（ほとんどの場合、ストリームはこのメソッドでwhileループを実行することによって生成されます）。
2.キャンセル：ソースをキャンセルします。つまり、実行中のループ放出要素の動作を終了します。
通常の状況では、SourceFunctionはこれらの2つのインターフェイスメソッドを実装できます。実際、これら2つのインターフェイスメソッドも実装テンプレートを修正しました。
次に、デモを介して実装
します。まず、pom.xmlにMySQLの依存関係を追加します。
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>5.1.27</version>
</dependency>
MySQLデータベーステーブルの作成
drop table if exists user_order_count;
create table user_order_count (
user_id varchar(25) NOT NULL,
count int(11),
primary key (user_id)
) engine=innodb default charset=utf8 collate=utf8_bin;
シミュレーションデータのインポート
insert into user_order_count values ('16935394', 6), ('16374609', 4), ('16570065', 4), ('4611433', 3), ('17308713', 3);
対応する新しいエンティティクラスを作成します：UserOrderCount
package com.fuyun.flink.model;
public class UserOrderCount {
public String userId;
public int count;
public UserOrderCount() {
}
public UserOrderCount(String userId, int count){
this.userId = userId;
this.count = count;
}
@Override
public String toString() {
return "UserOrderCount{" +
"userId=" + userId +
", count=" + count +
'}';
}
public String getUserId() {
return userId;
}
public void setUserId(String userId) {
this.userId = userId;
}
public int getCount() {
return count;
}
public void setCount(int count) {
this.count = count;
}
}
新しいSourceクラスSourceFromMySQL.javaを作成します。これは、RichSourceFunctionを継承し、次の内部でopen、close、run、およびcancelメソッドを実装します。
package com.fuyun.flink.souce;
import com.fuyun.flink.model.UserOrderCount;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.functions.source.RichSourceFunction;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
public class SourceFromMySQL extends RichSourceFunction<UserOrderCount> {
PreparedStatement ps;
private Connection connection;
/**
* open() 方法中建立连接，这样不用每次 invoke 的时候都要建立连接和释放连接。
*
* @param parameters
* @throws Exception
*/
@Override
public void open(Configuration parameters) throws Exception {
super.open(parameters);
connection = getConnection();
String sql = "select * from user_order_count;"; // 编写具体逻辑代码
ps = this.connection.prepareStatement(sql);
}
/**
* 程序执行完毕就可以进行，关闭连接和释放资源的动作了
*
* @throws Exception
*/
@Override
public void close() throws Exception {
super.close();
if (connection != null) {
//关闭连接和释放资源
connection.close();
}
if (ps != null) {
ps.close();
}
}
@Override
public void run(SourceContext<UserOrderCount> ctx) throws Exception {
ResultSet resultSet = ps.executeQuery(); // 执行SQL语句返回结果集
while (resultSet.next()) {
UserOrderCount userOrderCount = new UserOrderCount(
resultSet.getString("user_id").trim(),
resultSet.getInt("count"));
ctx.collect(userOrderCount);
}
}
@Override
public void cancel() {
}
private static Connection getConnection() {
Connection con = null;
try {
Class.forName("com.mysql.jdbc.Driver");
con = DriverManager.getConnection("jdbc:mysql://bigdata-training.fuyun.com:3306/test?useUnicode=true&characterEncoding=UTF-8", "root", "123456");
} catch (Exception e) {
System.out.println("-----------mysql get connection has exception , msg = "+ e.getMessage());
}
return con;
}
}
Flinkメインプログラム
package com.fuyun.flink
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment
import com.fuyun.flink.souce.SourceFromMySQL
object SourceMain {
def main(args: Array[String]): Unit = {
// 创建流处理环境
val env = StreamExecutionEnvironment.getExecutionEnvironment()
env.addSource(new SourceFromMySQL).print
env.execute("Flink add data sourc")
}
}
演算結果：
