糸三部作のFlinkについて
この記事は「Flink on Yarn Trilogy」の最初のもので、シリーズ全体は次の3つで構成されています。
- 準備：Flink on Yarn環境をセットアップする前に、すべてのハードウェアおよびソフトウェアリソースを準備します。
- 展開と設定：CDHとFlinkを展開して、関連する設定を行います
- Flink戦闘：Yarn環境でFlinkタスクを送信する
三部作全体の実際の戦闘内容を下の図に示します
。最も基本的な準備から始めましょう。
全文リンク
- 「Flink on Yarn Trilogy One：Preparation」
- 「
糸三部作の第2部：展開とセットアップ
」 - 「Flink on Yarn Trilogy Part Three：Submit Flink Tasks」
Flink on Yarnについて
一般的なスタンドアロンモードに加えて、Flinkは実行のためにYarn環境へのタスクの送信もサポートします。タスクに必要なコンピューティングリソースは、次の図（Flinkの公式Webサイトから）に示すように、Yarn Remource Managerによって割り当てられ
ます。 、HDFSおよびその他のサービスは一般的な方法であり、この方法を使用して展開します。
展開方法
Ansibleは一般的に使用される運用および保守ツールであり、展開プロセス全体を大幅に簡略化できます。次に、Ansibleを使用して展開を完了します。Ansibleについて十分に理解していない場合は、「Ansible2.4インストールとエクスペリエンス」を参照してください。展開操作は次の図に示すとおりです。これは、ansibleがインストールされているコンピューターでスクリプトが実行され、ansibleがリモートでCentOS7.7サーバーに接続されて、デプロイメントを完了することを示しています。
ハードウェアの準備
- Ansibleを実行できるコンピューター、ここではMacBook Proを使用しましたが、これもCentOSで検証済みで、すべて正常に展開できます。
- CentOS7.7コンピューターを使用して糸とFlinkを実行します（この記事のCDHサーバーはこのコンピューターを指します）。操作を簡単にするために、今回はこのマシンにCDH、糸、HDFS、およびFlinkを展開しました。このコンピューターのCPUは少なくともデュアルコアである必要があり、メモリは16G以上です。複数のコンピューターでCDHを展開する場合は、Ansibleスクリプトを変更して個別に展開することをお勧めします。スクリプトアドレスは後で指定します。
ソフトウェアのバージョン
- Ansibleコンピューターオペレーティングシステム：macOS Catalina 10.15（CentOSも正常に測定できます）
- CDHサーバーオペレーティングシステム：CentOS Linuxリリース7.7.1908
- cmバージョン：6.3.1
- パーセルバージョン：5.16.2
- flinkバージョン：1.7.2
注：flinkにはhadoopバージョン2.6が必要であるため、パーセルはhadoopバージョン2.6に対応する5.16.2を選択しました
CDHサーバー設定
次の設定を実行するには、CDHサーバーにログインする必要があります。
- 以下に示すように、/ etc / hostnameファイルが正しいかどうかを確認します。
- / etc / hostsファイルを変更し、以下の赤いボックスに示すように、独自のIPアドレスとホスト名を構成します（この手順は非常に重要であることがわかります。そうしないと、展開中に「割り当て」段階でスタックする可能性があります。エージェントログを参照してください）エージェントダウンロードパーセルの進行状況が0％であることを示します）：
ファイルをダウンロード（コンピュータ）
この実際の戦闘では、次の表に示すように、13個のファイルが準備されます（各ファイルの取得方法は後で説明します）。
| 数 | ファイル名 | はじめに |
|---|---|---|
| 1 | jdk-8u191-linux-x64.tar.gz | Linuxバージョンjdkインストールパッケージ |
| 2 | mysql-connector-java-5.1.34.jar | MySQL用のJDBCドライバー |
| ３ | cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm | cmサーバーインストールパッケージ |
| 4 | cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm | cmemonインストールパッケージ |
| 5 | cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm | cmエージェントインストールパッケージ |
| 6 | CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel | CDHアプリケーションのオフラインインストールパッケージ |
| 7 | CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha | CDHアプリケーションのオフラインインストールパッケージのCD検証コード |
| 8 | nimble-1.7.2-bin-hadoop26-scala_2.11.tgz | flinkインストールパッケージ |
| 9 | ホスト | CDH6サーバーの情報を記録するansibleが使用するリモートホスト構成 |
| 10 | ansible.cfg | ansibleが使用する構成情報 |
| 11 | cm6-cdh5-flink1.7-single-install.yml | CDHのデプロイ時に使用されるAnsibleスクリプト |
| 12 | cdh-single-start.yml | CDHを初めて起動するときに使用されるansibleスクリプト |
| 13 | var.yml | スクリプトで使用される変数（ CDHパッケージ名、flinkファイル名など）がここに設定され、メンテナンスが容易になります。 |
以下は、各ファイルのダウンロードアドレスです。
- jdk-8u191-linux-x64.tar.gz：Oracleの公式Webサイトが利用可能です。さらに、jdk-8u191-linux-x64.tar.gzとmysql-connector-java-5.1.34.jarをパッケージ化してcsdnにアップロードしました。一度にダウンロードできます。アドレス：https://download.csdn.net/download/boling_cavalry/12098987
- mysql-connector-java-5.1.34.jar：maven中央倉庫が利用可能です。さらに、jdk-8u191-linux-x64.tar.gzとmysql-connector-java-5.1.34.jarをパッケージ化してcsdnにアップロードしました。一度ダウンロードできます。アドレス：https://download.csdn.net/download/boling_cavalry/12098987
- cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm：https：//archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3。 1-1466458.el7.x86_64.rpm
- cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm：https：//archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3。 1-1466458.el7.x86_64.rpm
- cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm：https：//archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3。 1-1466458.el7.x86_64.rpm
- CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel：https：//archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2。 p0.8-el7.parcel
- CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha：https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5。 16.2.p0.8-el7.parcel.sha1（ダウンロード後、拡張子を.sha1から.shaに変更します）
- flink-1.7.2-bin-hadoop26-scala_2.11.tgz：http：//ftp.jaist.ac.jp/pub/apache/flink/flink-1.7.2/flink-1.7.2-bin-hadoop26- scala_2.11.tgz
- hosts、ansible.cfg、cm6-cdh5-flink1.7-single-install.yml、cdh-single-start.yml、var.yml：これらの5つのファイルはGitHubリポジトリに保存されています。アドレスはhttps：/です。 /github.com/zq2599/blog_demos、複数のフォルダーがあり、上記のファイルは、次の図の赤いボックスに示すように、ansible-cm6-cdh5-flink172-singleという名前のフォルダーにあります。
ファイルの配置（アンシブルコンピューター）
上記の13個のファイルをダウンロードした場合は、展開を正常に完了するために、次の場所に従ってそれらを配置してください。
-
ホームディレクトリの下に、playbooksという名前の新しいフォルダーを作成します。mkdir〜/ playbooks
-
これらの5つのファイルプレイブックのホスト、ansible.cfg、CM6-CDH5：フォルダ -flink1.7-シングルinstall.yml、CDH-シングルstart.yml、vars.yml
-
でプレイブックフォルダという名前の新しいCDH6サブフォルダのフォルダ。
-
次の8つのファイルをcdh6フォルダー（つまり、残りの8つ）に配置します。jdk -8u191-linux-x64.tar.gz、mysql-connector-java-5.1.34.jar、cloudera-manager-server-6.3。 1-1466458.el7.x86_64.rpm、cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm、CDH-5.16。 2-1.cdh5.16.2.p0.8-el7.parcel、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha、flink-1.7.2-bin-hadoop26-scala_2。 11.tgz
-
配置後、ディレクトリとファイルは下の図のようになります。もう一度注意してください：フォルダープレイブックはホームディレクトリに配置する必要があります（例：〜/）：
ansibleパラメータ設定（ansibleコンピュータ）
ansibleパラメーター設定の操作設定は非常に簡単です。IPアドレス、ログインアカウント、パスワードなどを含むCDHサーバーのアクセスパラメーターを構成し、以下に示すように〜/ playbooks / hostsファイルを変更します。自分の状況に応じて、deskminiを変更する必要があります。 ansible_host、ansible_port、ansible_user、ansible_password：
[cdh_group]deskmini ansible_host=192.168.50.134 ansible_port=22 ansible_user=root ansible_password=888888
この時点で、すべての準備が完了しています。次の記事では、これらの操作を完了します。
- CDHとFlinkをデプロイする
- CDHを開始する
- CDHのセットアップ、Yarnのオンラインインストール、HDFSなど
- Flinkタスクを正常に送信できるように糸パラメータを調整します
私の公開番号に注目してください：プログラマーXinchen
