1.要件の背景
1.1ビッグデータの視覚化の課題
ビッグデータの台頭に伴い、データストレージとコンピューティングテクノロジーは無限の流れで出現しますが、最終的なデータの視覚化とデータ探索も非常に重要な部分になっています。この部分は、ストレージとコンピューティングテクノロジースタックほど開花していません。ビッグデータを視覚化するときにこれらの混乱があったことはありますか？
- 従来のデータベースとの従来の視覚化ドッキングは、ハイブ、スパーク、プレスト、elasticsearch、クリックハウスなどのビッグデータコンポーネントとの互換性が低いか、互換性がありません。毎回、ビッグデータクラスターデータを従来のデータベースに配布する追加の冗長操作が必要です。データベース;
- 商用製品は高価であり、製品でさえ技術的な障壁があり、多くは商人自身のビッグデータ技術を接続する必要さえあります。
- 大量のベースを持つExcelのドラッグアンドドロップの習慣とSQL操作の利便性は、独自の新しいテクノロジを排除し、Webバージョンのアカウントログインは、ユーザーダウンロードクライアントログインよりも優れています。
- 同社の開発者構成はタイトであり、ビッグデータ視覚化プラットフォームを開発するための余分な人員はありませんが、意思決定層は統合された視覚化プラットフォームを持つことを望んでいます。
この種のことは本当に頭痛の種です。そして今、私は解毒剤をお勧めします。これmetabaseは、オープンソースのビッグデータ分析と調査、および視覚的なレポートの成果物です。
1.2ビッグデータデータ視覚化のターゲットアーキテクチャ
そのためには、ターゲットアーキテクチャを確立する必要があります。最終的には、図1.2に示すように、すべてがターゲットアーキテクチャに基づいており、より簡単になりますが、アーキテクチャは3つの段階に分かれています。
- 最初の段階：ClickHouse、DorisDB、Kylin、およびその他の優れたOLAPテクノロジがストレージに使用され、組み込みの接続エンジンを使用して迅速に応答し、リアルタイムデータとオフラインデータのアクセス、および外部の視覚化プラットフォームをサポートします。権限管理後にユーザーに提示されます。
- 2番目の段階：データはデータウェアハウスHiveまたはNoSQL Hbaseに保存され、比較的優れた効率的なエンジンPresto、Flink、Sparkなどを介して視覚化プラットフォームに接続され、権限制御を通じてユーザーに提示されます。
- 残りは、MySQL、一時ファイル、その他のファイルアクセスなどの特別なものです。
注：ELKアーキテクチャなど、他の技術アーキテクチャも一般的に使用されています。ELKは、ElasticSearch、Logstash、Kiabanaの3つのオープンソースツールで構成されています。Elasticsearchはオープンソースの分散検索エンジンであり、その機能は、分散、ゼロ構成、自動検出、インデックス自動シャーディング、インデックス複製メカニズム、RESTfulスタイルのインターフェース、複数のデータソース、自動検索ロードなどです。Logstashは完全にオープンソースのツールであり、後で使用するためにログを収集、分析、保存できます（検索など）。Kibanaはオープンソースの無料ツールでもあります。KibanaはLogstashとElasticSearchに、重要なデータログの集約、分析、検索に役立つログ分析用の使いやすいWebインターフェイスを提供できます。これについては後で話しましょう。ここで本は元に戻ります。最初にメタベースについて話しましょう。
2.メタベースの概要
2.1メタベースとは何ですか？
metabaseこれは、ビッグデータや従来のデータベースとシームレスに互換性のあるオープンソースのシンプルで強力な分析ツールであり、企業の全員がエンタープライズデータを学習してマイニングし、より優れたデータベースの運用と意思決定を実現するのに役立ちます。
Metabaseはシンプルで強力な分析ツールであり、誰もが会社のデータから学び、意思決定を行うことができます。技術的な知識は必要ありません！私たちはあなたがそれを愛することを願っています。
所有版本下载：利用可能なバージョン
githup：github.com/metabase/me…
开发语言：Clojure、しかし公式ウェブサイトはJarパッケージにパッケージ化されてコンパイルされており、とても便利です。
2.2メタベースは何ができますか？
- データを視覚化するためにさまざまなデータベースに接続します。
- データ分析、かんばん表示;
- データレポート;
2.3サポートされているデータソース（誰もが最も気にかけていること）
現在、ClickHouseをサポートしていないため、ClickHouse Jarドライバーを自分で追加する必要があります。ドライバーJarは手動でロードする必要があり、GitHubで同期的に更新されますが、Metabaseと比較して多少の遅れがあります。詳細については、を参照してください。後続の与clickhouse对接ドッキングの章に進みます。
2.4Apacheスーパーセットとの比較
ブロガーはまた、ApacheSupersetのビッグデータ視覚化レポートプラットフォームApacheSupersetについてブログを書いています-オープンソースのビッグデータ探索と分析、ビジュアルレポートプラットフォームですが、MetabaseとApache Supersetの長所と短所は何ですか？
- 独自のサポートが付属するデータソースMetabaseは、ApacheSupersetよりもわずかに劣っています。
- MetabaseのデータチャートはApacheSupersetよりわずかに劣っています。
- 操作インターフェースは美しく滑らかで、MetabaseはApacheSupersetを完全に凌駕しています。
- ドラッグアンドドロップ操作MetabaseはApacheSupersetを打ち負かします。
ブロガーは常に両方の長所を持っていました。結局のところ、子供だけが選択を行います。両方のインストールを検討できます。メタベースはビジネスデータのニーズに焦点を当てる人々に使用され、ApacheSupersetはSQLを理解するデータのニーズに使用されます。 2つによって生成された一般的なダッシュボードは、統合されたWebページによって相互にリンクされ、統合されたレポートプラットフォームを形成できます。
3.すぐに始めましょう
これはmetabase、最初に表示し、ゼロコードをドラッグアンドドロップしてさまざまな製品の売上と比率を生成し、ダッシュボードに保存する最も優れた機能です。ダッシュボードは定期的に更新したり、他の人と共有したりできます。これもお気に入りのブランドです。ブロガーますますエキサイティングな体験については、ブロガーを詳細にフォローしてください。
4.インストールを展開します
4.1展開方法とバージョン
metabseサポートされているデプロイメント方法も非常に豊富です。詳細については、公式WebサイトのMetabaseのインストールと実行を参照してください。一般的に使用されるデプロイメントは次のとおりです。
在具有JRE的环境下直接运行Jar包- Macでアプリとして実行
- Dockerで実行
- K8sで実行
- AWSのElasticBeanstalkなどのクラウドプラットフォームで実行されます
- 他の
ブロガーは最も簡単なものを選びました在具有JRE的环境下直接运行Jar包。バージョンの選択は少し特殊です。ClickHouseのデータベース接続を統合する必要がないと思われる場合は、最新バージョンのリリースを選択するか、1つまたは2つのバージョンに戻ることができます。ClickHouseのデータベース接続を統合する必要がある場合、Metabase自体はClickHouse接続をサポートしていないため（少なくとも現在20210722はサポートされていません）、適切なドライバーパッケージをダウンロードする必要があります。
github metabase-clickhouse-driver：metabase-clickhouse-driver；
バージョン適応、ClickHouseをサポートする20210723の最新バージョンはMetabase-0.38.1です。
4.2構成要件
原則として、JarパッケージのJDKプラットフォームを実行できる限り、ブロガーの構成は次のようになります。
- JDK 1.8+
- Cent OS 7
4.3ダウンロードしてインストールする
metabaseのホームページに入り、図4.3に示すようにmetabase.jarをダウンロードします。必要なバージョンを選択してください。デフォルトは最新バージョンです。
所有版本下载：利用可能なバージョン
インストールは簡単です。metabase.jarダウンロードしたサーバーをJDKがインストールされているサーバーの1つにアップロードすると、ブロガーがそこにインストールします/data/metabase/metabase-0.38.1。
# 将Jar包命名一下，做到望文生义
cd /data/metabase/metabase-0.38.1
mv metabase.jar metabase-0.38.1.jar
# 启动
java -jar ./metabase-0.38.1.jar
# 这样的启动日志是打印在客户端的，这个后续在启动与关闭再说
# 此次启动的目的是确保启动打印的日志能准确，如果有bug，请根据bug提示修复，如java未安装之类的。
复制代码 通常の起動後、デフォルトのポートは3000;です。サーバー3000にアクセスできるマシンでは、ブラウザを開き、Enter安装服务器的IP:3000(如10.215.23.506:3000)キーを押して登録インターフェイスからジャンプし、ログイン名（電子メール）、パスワードを入力すると、にジャンプできます。図4.3.1のWebホームページをクリックすると、ケースを練習してすぐに開始できます。
4.3起動とシャットダウン
ログ印刷をファイルに収集し、バックグラウンドでプロセスを開始します。
# 启动
# 设置下软链current，这样让current永远指向最新的metabase版本，利于候选的版本更新
cd /data/metabase
ln -sf metabase-0.38.1 current
cd /data/metabase/metabase-0.38.1
mkdir log #创建log文件夹
nohup java -jar ./metabase-0.38.1.jar >> ./log/metabase.log 2>&1 &
复制代码./log/metabase.logログフォルダにmetabase.logファイルを作成し、ログを追加します2>＆1
0はstdin標準入力を意味し、ユーザーキーボード入力コンテンツ1はstdout標準出力を意味し、表示画面2へのコンテンツ出力はstderr標準エラーを意味し、エラーコンテンツ2>＆1は全体であり、左右にスペースを入れることはできません>つまり、エラーの内容は入力から標準出力にリダイレクトされます。＆バックグラウンドで実行する
サービスをシャットダウンします。
jps # 查看进程得到如下
2578 Jps
2523 metabase-0.38.1.jar
# 杀死进程号即可
kill -9 2523
复制代码5.ユーザーマニュアル
5.1クリックハウスとのドッキング
最初githubにClickHouseドライバーパッケージmetabase-clickhouse-driverをダウンロードし、次のバージョンに注意してください。選択したClickHouseドライバーは、対応するメタベースバージョンに適合させる必要があります。また、一般的に適合できるJDBCバージョンが一般的に適合しない限り、ClickHouseバージョンは適合しません。問題、ブロガーのClickHouseはい20.8.12.2-1.el7.x86_64.rpm、現在20210723の時点で、適合バージョンは次のとおりです。
ドライバパッケージをダウンロードした後、フォルダclickhouse.metabase-driver.jarにアップロードし/data/metabase/metabase-0.38.1/pluginsます。このフォルダは、最初の起動後に初期化されたときに生成され、主要なデータベースの保存と駆動専用です。次に再起動metabaseすると、図5.1.2に示すように、新しい接続を作成するときにClickHouseが追加されていることがわかります。最初に構成して、ClickHouseクラスターに正常に接続できるかどうかを確認する必要があります。このバージョンは互換性があるため、いくつかの落とし穴があります。 。
注：メタベースにはそのようなボタンはありません。Test Connectionデータベースを追加するときにクリックするだけ保存です。接続が間違っていると、保存時にエラーが発生し、接続タイムアウトなどの例外が表示されます。 注意：ClickHouseとの互換性を希望する場合は、ClickHouseとネイティブに互換性のあるSuperSetを使用することをお勧めします。メタベースは、ClickHouseに接続するときに異常が発生する傾向があります。
5.2新しいデータベース接続を作成する
ホームページの右上隅をクリックします— 设置>ジャンプ図5.2 —> 管理员—>メニューバー数据库またはスタートウィザード—>添加一个数据库データベースを追加する構成にジャンプし、データベースインスタンス、ユーザー名、パスワードを構成して、をクリックします。保存。
5.3質問の作成、視覚化、保存、共有、図の削除（強調）
创建问题
は3つの回答モードがあり ます 。
原生查询
自定义查询
原生查询
- 単純なクエリとカスタムクエリ：ドラッグアンドドロップにより、SQLスキルを持たないユーザーは、データ探索、データレポートを実現し、視覚的な結果をダッシュボードに保存したり、作成の問題を特定のディレクトリに保存してから追加したりすることもできます。図5.3.1に示すように、後でダッシュボードに表示されます。デザインのすべての操作でコードを記述する必要はありません。グラフィックをクリックして選択するだけです。
ビジュアライゼーションをクリックした後、図5.3.2にジャンプします。
- 図5.3.3に示すように、ネイティブクエリは実際にはSQLクエリです。SQLステートメントを記述して視覚化し、ダッシュボードに直接保存できます。また、質問を作成するときに特定のディレクトリに保存してから追加することもできます。後でダッシュボードにそれらを。
図5.3.4に示すように、作成された質問は最終的にデータを通じて視覚化できます。別のディレクトリに保存する分析か您的个人收藏、其他用户的个人收藏自分で新しいディレクトリを作成するかを選択できます。各ディレクトリで訪問者の権限を調整できます。查看归档実際、これはごみ箱に似ており、放棄された作成の質問とダッシュボードは、削除する前にアーカイブする必要があります。
5.4ダッシュボード（レポート）の作成
ダッシュボードは実際にはレポートとして理解できます。ダッシュボードを作成するには2つの方法があります。1つはダッシュ创建问题ボードに保存するか、保存後に新しいダッシュボードに保存するかを尋ねる方法です。2つ目はメインインターフェイスメニューを直接クリックする方法です。 。新しく作成されたダッシュボードに+既存の探索チャートを追加するための列番号。创建问题
6.設定
+図6.0に示すように 、メインインターフェイスのメニューの右上隅に設定します。
- アカウント設定：アカウント情報、ユーザー名、パスワードなどを変更します。
管理员（重点）：次に、人員とグループを追加し、データベースを追加し、公に共有し、アプリケーションシステムを公に埋め込みます。- Metabaseに関するアクティビティ、ヘルプ、Metabaseの開発および運用会社とのやり取りに属し、関心のある人は参加できます。
- ログアウト：アカウントからログアウトします。
次に、管理者の関連する設定操作に焦点を当てます。まず、管理者はグループです。つまり、管理者グループに属する人がこれらの設定を操作できる限りです。
6.1人事管理と権限
人事管理はとに分けられ人员、新しい人員を招待する分组こと人员であり、デフォルトは招待者のメールアドレスです。分组デフォルトは管理员と所有用户2つのグループで、追加できます。後続の権限はグループに応じて割り当てられます。同時に、個人Aは複数のグループに属することができます。権限は、所属するグループの1つが持っている限りです。権限、Aにはアクセス権限があります。その権限と問題を作成する権限のグラフまたはダッシュボード。
図6.1.1に示すように、権限はグループごとに割り当てられ、数据权限合計 に分割されます。文件夹权限
数据权限：問題の作成に使用されたデータベースのテーブル。テーブルレベルの権限を最もきめ細かい方法で指定できます。デフォルトはデータベースレベルの権限です。文件夹权限：問題を引き起こしたのは、チャートとダッシュボードを保存するファイルディレクトリの権限です。
6.2データベース
前述のように、図6.2.0に示すように、新しいデータベース接続を追加し、データベースとテーブルモデルをメタベースにロードして、データの探索と視覚化を行います。
6.3データモデル
図6.3.0に示すように、ユーザーがデータ、ポイント数据、、 をより適切に使用できるように、主に追加されたテーブルにモデルの注釈を追加することで、テーブルに詳細を示すことができます。过滤器指标
数据：属性、可視性、エンティティキー、エンティティ名、エンティティ外部キーなどをテーブルの各フィールドに設定します。过滤器：IDが250に等しくない注文など、不要なテーブルレコードを除外するようにフィルター条件を設定します。指标：元のデータに基づいて計算された新しい列は、インジケーター列として一緒にテーブルにロードされます。
6.4ビジネスシステムに組み込まれた、またはメタベース以外の登録ユーザーと共有されるダッシュボード
図6.4.0と図6.4.1に示すように、2つの機能を有効に嵌入其他的应用中するには、最初にとのスイッチをオンにする必要があり、キーも生成されます。公开分享嵌入其他的应用中
次に、右上隅— 设置>退出管理员で、アクセス許可のあるフォルダー内のダッシュボードの1つを選択します。図6.4.2に示すように、クリック分享且编辑して図6.4.3にジャンプし、公开链接合計を生成し公开嵌入ます。
図6.4.3に示すように、パブリックリンクとパブリック埋め込みを生成します。
公开链接：リンクアドレスを必要な人Aにコピーします。AはMetabaseに登録済みのアカウントを持っておらず、ダッシュボードのレポートページも表示できます。さらに、ダッシュボードが変更された場合、Aは次のように変更を受け取ることもできます。図6.4.4;公开嵌入：フロントエンドに埋め込まれたコード。ダッシュボードが変更されると、アプリケーションシステムも変更されます。
6.6トラブルシューティング
エラートラブルシューティングの主な目的は、タスクログとその他の情報を表示することです。インターフェイス上の2つのタスクの1つは分析ログで、もう1つはスケジューラ情報です。バグが発生した場合は、ここにアクセスして表示できます。 。
上記は、Metabaseのインストールと展開に関するもので、使用する簡単なチュートリアルであり、よりエキサイティングな体験です。公式WebサイトのドキュメントMetabase Documentationを参照するか、メッセージを残して相互に通信できます。