九尾(フル)の最適化パラメータ

九尾(フル)の最適化パラメータ

kyubi.dynamic.resource: true に設定すると、動的リソース調整が有効になります。これにより、Kyubi は現在の負荷とリソースの可用性に基づいてタスクのリソース割り当てを自動的に調整できるようになります。

kyubi.server.endpoint: Hue が Kyubi サーバーに接続できるように、Kyubi サーバーのアドレスとポート番号を設定します。

kyubi.server.heartbeat.interval:Kyubiサーバーのハートビート間隔をミリ秒単位で設定します。間隔が短いほど、より迅速な障害検出とフェイルオーバーが可能になります。

kyubi.server.session.idle.timeout: セッションのアイドルタイムアウトをミリ秒単位で設定します。セッションが指定された時間非アクティブになると、セッションは自動的に閉じられます。

kyubi.llap.max.executors: クラスターで LLAP (低遅延分析処理) サービスが使用されている場合、このパラメーターを設定して、Kyubi が使用できる LLAP エグゼキューターの最大数を指定できます。

kyubi.session.auto.spill.threshold: メモリ使用量が特定のしきい値に達したときに、Kyubi がディスクへのスピル機能を自動的に有効にするかどうかを設定します。しきい値を低くするとメモリ負荷を効果的に軽減できますが、クエリのパフォーマンスに影響を与える可能性があります。

九尾を最適化するために使用できる一般的なパラメータは次のとおりです。

kyubi.server.maxConcurrency:Kyubi サーバーが許可する同時接続の最大数を設定します。ハードウェア リソースと負荷条件に応じて、このパラメータを適切に調整して、同時接続とパフォーマンスのバランスをとります。

kyubi.server.thrift.max.worker.threads:KyubiサーバーThriftサービスが使用するワーカースレッドの最大数を設定します。このパラメータを適切に調整して、同時リクエストの処理能力を向上させます。

kyubi.server.heartbeat.interval:Kyubiサーバーとクライアント間のハートビート間隔を設定します。間隔が短いほど、より迅速な障害検出とフェイルオーバーが可能になります。

kyubi.server.session.idle.timeout: セッションのアイドルタイムアウトを設定します。セッションが指定された時間非アクティブになると、セッションは自動的に閉じられます。

kyubi.server.task.commit.threads: kyubiサーバータスクのコミットスレッド数を設定します。このパラメーターの値を適切に増やすと、タスク送信の同時実行パフォーマンスを向上させることができます。

kyubi.server.task.execute.threads:Kyubiサーバータスクの実行スレッド数を設定します。このパラメータの値を適切に増やすと、タスク実行の同時実行パフォーマンスが向上します。

kyubi.server.task.result.cache.enable: 繰り返されるクエリの実行を高速化するために、Kyubi サーバー タスクの結果のキャッシュを有効にします。結果キャッシュを保存するために十分なメモリを適切に割り当ててください。

kyubi.sql.legacy.engine.threshold: レガシー エンジンを使用して実行できるクエリのサイズしきい値を設定します。小規模なクエリの場合は、レガシー エンジンを選択して、追加のエンジンを開始するオーバーヘッドを軽減できます。

これらのパラメータは、Kyubi の設定ファイル (kyuubi.conf など) を編集することで設定できます。具体的なファイル パスやパラメータ名は、Kyubi のバージョンによって異なる場合があります。構成パラメータを変更する前に、必ず関連する構成ファイルをバックアップし、Kyubi サービスを再起動してください。

kyubi.server.max-connections: このパラメータは、Kyubi サーバーによって許可される最大接続数を設定するために使用されます。負荷とリソースの状態に応じてこの値を調整して、同時接続とリソース消費のバランスをとることができます。

kyubi.server.max-threads: リクエストを処理するためのスレッドの最大数を構成するために使用されます。このパラメータを適切に調整すると同時処理能力が向上しますが、リソースの競合やパフォーマンスの低下を避けるため、設定値を高くしすぎないように注意してください。

kyubi.server.max-execution-mem-bytes: このパラメーターは、クエリごとの最大実行メモリを構成します。クラスターの利用可能なメモリとクエリのニーズに基づいて調整して、メモリ不足または割り当て過剰の問題を回避できます。

kyubi.server.fetch-result-page-size: 各ページでフェッチされるレコード数を設定するために使用されます。このパラメータを適切に調整すると、ネットワーク送信のオーバーヘッドとクエリのリアルタイム応答性のバランスをとることができます。

kyubi.server.result-set-buffer-size: このパラメータは結果セットバッファのサイズを設定します。クエリ データ ボリュームのサイズと利用可能なメモリに応じて調整して、データ読み取りパフォーマンスを最適化できます。

kyubi.server.query.max-execution-time: クエリの最大実行時間のしきい値を設定するために使用されます。このしきい値を超えるクエリは、長時間実行されるクエリによってリソースが占有され、タイムアウトが発生するのを防ぐためにキャンセルされます。

kyubi.server.enable-hive-authz: Hive の権限制御メカニズムを使用してクエリを承認するには、このパラメータを有効にします。

kyubi.server.maxTotal:Kyubiサーバーへの最大接続数を設定します。より多くの同時接続をサポートするには、この値を増やします。デフォルト値は 100 です。

kyubi.server.connectionTimeout:きゅうびサーバーの接続タイムアウトをミリ秒単位で設定します。指定された時間内に接続が確立されない場合、接続は中断されます。デフォルト値は 30000 です。

kyubi.session.concurrentMax: ユーザーごとの同時実行セッションの最大数を設定します。この値はクラスターのリソースと負荷状況に応じて調整でき、デフォルトは 100 です。

kyubi.session.openSessionTimeout: セッションオープンタイムアウトをミリ秒単位で設定します。指定された時間内にセッションが開かれない場合、セッション要求はタイムアウトになります。デフォルトは 60000 です。

kyubi.session.queryTimeout: クエリのタイムアウトを秒単位で設定します。指定された時間内にクエリが完了しない場合、クエリはキャンセルされます。デフォルトは 0 で、タイムアウト制限がないことを意味します。

kyubi.session.autoClearInterval: セッションを自動クリアする間隔を秒単位で設定します。このオプションはセッションの自動クリーニング機能を有効にし、デフォルト値は 0 (無効を意味します) です。

kyubi.server.binaryTransfer: バイナリ転送モードを有効にするかどうかを設定します。このモードを有効にすると、データ転送の効率が向上します。デフォルトは false です。

kyubi.session.enableHiveDynamicPartitionPruning: Hive 動的パーティション プルーニングを有効にします。クエリの実行時にパーティションのメタデータに従って最適化に適切なパーティションを選択するには、このオプションを有効にします。デフォルトは true です。

Kyubi は、パフォーマンスの最適化と動作の調整に使用できるいくつかのパラメーターを提供するオープン ソースの Spark SQL リモート JDBC サーバーです。以下に、九尾の一般的な最適化パラメータをいくつか示します。

きゅうび.server.max.connections: きゅうびサーバーが許可する最大接続数を設定します。このパラメータの値を増やすことにより、より多くの同時接続をサポートできます。デフォルト値は 100 ですが、必要に応じて調整します。

きゅうび.server.backlog: きゅうびサーバーが接続をリッスンするためのリクエストキューの最大長を設定します。値が大きいほど、より多くの同時接続リクエストをサポートできます。デフォルト値は 1024 です。

きゅうび.server.session.check.interval: きゅうびサーバーがアイドル状態のセッションをチェックする時間間隔を設定します。間隔が短いほど、アイドル状態のセッションとリソースがより迅速に解放されます。デフォルトは 60000 ミリ秒です。

きゅうび.session.conf.sync.interval: きゅうびセッション設定パラメータの同期の時間間隔を設定します。間隔が短いほど、構成変更をよりタイムリーに適用できます。デフォルトは 60000 ミリ秒です。

kyuubi.statement.max.result.size: 各クエリ結果について、Kyubi によって返される最大行数を設定します。結果セットのサイズを制限することにより、ネットワーク上で転送されるデータ量を削減できます。デフォルト値は -1 で、制限がないことを意味します。

きゅうび.operation.heartbeat.interval: きゅうびとクライアント間のハートビート間隔を設定します。間隔が短いほど、クライアントの接続ステータスをよりタイムリーに検出できます。デフォルトは 1000 ミリ秒です

kyubi.server.session.idle.timeout: セッションのアイドルタイムアウトをミリ秒単位で設定します。指定した時間アクティビティがない場合にセッションを自動的に終了します

おすすめ

転載: blog.csdn.net/qq_43688472/article/details/131814670