クエリキュー
このトピックでは、StarRocks におけるクエリキューの管理方法について説明します。
v2.5 から、StarRocks はクエリキューをサポートしています。クエリキューが有効になると、同時実行のしきい値やリソース制限に達した場合に、StarRocks は自動的に受信クエリをキューに入れ、過負荷の悪化を避けます。保留中のクエリは、実行を開始するのに十分な計算リソースが利用可能になるまでキューで待機します。
ウェアハウス単位でクエリを管理する Query Queue V2 を推奨します。Query Queue v1 の節は既存の設定の参考として残しています。以下では、この 2 つのバージョンを説明します。
- Query Queue v1: クエリの同時実行数、BE のメモリ使用率、および BE の CPU 使用率に基づいてキューイングをトリガーします。v3.1.4 以降、v1 はリソースグループレベルでのクエリキュー設定をサポートしています。
- Query Queue V2: 各ウェアハウスが独立したキューを持ちます。システムがクエリのリソース要求を自動推定し、推定同時実行容量、同時実行クエリ数の上限、およびメモリアドミッションを確認して受け入れを判断します。
Query Queue v1
Query Queue v1 では、CPU 使用率、メモリ使用率、クエリの同時実行数にしきい値を設定して、クエリキューをトリガーできます。
ロードマップ:
| Version | Global query queue | Resource group-level query queue | Collective concurrency management | Dynamic concurrency adjustment |
|---|---|---|---|---|
| v2.5 | ✅ | ❌ | ❌ | ❌ |
| v3.1.4 | ✅ | ✅ | ✅ | ✅ |
Query Queue v1 を有効にする
クエリキューはデフォルトで無効になっています。INSERT ロード、SELECT クエリ、および統計クエリに対して、対応するグローバルセッション変数を設定することで、グローバルまたはリソースグループレベルのクエリキューを有効にできます。
グローバルクエリキューを有効にする
- ロードタスクのクエリキューを有効にする:
SET GLOBAL enable_query_queue_load = true;
- SELECT クエリのクエリキューを有効にする:
SET GLOBAL enable_query_queue_select = true;
- 統計クエリのクエリキューを有効にする:
SET GLOBAL enable_query_queue_statistic = true;
リソースグループレベルのクエリキューを有効にする
v3.1.4 以降、StarRocks はリソースグループレベルでのクエリキューの設定をサポートしています。
リソースグループレベルのクエリキューを有効にするには、上記のグローバルセッション変数に加えて enable_group_level_query_queue を設定する必要があります。
SET GLOBAL enable_group_level_query_queue = true;
Query Queue V2 では、これらのグローバルセッション変数でクエリキューを有効にすることはできません。ウェアハウスプロパティ enable_query_queue を true に設定して、ウェアハウスごとにクエリキューを有効にします。詳細は Query Queue V2 を参照してください。
リソースしきい値を指定する
グローバルクエリキューのリソースしきい値を指定する
次のグローバルセッション変数を使用して、クエリキューをトリガーするしきい値を設定できます。
| Variable | Default | Description |
|---|---|---|
| query_queue_concurrency_limit | 0 | BE 上の同時クエリの上限。0 より大きく設定された場合にのみ有効になります。0 に設定すると、制限がないことを示します。 |
| query_queue_mem_used_pct_limit | 0 | BE 上のメモリ使用率の上限。0 より大きく設定された場合にのみ有効になります。0 に設定すると、制限がないことを示します。範囲: [0, 1] |
| query_queue_cpu_used_permille_limit | 0 | BE 上の CPU 使用率のパーミル (CPU 使用率 * 1000) の上限。0 より大きく設定された場合にのみ有効になります。0 に設定すると、制限がないことを示します。範囲: [0, 1000] |
- Query Queue V2 では、
query_queue_mem_used_pct_limitはウェアハウスごとに適用されます。メモリアドミッション を参照してください。 - デフォルトでは、BE は 1 秒間隔でリソース使用状況を FE に報告します。この間隔は、BE の設定項目
report_resource_usage_interval_msを設定することで変更できます。
リソースグループレベルのクエリキューのリソースしきい値を指定する
v3.1.4 以降、リソースグループを作成する際に、個別の同時実行制限 (concurrency_limit) と CPU コア制限 (max_cpu_cores) を設定できます。クエリが開始されると、グローバルまたはリソースグループレベルのいずれかでリソース消費がリソースしきい値を超えた場合、すべてのリソース消費がしきい値内に収まるまでクエリはキューに入れられます。
| Variable | Default | Description |
|---|---|---|
| concurrency_limit | 0 | 単一の BE ノード上のリソースグループの同時実行制限。0 より大きく設定された場合にのみ有効になります。 |
| max_cpu_cores | 0 | 単一の BE ノード上のこのリソースグループの CPU コア制限。0 より大きく設定された場合にのみ有効になります。範囲: [0, avg_be_cpu_cores]、ここで avg_be_cpu_cores はすべての BE ノードの平均 CPU コア数を表します。 |
リソースグループレベルのクエリキューは Query Queue v1 でのみ実装されています。Query Queue v2 を有効にする(共有データクラスタではウェアハウスプロパティ enable_query_queue を true に設定し、共有なしクラスタでは FE 設定項目 enable_query_queue_v2 を true に設定する。後者は v4.1 以降のデフォルト)と、リソースグループの concurrency_limit と max_cpu_cores によってクエリがキューに入れられることはなくなります。この場合、max_cpu_cores は効果がありません。concurrency_limit が適用されないのは、enable_group_level_query_queue が true で、かつクエリ自体がクエリキューの対象である(そのクエリタイプでクエリキューが有効である)場合のみです。それ以外の場合、例えば enable_group_level_query_queue が false(デフォルト)の場合やそのクエリタイプでクエリキューが無効な場合、BE ノードで concurrency_limit を超えたクエリはキューに入れられず、エラー Exceed concurrency limit で失敗します。
各 BE ノードのリソースグループごとのリソース使用情報を表示するには、View Resource Group Usage Information を参照してください。
クエリの同時実行数を管理する
実行中のクエリの数 (num_running_queries) がグローバルまたはリソースグループの concurrency_limit を超えると、受信クエリはキューに入れられます。num_running_queries を取得する方法は、バージョン < v3.1.4 と > v3.1.4 の間で異なります。
-
バージョン < v3.1.4 では、
num_running_queriesはreport_resource_usage_interval_msで指定された間隔で BEs によって報告されます。したがって、num_running_queriesの変化の特定に遅延が生じる可能性があります。たとえば、BEs によって報告されたnum_running_queriesがグローバルまたはリソースグループのconcurrency_limitを超えていない場合でも、次の報告前に受信クエリが到着してconcurrency_limitを超えた場合、これらの受信クエリはキューで待機せずに実行されます。 -
バージョン > v3.1.4 では、すべての実行中のクエリは Leader FE によって集中的に管理されます。各 Follower FE はクエリの開始または終了時に Leader FE に通知し、StarRocks が
concurrency_limitを超えるクエリの急増に対応できるようにします。
Query Queue v1 を設定する
クエリキューの容量とキュー内のクエリの最大タイムアウトを次のグローバルセッション変数を使用して設定できます。
| Variable | Default | Description |
|---|---|---|
| query_queue_max_queued_queries | 1024 | キュー内のクエリの上限。このしきい値に達すると、受信クエリは拒否されます。0 より大きく設定された場合にのみ有効になります。 |
| query_queue_pending_timeout_second | 300 | キュー内の保留中のクエリの最大タイムアウト。このしきい値に達すると、対応するクエリは拒否されます。単位: 秒。 |
クエリ同時実行数の動的調整を設定する
バージョン v3.1.4 以降、クエリキューによって管理され、Pipeline Engine によって実行されるクエリに対して、StarRocks は現在の実行中のクエリの数 num_running_queries、フラグメントの数 num_fragments、およびクエリの同時実行数 pipeline_dop に基づいて、受信クエリのクエリの同時実行数 pipeline_dop を動的に調整できます。これにより、スケジューリングのオーバーヘッドを最小限に抑えながらクエリの同時実行数を動的に制御し、最適な BE リソースの利用を確保できます。フラグメントとクエリの同時実行数 pipeline_dop についての詳細は、Query Management - Adjusting Query Concurrency を参照してください。
クエリキューの下での各クエリに対して、StarRocks はドライバーの概念を維持します。これは、単一の BE 上のクエリの同時フラグメントを表します。その論理値 num_drivers は、単一の BE 上のそのクエリのすべてのフラグメントの総同時実行数を表し、num_fragments * pipeline_dop に等しいです。新しいクエリが到着すると、StarRocks は次のルールに基づいてクエリの同時実行数 pipeline_dop を調整します。
- 実行中のドライバーの数
num_driversがクエリの同時ドライバーの低水位制限query_queue_driver_low_waterを超えるほど、クエリの同時実行数pipeline_dopは低く調整されます。 - StarRocks は、クエリの同時ドライバーの高水位制限
query_queue_driver_high_waterを下回るように実行中のドライバーの数num_driversを抑制します。
クエリの同時実行数 pipeline_dop の動的調整を次のグローバルセッション変数を使用して設定できます。
| Variable | Default | Description |
|---|---|---|
| query_queue_driver_high_water | -1 | クエリの同時ドライバーの高水位制限。非負の値に設定された場合にのみ有効になります。0 に設定すると、avg_be_cpu_cores * 16 に相当します。ここで avg_be_cpu_cores はすべての BE ノードの平均 CPU コア数を表します。0 より大きい値に設定すると、その値が直接使用されます。 |
| query_queue_driver_low_water | -1 | クエリの同時ドライバーの低水位制限。非負の値に設定された場合にのみ有効になります。0 に設定すると、avg_be_cpu_cores * 8 に相当します。0 より大きい値に設定すると、その値が直接使用されます。 |
Query Queue V2
Query Queue V2 は、クエリが実行を開始するタイミングを制御し、クエリの集中時に CPU やメモリの競合による過負荷を軽減します。受け入れられないクエリはキューで待機し、受け入れ条件を満たしてから実行を開始します。
各ウェアハウスは独立したクエリキューを持ちます。システムは各クエリの実行計画からリソース要求を自動推定し、ウェアハウスに受け入れ可能な推定同時実行容量が残っているかを確認します。query_queue_v2_concurrency_level でこの容量を調整し、同時実行クエリ数の上限およびメモリアドミッションと組み合わせて負荷を管理できます。
ALTER WAREHOUSE で単一のウェアハウスのキューを有効化および設定します。あるウェアハウスの設定は、他のウェアハウスのキューには影響しません。以下では、キューイング、有効化と確認の方法、推定同時実行容量、同時実行クエリ数の上限、およびメモリアドミッションの設定を説明します。
ウェアハウス単位のキューイングの仕組み
キューが有効な場合、Leader FE が対象クエリの受け入れを判断します。まだ受け入れられないクエリはキューで待機し、コンピュートノードでの実行を開始しません。受け入れ時には次の 3 つの条件を確認します。
| 制御 | 待機する条件 | 設定方法 |
|---|---|---|
| 推定同時実行容量 | ウェアハウスに残っている推定同時実行容量が、新しいクエリの推定リソース要求を満たさない場合。 | query_queue_v2_concurrency_level で容量を調整します。値を増やすと推定同時実行容量が増加します。 |
| 同時実行クエリ数の上限 | このウェアハウスのキューから受け入れた実行中クエリ数が設定した上限に達した場合。 | query_queue_concurrency_limit を正の値に設定します。0 以下は同時実行数を制限しません。 |
| メモリアドミッション | ウェアハウス内の稼働中ノードのプロセスメモリ使用率がしきい値に達した場合。実行中のクエリは中断しません。 | query_queue_mem_used_pct_limit を 0.8 などの比率に設定します。0 は無効です。実行中クエリがない場合の例外は メモリアドミッション を参照してください。 |
クエリは、推定同時実行容量、同時実行クエリ数の上限、およびメモリアドミッションのすべての確認を通過する必要があります。たとえば同時実行クエリ数の上限を 10 に設定しても、キューから受け入れる実行中クエリが 10 件以下になるという意味であり、10 件の同時実行を保証しません。ノードのメモリ使用率がしきい値未満でも、残りの推定同時実行容量が不足すれば、新しいクエリは待機します。
キューには長さの上限(query_queue_max_queued_queries)と待機時間の上限(query_queue_pending_timeout_second)もあります。キューが満杯の場合や待機時間が上限を超えた場合、クエリは拒否されます。
ウェアハウスのクエリキューを有効にする
ウェアハウスのクエリキューはデフォルトで無効です。enable_query_queue が false の間は、クエリはこのウェアハウスのキューで待機しません。
次のように、このウェアハウスのキューを有効にします。
ALTER WAREHOUSE <warehouse_name> SET ("enable_query_queue" = "true");
この変更は即座に反映されます。FE ノードの再起動は不要です。
enable_query_queue が true の場合、対象の SELECT クエリは受け入れチェックを受け、実行できない場合にのみ待機します。SELECT クエリ専用のウェアハウスプロパティはありません。ロードタスクと統計クエリもキューイングする場合は、対応するプロパティを設定します。
ALTER WAREHOUSE <warehouse_name> SET ("enable_query_queue_load" = "true");
ALTER WAREHOUSE <warehouse_name> SET ("enable_query_queue_statistic" = "true");
クエリキューが機能していることを確認する
確認用のクエリを実行する前に、現在のセッションを設定したウェアハウスに切り替えてください。
SET WAREHOUSE = <warehouse_name>;
ウェアハウスのクエリキューを有効にした後、次の方法でクエリがキューイングされていることを確認できます。
-
SHOW RUNNING QUERIES を実行します。キューイングされたクエリの状態は
PENDINGになります。 -
SHOW PROCESSLIST を実行します。キューイングされたクエリの
IsPending列はtrueになります。 -
SHOW WAREHOUSESを実行します。Property列にはそのウェアハウスで有効なクエリキュープロパティが表示されます。RunningSqlとQueuedSqlの各列は未実装で常に0を返すため、現在の負荷は以下のwarehouse_metricsで確認してください。 -
information_schemaの warehouse_metrics ビューをクエリします。QUEUE_PENDING_LENGTHは現在待機中のクエリ数、QUEUE_RUNNING_LENGTHはキューから受け入れた実行中のクエリ数です。クエリキューが有効なウェアハウスのみがこのビューに表示されるため、結果が空であること自体がenable_query_queueがまだfalseであることを示します。SELECT WAREHOUSE_NAME, QUEUE_PENDING_LENGTH, QUEUE_RUNNING_LENGTHFROM information_schema.warehouse_metrics; -
fe.audit.log の
PendingTimeMsフィールドを確認します。0より大きい値は、そのクエリがキューで待機したことを示します。 -
FE の HTTP ポートで公開される
starrocks_fe_warehouse_query_queueメトリクスをモニタリングします(例:starrocks_fe_warehouse_query_queue{field="query_pending_length"})。詳細は ウェアハウスのモニタリングメトリクス を参照してください。
クエリが一度もキューイングされない場合は、クエリを実行するウェアハウスで enable_query_queue が true に設定されているかを確認し、テストクエリが実際にテーブルをスキャンしているかも確認してください。スキャンノードを持たないクエリはキューに入りません。SELECT sleep(10)、SELECT 1、および information_schema のみを読み取るクエリはいずれもこれに該当し、クエリキューの動作確認には適していません。
推定同時実行容量
システムは、クエリの実行計画からリソース要求を自動推定します。ウェアハウスの計算リソースと query_queue_v2_concurrency_level によって、同時実行に使用できる容量が決まります。クエリごとの推定要求が異なるため、同時に実行できるクエリ数はワークロードによって変わります。クエリが完了すると、使用していた推定容量が解放されます。
ウェアハウスプロパティ query_queue_v2_concurrency_level でこの容量を調整します。有効な上書き値がない場合は、同名の FE 設定項目(デフォルト 4)に従います。値を増やすと推定同時実行容量が増加し、減らすとより保守的にキューイングします。この値は容量レベルであり、8 に設定しても同時実行数の上限が 8 件になるわけではなく、8 件の同時実行を保証するものでもありません。
ALTER WAREHOUSE <warehouse_name> SET ("query_queue_v2_concurrency_level" = "8");
デフォルトの容量レベルから開始し、キューの長さ、実行中クエリ数、CPU、メモリ、およびレイテンシを確認しながら調整します。
- 同時実行数とメモリが各上限に達していなくても、推定容量不足でクエリが待機し、実際のリソースに余裕がある場合は、
query_queue_v2_concurrency_levelを段階的に増やすことを検討します。 - リソースが頻繁に飽和する場合や実行中クエリ間の競合が大きい場合は、値を段階的に減らすことを検討します。
- 容量レベルを増やしても、同時実行クエリ数の上限とメモリアドミッションは適用されます。一度に 1 つの設定を変更し、効果を観察してから再調整してください。
同時実行クエリ数の上限
ウェアハウスプロパティ query_queue_concurrency_limit で、キューから受け入れるクエリの同時実行数を制限します。上限に達すると、新しいクエリはキューで待機します。クエリが完了すると、その同時実行枠が解放されます。
デフォルト値 -1 は同時実行数を制限しません。0 も同様です。正の値を設定すると有効になります。次の例では、このウェアハウスのキューから受け入れた実行中クエリ数を 8 に制限します。
ALTER WAREHOUSE <warehouse_name> SET ("query_queue_concurrency_limit" = "8");
ワークロードが処理できる同時実行数を初期値として選び、キューの長さ、実行中クエリ数、CPU、メモリ、およびレイテンシを確認しながら調整します。
- 実行中クエリ数が上限に達し、リソースに余裕がある場合は、上限を段階的に増やすことを検討します。上限未満でも待機する場合は、推定同時実行容量とメモリアドミッションも確認してください。
- リソースが頻繁に飽和する場合やクエリ間の競合が大きい場合は、上限を減らすことを検討します。
- メモリ使用率も確認してください。同時実行数の上限を増やしても、推定同時実行容量の確認とメモリアドミッションは適用されます。変更の効果を観察してから再調整してください。
メモリアドミッション
4.1 系では、V2 のメモリアドミッションとウェアハウスプロパティ query_queue_mem_used_pct_limit は v4.1.7 以降でサポートされます。
query_queue_mem_used_pct_limit はノードのメモリ使用率のしきい値を設定します。ウェアハウス内のいずれかの稼働中ノードのプロセスメモリ使用量が、そのノードのメモリ上限に対してこの比率に達している間、新しいクエリはキューで待機します。
ウェアハウスプロパティ query_queue_mem_used_pct_limit は、同名のグローバルセッション変数を上書きします。上書き値がなければグローバル値に従い、そのデフォルトは 0(メモリアドミッション無効)です。単一のウェアハウスには ALTER WAREHOUSE を、デフォルト値の変更には SET GLOBAL を使用します。クエリキューに関するウェアハウスプロパティ を参照してください。
メモリ使用率の上限
query_queue_mem_used_pct_limit は [0, 1] の範囲の小数で、たとえば 0.8 は 80% を表します。この値は各ノードのメモリ使用率、つまりノードが使用しているプロセスメモリをノードのメモリ上限で割った値と比較されます。プロセスメモリには、クエリだけでなく、ロード、Compaction、メタデータ、インメモリのデータキャッシュも含まれます。クエリは、クエリプールと BE プロセスのどちらのメモリが尽きても失敗するため、プロセスメモリで比較すると両方の上限に対して余裕を確保でき、ノードのメモリが尽きる前に新しいクエリを待機させます。
メモリ使用率の上限は、次のように動作します。
- 各 BE および CN ノードは、BE 設定項目
report_resource_usage_interval_msで設定された間隔(1 秒)ごとにメモリ使用状況を報告します。これらの報告を受け取るのは Leader FE のみで、受け入れの判断も Leader FE が行います。 - ウェアハウス内のいずれかの稼働中のノードのメモリ使用率が上限以上である間、そのウェアハウスの新しいクエリはキューで待機します。実行中のクエリは影響を受けません。すべてのノードが上限を下回ると、キュー内のクエリが再び受け入れられます。判断は二値で、2 つの状態の間に段階的な制限はありません。
- ウェアハウスにキューによって受け入れられた実行中のクエリがない場合は、上限を超えているノードがあっても、1 つのクエリが受け入れられます。そのメモリはロード、キャッシュ、またはキューを経由しないクエリが保持している可能性があり、キュー内のクエリを待機させ続けても解放されないためです。
- 最新の報告がグローバル変数
query_queue_fresh_resource_usage_interval_ms(デフォルトは5000ミリ秒)より古いノードは判断に参加しません。報告を停止したノードが新しいクエリを待機させ続けることを防ぐためです。稼働していないノードも判断に参加しません。
メモリアドミッションは、このウェアハウスのキューを経由するクエリにのみ適用されます。メモリを予約したり、実行中のクエリのメモリ増加を制限したりするものではありません。
上限の選び方
デフォルトのメモリ水位を使用する場合、0.75 から 0.85 をチューニングの開始範囲として検討してください。実際のしきい値は、プロセスメモリ使用率、クエリのメモリ要求、待機時間、およびキャッシュ設定に基づいて決めます。
プロセスメモリにはインメモリのデータキャッシュも含まれ、そのサイズは datacache_mem_size(デフォルトはプロセスメモリ上限の 20%)で制限されます。データキャッシュとそのメモリ自動調整が有効な場合、BE は memory_high_level(デフォルト 75)を超えるとキャッシュを段階的に回収し、memory_urgent_level(デフォルト 85)を超えると直ちに縮小できます。水位を変更した場合や自動調整を無効にした場合は、この開始範囲を再評価してください。
- キャッシュの回収によって、メモリ使用率が受け入れのしきい値を下回ることがあります。ただし、実行中のクエリ、ロード、その他の処理が多くのメモリを保持していれば、キャッシュが縮小しても新しいクエリは待機し続けることがあります。
- しきい値を低くすると、実行中のクエリのメモリ増加に備えられますが、待機時間が長くなることもあります。バックグラウンド処理やキャッシュの常駐メモリ使用率を下回るしきい値では、受け入れが長時間制限されることがあります。この場合も、実行中クエリがないウェアハウスでは前述の例外により 1 件ずつ受け入れられます。
- しきい値を高くすると、より強いメモリ圧力の下でクエリを受け入れます。
max_node_mem_used_pct、クエリの失敗、およびレイテンシを観察してから再調整してください。
メモリアドミッションを設定する
次の例では、対象のウェアハウスのメモリアドミッションのしきい値を 80% に設定します。
ALTER WAREHOUSE <warehouse_name> SET ("query_queue_mem_used_pct_limit" = "0.8");
このプロパティは、現在のウェアハウスのキューを経由するクエリに適用されます。0 にすると、そのウェアハウスのメモリアドミッションが無効になります。空文字列("")にすると上書きを解除し、グローバルのデフォルト値に再び従います。
グローバルのデフォルト値
個別の上書き値がないウェアハウスのデフォルトのしきい値を変更する場合は、次を実行します。
SET GLOBAL query_queue_mem_used_pct_limit = 0.8;
個別の上書き値があるウェアハウスは、それぞれの値を引き続き使用します。
メモリアドミッションを監視する
warehouse_query_queue メトリクスには、メモリアドミッション用のフィールド max_node_mem_used_pct があります。ウェアハウスのノードのうち最も高いメモリ使用率で、上限と比較される値です。Leader FE で計算されるため、Leader FE から読み取ってください。ウェアハウスのモニタリングメトリクス を参照してください。
制限事項
- 受け入れ時にメモリは予約されません。新しく受け入れられたクエリは、メモリを割り当て、次の報告が届いてはじめて使用量に反映されるため、1 回のバッチで受け入れたクエリが合わせてしきい値を超えることがあります。実行中のクエリのメモリ使用量は、その後も増加する可能性があります。同時実行クエリ数の上限を併用してください。メモリアドミッションは、メモリ不足によるクエリの失敗を防ぐことを保証しません。
- 上限以上のノードが 1 つでもあると、他のノードに空きメモリがあっても、ウェアハウス全体の新しいクエリが待機します。ウェアハウスのクエリは通常そのすべてのノードで実行されるためです。
クエリキューに関するウェアハウスプロパティ
以下のプロパティは、単一のウェアハウスのクエリキューを設定します。
| プロパティ | デフォルト | 説明 |
|---|---|---|
enable_query_queue | false | このウェアハウスでクエリキューを有効にするかどうか。マスタースイッチであり、false の場合、このウェアハウスのクエリはキューイングされません。 |
enable_query_queue_load | false | このウェアハウスのロードタスクをキューイングするかどうか。enable_query_queue が true の場合にのみ有効です。 |
enable_query_queue_statistic | false | このウェアハウスの統計クエリをキューイングするかどうか。enable_query_queue が true の場合にのみ有効です。 |
query_queue_v2_concurrency_level | 同名の FE 設定項目に従う (4) | リソース要求の自動推定に基づく同時実行容量を調整します。値を増やすと容量が増加します。クエリ数の上限ではありません。推定同時実行容量 を参照してください。 |
query_queue_concurrency_limit | -1 | このウェアハウスで同時に実行できるクエリ数の上限。0 より大きい値を設定した場合にのみ有効です。0 以下の値は無制限を意味します。 |
query_queue_max_queued_queries | 1024 | このウェアハウスのキューで待機できるクエリ数の上限。この数に達した後に到着したクエリは、キューイングされずに拒否されます。 |
query_queue_pending_timeout_second | 600 | クエリがこのウェアハウスのキューで待機できる最大時間(秒)。 |
query_queue_mem_used_pct_limit | 同名のグローバルセッション変数に従う (0) | 4.1 系では v4.1.7 以降でサポートされます。このウェアハウスのノードのメモリ使用率の上限で、ノードのメモリ上限に対する [0, 1] の範囲の比率です。0 はこのウェアハウスのメモリアドミッションを無効にします。メモリアドミッション を参照してください。 |
query_queue_v2_concurrency_level のウェアハウス値が正の場合は、同名の FE 設定項目を上書きします。未設定または 0 以下の場合は、その FE 設定に従います。
query_queue_mem_used_pct_limit にウェアハウスの上書き値がなければ、同名のグローバルセッション変数に従います。ウェアハウスプロパティを 0 にするとメモリアドミッションが無効になり、空文字列("")にすると上書きを解除します。
複数のプロパティを 1 つのステートメントで設定できます。
ALTER WAREHOUSE <warehouse_name> SET (
"enable_query_queue" = "true",
"query_queue_v2_concurrency_level" = "4",
"query_queue_concurrency_limit" = "8",
"query_queue_mem_used_pct_limit" = "0.8"
);
Monitor query queues
次の方法を使用して、クエリキューに関連する情報を表示できます。
SHOW PROC
SHOW PROC を使用して、BE ノードでの実行中のクエリの数、メモリおよび CPU 使用率を確認できます。
mysql> SHOW PROC '/backends'\G
*************************** 1. row ***************************
...
NumRunningQueries: 0
MemUsedPct: 0.79 %
CpuUsedPct: 0.0 %
SHOW PROCESSLIST
SHOW PROCESSLIST を使用して、クエリがキューに入っているかどうか (IsPending が true の場合) を確認できます。Warehouse 列にそのクエリが実行されるウェアハウスが表示されます。
mysql> SHOW PROCESSLIST;
+---------------------------------+----------+------+---------------------+------+---------+---------------------+------+-------+------------------+-----------+-------------------+---------------------+-----------------+--------------------------------------+
| ServerName | Id | User | Host | Db | Command | ConnectionStartTime | Time | State | Info | IsPending | Warehouse | CNGroup | Catalog | QueryId |
+---------------------------------+----------+------+---------------------+------+---------+---------------------+------+-------+------------------+-----------+-------------------+---------------------+-----------------+--------------------------------------+
| 127.00.00.01_9010_1787542926940 | 33554554 | root | xxx.xx.xxx.xx:xxxxx | | Query | 2026-08-24 15:08:08 | 0 | OK | SHOW PROCESSLIST | false | default_warehouse | _builtin_cngroup_0_ | default_catalog | 01a03299-1521-77ee-ab7e-ec1387a3beb6 |
+---------------------------------+----------+------+---------------------+------+---------+---------------------+------+-------+------------------+-----------+-------------------+---------------------+-----------------+--------------------------------------+
FE audit log
FE の監査ログファイル fe.audit.log を確認できます。フィールド PendingTimeMs は、クエリがキューで待機していた時間を示し、その単位はミリ秒です。
Monitoring metrics
Monitor and Alert 機能を使用して、StarRocks のクエリキューのメトリクスを取得できます。次の FE メトリクスは、各 FE ノードの統計データから導出されます。
| Metric | Unit | Type | Description |
|---|---|---|---|
| starrocks_fe_query_queue_pending | Count | Instantaneous | 現在キューにあるクエリの数。 |
| starrocks_fe_query_queue_total | Count | Instantaneous | キューに入れられたクエリの総数 (現在実行中のものを含む)。 |
| starrocks_fe_query_queue_timeout | Count | Instantaneous | キュー内でタイムアウトしたクエリの総数。 |
| starrocks_fe_resource_group_query_queue_total | Count | Instantaneous | このリソースグループでキューに入れられたクエリの総数 (現在実行中のものを含む)。name ラベルはリソースグループの名前を示します。このメトリクスは v3.1.4 以降でサポートされています。 |
| starrocks_fe_resource_group_query_queue_pending | Count | Instantaneous | このリソースグループのキューに現在あるクエリの数。name ラベルはリソースグループの名前を示します。このメトリクスは v3.1.4 以降でサポートされています。 |
| starrocks_fe_resource_group_query_queue_timeout | Count | Instantaneous | このリソースグループのキュー内でタイムアウトしたクエリの数。name ラベルはリソースグループの名前を示します。このメトリクスは v3.1.4 以降でサポートされています。 |
SHOW RUNNING QUERIES
SHOW RUNNING QUERIES を実行して、クエリの状態とキュー情報を確認します。
SHOW RUNNING QUERIES;
次のフィールドに注目してください。
QueryId: クエリの ID。WarehouseId: クエリが実行されるウェアハウスの ID。デフォルトのウェアハウスは「-」と表示されます。State: クエリの状態。PENDINGはキューで待機中、RUNNINGは実行中を表します。PendingTimeout: クエリのキュー待機の期限。QueryTimeout: クエリのタイムアウト期限。