メトリクス iからpまで
マテリアライズドビューと共有データクラスターのメトリクスについては、対応するセクションで詳しく説明しています。
StarRocksクラスターの監視サービスを構築する方法の詳細については、以下を参照してください。監視とアラート。
iceberg_delete_bytes
- 単位: バイト
- 種類: 累積
- ラベル:
delete_type(positionまたはmetadata) - 説明: Iceberg
DELETEタスクから削除された合計バイト数。metadata削除の場合、これは削除されたデータファイルのサイズを表します。position削除の場合、これは作成された位置削除ファイルのサイズを表します。
iceberg_delete_duration_ms_total
- 単位: ミリ秒
- タイプ: 累積
- ラベル:
delete_type(positionまたはmetadata) - 説明: Iceberg
DELETEタスクの合計実行時間(ミリ秒)。各タスクの実行時間は、終了後に加算されます。delete_typeは、2つの削除方法を区別します。
iceberg_delete_rows
- 単位: 行
- タイプ: 累積
- ラベル:
delete_type(positionまたはmetadata) - 説明: Iceberg
DELETEタスクから削除された行の合計数。metadata削除の場合、これは削除されたデータファイル内の行数を表します。position削除の場合、これは作成された位置削除の数を表します。
iceberg_delete_total
- 単位: カウント
- タイプ: 累積
- ラベル:
status(successまたはfailed)reason(none、timeout、oom、access_denied、unknown)delete_type(positionまたはmetadata)
- 説明: Icebergテーブルをターゲットとする
DELETEタスクの合計数。このメトリックは、各タスクの終了後、成功または失敗にかかわらず1ずつ増加します。delete_typeは、2つの削除方法を区別します:position(位置削除ファイルを生成する) とmetadata(メタデータレベルの削除)。
iceberg_compaction_duration_ms_total
- 単位: ミリ秒
- 種類: 累積
- ラベル:
compaction_type(manualまたはauto) - 説明: Icebergコンパクションタスクの実行に費やされた合計時間。
iceberg_compaction_input_files_total
- 単位: カウント
- タイプ: 累積
- ラベル:
compaction_type(manualまたはauto) - 説明: Icebergコンパクションタスクによって読み取られたデータファイルの総数。
iceberg_compaction_output_files_total
- 単位: 数
- タイプ: 累積
- ラベル:
compaction_type(manualまたはauto) - 説明: Icebergコンパクションタスクによって生成されたデータファイルの総数。
iceberg_compaction_removed_delete_files_total
- 単位: カウント
- 種類: 累積
- ラベル:
compaction_type(manualまたはauto) - 説明: Icebergの手動コンパクションタスクによって削除された削除ファイルの総数。
iceberg_compaction_total
- 単位: 数
- タイプ: 累積
- ラベル:
compaction_type(manualまたはauto) - 説明: Icebergコンパクション (
rewrite_data_files) タスクの総数。
iceberg_merge_bytes
- 単位: バイト
- タイプ: 累積
- ラベル:
file_type(dataまたはposition_delete) - 説明: Iceberg
MERGE INTOタスクによって書き込まれた総バイト数を、ファイル種別ごとに集計します。dataは新規データファイル(更新された行と挿入された行)のサイズを表し、position_deleteは命中した旧行をマークする position delete ファイルのサイズを表します。
iceberg_merge_duration_ms_total
- 単位: ミリ秒
- タイプ: 累積
- 説明: Iceberg
MERGE INTOタスクの総実行時間(ミリ秒)。各タスクの実行時間は、タスク終了後に加算されます。
iceberg_merge_files
- 単位: カウント
- タイプ: 累積
- ラベル:
file_type(dataまたはposition_delete) - 説明: Iceberg
MERGE INTOタスクによって書き込まれたファイルの総数を、ファイル種別ごとに集計します。dataは新規データファイルの件数を、position_deleteは position delete ファイルの件数を数えます。
iceberg_merge_rows
- 単位: 行
- タイプ: 累積
- ラベル:
file_type(dataまたはposition_delete) - 説明: Iceberg
MERGE INTOタスクが処理した行の総数を、ファイル種別ごとに集計します。position_deleteは UPDATE または DELETE によって命中したターゲット行(position delete として追加される)をカウントし、dataは書き込まれたデータ行(更新された行と挿入された行)をカウントします。
iceberg_merge_total
- 単位: カウント
- タイプ: 累積
- ラベル:
status(successまたはfailed)reason(none、timeout、oom、access_denied、unknown)
- 説明: Iceberg テーブルを対象とする
MERGE INTOタスクの総数。このメトリクスは、各タスクが成功・失敗にかかわらず終了するたびに 1 ずつ加算されます。Iceberg MERGE INTO は V2 Merge-On-Read モデルを採用しており、単一のスナップショットでデータファイルと position delete ファイルを原子的に書き込みます。
iceberg_metadata_table_query_total
- 単位: カウント
- タイプ: 累積
- ラベル:
metadata_table(refs、history、metadata_log_entries、snapshots、manifests、files、partitions、またはproperties) - 説明: IcebergメタデータテーブルにアクセスするSQLクエリの合計数。各クエリは、アクセスされているメタデータテーブルを識別する
metadata_tableラベルの下でカウントされます。
iceberg_time_travel_query_total
- 単位: カウント
- タイプ: 累積
- ラベル: カテゴリ化されたシリーズの
time_travel_type(branch、tag、snapshot、またはtimestamp)。 - 説明: Icebergタイムトラベルクエリの合計数。ラベルなしのシリーズは、各タイムトラベルクエリを1回カウントします。ラベル付きのシリーズは、クエリで使用される各異なるタイムトラベルタイプをカウントします。
snapshotはFOR VERSION AS OF <snapshot_id>を意味し、branchとtagはFOR VERSION AS OF <reference_name>を意味し、timestampはFOR TIMESTAMP AS OF ...を意味します。
iceberg_update_bytes
- 単位: バイト
- タイプ: 累積
- ラベル:
file_type(dataまたはposition_delete) - 説明: Iceberg
UPDATEタスクによって書き込まれた総バイト数を、ファイル種別ごとに集計します。dataは更新後の行を含む新規データファイルのサイズを表し、position_deleteは更新対象の旧行をマークする position delete ファイルのサイズを表します。
iceberg_update_duration_ms_total
- 単位: ミリ秒
- タイプ: 累積
- 説明: Iceberg
UPDATEタスクの総実行時間(ミリ秒)。各タスクの実行時間は、タスク終了後に加算されます。
iceberg_update_files
- 単位: カウント
- タイプ: 累積
- ラベル:
file_type(dataまたはposition_delete) - 説明: Iceberg
UPDATEタスクによって書き込まれたファイルの総数を、ファイル種別ごとに集計します。dataは新規データファイルの件数を、position_deleteは position delete ファイルの件数を数えます。
iceberg_update_rows
- 単位: 行
- タイプ: 累積
- 説明: Iceberg
UPDATEタスクが影響を与えた行の総数。生成されるファイル数に関係なく、1 行は 1 回のみカウントされます。
iceberg_update_total
- 単位: カウント
- タイプ: 累積
- ラベル:
status(successまたはfailed)reason(none、timeout、oom、access_denied、unknown)
- 説明: Iceberg テーブルを対象とする
UPDATEタスクの総数。このメトリクスは、各タスクが成功・失敗にかかわらず終了するたびに 1 ずつ加算されます。Iceberg UPDATE は V2 Merge-On-Read モデルを採用しており、単一のスナップショットでデータファイルと position delete ファイルを原子的に書き込みます。
iceberg_write_bytes
- 単位: バイト
- タイプ: 累積
- ラベル:
write_type(insert、overwrite、またはctas) - 説明: Iceberg書き込みタスク (
INSERT、INSERT OVERWRITE、CTAS) から書き込まれたバイトの合計。これは、Icebergテーブルに書き込まれたデータファイルの合計サイズを表します。write_typeは操作タイプを区別します。
iceberg_write_duration_ms_total
- 単位: ミリ秒
- タイプ: 累積
- ラベル:
write_type(insert、overwrite、またはctas) - 説明: Iceberg書き込みタスク (
INSERT、INSERT OVERWRITE、CTAS) の合計実行時間 (ミリ秒)。各タスクの実行時間は、終了後に加算されます。write_typeは操作タイプを区別します。
iceberg_write_files
- 単位: カウント
- タイプ: 累積
- ラベル:
write_type(insert、overwrite、またはctas) - 説明: Iceberg書き込みタスク (
INSERT、INSERT OVERWRITE、CTAS) からIcebergに書き込まれたデータファイルの合計数。これは、Icebergテーブルに書き込まれたデータファイルの数を表します。write_typeは操作タイプを区別します。
iceberg_write_rows
- 単位: 行
- タイプ: 累積
- ラベル:
write_type(insert、overwrite、またはctas) - 説明: Iceberg書き込みタスク (
INSERT、INSERT OVERWRITE、CTAS) から書き込まれた行の合計。これは、Icebergテーブルに書き込まれた行数を表します。write_typeは操作タイプを区別します。
iceberg_write_total
- 単位: カウント
- タイプ: 累積
- ラベル:
status(successまたはfailed)reason(none、timeout、oom、access_denied、unknown)write_type(insert、overwrite、またはctas)
- 説明: Icebergテーブルをターゲットとする
INSERT、INSERT OVERWRITE、またはCTASタスクの合計数。このメトリックは、各タスクの終了後、成功または失敗にかかわらず1ずつ増加します。write_typeは操作タイプを区別します。
int128_column_pool_bytes
- 単位: バイト
- 説明: INT128カラムプールによって使用されるメモリ。
int16_column_pool_bytes
- 単位: バイト
- 説明: INT16カラムプールによって使用されるメモリ。
int32_column_pool_bytes
- 単位: バイト
- 説明: INT32カラムプールによって使用されるメモリ。
int64_column_pool_bytes
- 単位: バイト
- 説明: INT64カラムプールによって使用されるメモリ。
int8_column_pool_bytes
- 単位: バイト
- 説明: INT8カラムプールによって使用されるメモリ。
jwks_fetch_latency_ms
- 単位: ms
- タイプ: Histogram
- 説明: ID プロバイダーから JWKS(JSON Web Key Set)を取得するたびのレイテンシ。きっかけは問いません。
jwks_urlの初回ロード、キャッシュ TTL 前のバックグラウンド更新、未知のkidを持つトークンによる強制更新、リトライのいずれも含み、失敗した取得も計測します。JWT の署名検証自体は安定した CPU コストなので、Bearer 認証が遅くなったときに時間がかかっているのはこの取得です。 - 導入時期: v4.2
jwks_refresh_total
- 単位: 個
- タイプ: Counter
- 説明: ID プロバイダーからの JWKS 取得の総数。
result(successまたはfailure)でラベル付けされます。HTTP 取得そのものの時点で 1 回ずつ数えるため、バックグラウンド更新は 1 回として数えられ、取得に失敗してキャッシュ済みの鍵で応答した場合(jwks_cache_outage_ttl_secondsを参照)はfailureとして数えられます。failureが増え続ける場合は ID プロバイダーの JWKS エンドポイントが不健全です。障害許容ウィンドウが尽きるまでは、認証はキャッシュ済みの鍵で継続します。 - 導入時期: v4.2
jemalloc_active_bytes
- 単位: バイト
- 説明: アプリケーションによって割り当てられたアクティブなページ内の合計バイト数。
jemalloc_allocated_bytes
- 単位: バイト
- 説明: アプリケーションによって割り当てられた合計バイト数。
jemalloc_dirty_bytes
- 単位: バイト
- 説明: 未使用のダーティページ内の合計バイト数。これらのページはまだ madvise によってオペレーティングシステムに返却されておらず、ページフォールトを発生させずに新しい割り当てに再利用できます。
jemalloc_mapped_bytes
- 単位: バイト
- 説明: アロケータによってマップされたアクティブなエクステント内の合計バイト数。
jemalloc_metadata_bytes
- 単位: バイト
- 説明: メタデータに割り当てられた合計バイト数。これには、ブートストラップに敏感なアロケータメタデータ構造に使用される基本割り当てと内部割り当てが含まれます。透過的ヒュージページの使用はこの項目には含まれません。
jemalloc_metadata_thp
- 単位: カウント
- 説明: メタデータに使用される透過的ヒュージページの数。
jemalloc_muzzy_bytes
- 単位: バイト
- 説明: 未使用の muzzy ページ内の合計バイト数。muzzy はダーティページと保持(retained)ページの中間的な減衰状態で、ページは madvise(例: MADV_FREE)によって処理済みですが、アドレスマッピングはまだ保持されています。
jemalloc_resident_bytes
- 単位: バイト
- 説明: アロケータによってマップされた物理的に常駐するデータページ内の最大バイト数。これには、アロケータメタデータに割り当てられたすべてのページ、アクティブな割り当てをバックアップするページ、および未使用のダーティページが含まれます。
jemalloc_retained_bytes
- 単位: バイト
- 説明: munmap(2)のような操作を介してオペレーティングシステムに返されるのではなく、保持された仮想メモリマッピングの合計バイト数。
jit_cache_mem_bytes
- 単位: バイト
- 説明: JITコンパイルされた関数キャッシュによって使用されるメモリ。
lake_cache_dump_bytes_total
- 単位: バイト
- 説明:
lake_cache_dump_totalが数えるキャッシュダンプがディスクに書き出した合計バイト数。キャッシュブロック自体と、比較用にその隣へ保存されるオブジェクトストレージ側の写しの両方を含みます。
lake_cache_dump_failed_total
- 単位: 個
- 説明: 実行を開始したものの失敗した自動キャッシュダンプの回数。たとえばファイルを開けない、ブロックを書き出せない場合です。
lake_cache_dump_skipped_totalとは異なり、調査が必要な不具合を示します。キャッシュ自体は破棄されます。
lake_cache_dump_skipped_total
- 単位: 個
- 説明: 何も残さなかった自動キャッシュダンプの回数:
lake_dump_corrupted_cacheが無効、lake_cache_dump_interval_secondsのレート制限が経過していない、別のダンプが実行中、空き容量が必要なマージンを下回る、あるいは収集時点でキャッシュに対象ブロックが残っていなかった、のいずれかです。破損が起きたのにダンプが残っていない理由は、この指標で説明できます。いずれの場合もキャッシュ自体は破棄されます。
lake_cache_dump_total
- 単位: 個
- 説明: 自動の破損キャッシュ回復パスが共有データファイルのローカルキャッシュを破棄する前に、そのキャッシュブロックをダンプできた回数。
lake_dump_corrupted_cacheで制御されます。/api/cloudnative/cacheAPI 経由のダンプはこの指標に含まれません。
lake_compaction_failed
- 単位: 件数
- 説明: 失敗したストレージ・コンピュート分離(lake)コンパクションジョブのカウンタ。
lake_compaction_partial_success
- 単位: 件数
- 説明: 部分的に成功したストレージ・コンピュート分離(lake)コンパクションジョブのカウンタ。
lake_compaction_partition_max_consecutive_abnormal_count
-
単位: 件数
-
タイプ: Gauge
-
説明: 現在の Leader 上にあるすべての Lake 物理パーティションについて、異常なコンパクションが連続した回数の最大値を示します。各パーティションでは、実行されたコンパクションが失敗または部分的に成功した場合にカウントが
1増え、完全に成功すると0にリセットされます。Follower は0を返します。この値は FE メモリにのみ保持されるため、FE の再起動や Leader のフェイルオーバーをまたいだ連続性は保証されません。 -
推奨する単一クラスターのアラート:
max(starrocks_fe_lake_compaction_partition_max_consecutive_abnormal_count) >= 3このアラートを
is_leaderでフィルタしないでください。集中管理された Prometheus では、たとえばmax by (cluster) (...)のように、デプロイメントラベルを保持する必要があります。
lake_compaction_running
- 単位: 件数
- 説明: 現在ストレージ・コンピュート分離(lake)コンパクションジョブを実行している物理パーティションの数。各物理パーティションは最大 1 件として数えられます。
lake_compaction_running_tasks
- 単位: 件数
- 説明: 実行中のすべてのストレージ・コンピュート分離(lake)コンパクションジョブに含まれる、未完了の tablet 単位コンパクションタスク数。このメトリクスは
lake_compaction_max_tasksと同じ単位です。lake_compaction_runningは物理パーティション数を表すため、1 つのパーティションが複数の tablet 単位タスクとして数えられることがあります。is_leaderラベルが付与されており、Follower FE はis_leader="false"で値 0 を出力するため、ダッシュボードではis_leader="true"でフィルタしてください。
lake_compaction_score_at_trigger
- 単位: スコア
- タイプ: Gauge
- 説明: 直近にストレージ・コンピュート分離(lake)コンパクションジョブを起動したパーティションのコンパクションスコア(整数に丸めた値)。値はそのパーティション内タブレットの 最大 スコア(
Quantiles.getMax())で、スケジューラがコンパクション対象パーティションを選ぶ判定基準と一致します。トリガごとに各パーティションで 1 回更新され、Gauge は最新の更新値を保持します。この Gauge は減衰しません。Leader FE では、コンパクションが実行されていないときは直近のトリガ値を保持します(0 にリセットされません)。この値はプロセスローカル(Leader 上のインメモリカウンターで、永続化されません)であるため、FE Leader のフェイルオーバー後、新しく昇格した Leader は 0 から開始し、最初のコンパクショントリガまで 0 を報告します——前の Leader の値は引き継ぎません。この指標を単独で参照するのではなく、lake_compaction_running > 0と組み合わせてアラートを設定してください。is_leaderラベルが付与されており、Follower FE はis_leader="false"を返し値は 0 になるため、ダッシュボードではis_leader="true"でフィルタしてください。
lake_compaction_success
- 単位: 件数
- 説明: 成功したストレージ・コンピュート分離(lake)コンパクションジョブのカウンタ。
lake_ingest_slowdown_delayed
- 単位: 件数
- タイプ: Counter
- 説明: 共有データクラスタのみ。書き込み先パーティションの Compaction スコアが
lake_ingest_slowdown_thresholdを超えたため、データ取り込みの減速によってコミットが遅延されたロードトランザクションの数。遅延中にコミットが何度リトライされても、各トランザクションは 1 回だけ数えられます。ここで数えられたトランザクションはlake_ingest_slowdown_timeoutには数えられませんが、遅延終了後にコミットが拒否された場合はlake_ingest_slowdown_rejectedにも数えられます。is_leaderラベルが付与されており、Follower FE はis_leader="false"で値 0 を出力するため、ダッシュボードではis_leader="true"でフィルタしてください。
lake_ingest_slowdown_rejected
- 単位: 件数
- タイプ: Counter
- 説明: 共有データクラスタのみ。書き込み先パーティションの Compaction スコアが
lake_compaction_score_upper_boundを超えたため、コミットが拒否されたロードトランザクションの数。コミットはエラー "too large compaction score" で失敗します。拒否後に同じトランザクションが再度コミットされても、各トランザクションは 1 回だけ数えられます。再度のコミットは成功することがあるため、このメトリクスに数えられてもロードが失敗したとは限りません。先に遅延され、遅延終了後に拒否されたトランザクションは、このメトリクスとlake_ingest_slowdown_delayedの両方に数えられます。is_leaderラベルが付与されており、Follower FE はis_leader="false"で値 0 を出力するため、ダッシュボードではis_leader="true"でフィルタしてください。
lake_ingest_slowdown_timeout
- 単位: 件数
- タイプ: Counter
- 説明: 共有データクラスタのみ。データ取り込みの減速による遅延で、最も早いコミット可能時刻がトランザクションのタイムアウトより後になったため、失敗したロードトランザクションの数。このようなトランザクションは最初のコミット時にエラー "timed out due to ingestion slowdown" で失敗し、
lake_ingest_slowdown_delayedには数えられません。書き込みの終了時点ですでにタイムアウトしていたトランザクションも同じエラーで失敗しますが、タイムアウトの原因は遅延ではないため、数えられません。is_leaderラベルが付与されており、Follower FE はis_leader="false"で値 0 を出力するため、ダッシュボードではis_leader="true"でフィルタしてください。
lake_tablet_location_handoff_entries
- 単位: 件数
- タイプ: 瞬時値
- 説明: 共有データモード専用。この BE が所有していない tablet について保持しているストレージロケーションの件数。これらは combined txn log を書き込むために、ロード時に tablet の所有ノードから引き渡されたものです(BE 設定項目
lake_shard_info_cache_ttl_secを参照)。エントリはstaros_shard_info_fallback_cache_entriesで数えられるエントリと共有する 16 MiB の LRU キャッシュに保持され、最後の更新からlake_shard_info_cache_ttl_secの間有効で、キャッシュに空きが必要になったときに削除されます。そのため、この値は引き渡しが現在使われているかどうかではなく、キャッシュの占有量を表します。
lake_tablet_location_handoff_hits_total
- 単位: 件数
- タイプ: 累積
- 説明: 共有データモード専用。この BE が所有していない tablet のストレージロケーションを、StarMgr に問い合わせる代わりに所有ノードから引き渡されたロケーションで解決した回数。1 回増えるごとに StarMgr の GetShard RPC が 1 回省かれます。
file_bundlingが有効なテーブルへのロードを調整するノードで増加します。staros_shard_info_fallback_totalと合わせると、引き渡しのヒット率はhits / (hits + fallback)で求められます。
lake_vacuum_del_file_batch_size_minute
- 単位: 件数(バッチあたりファイル数)
- タイプ: Gauge
- 説明: 共有データクラスタにおける Vacuum の直近 60 秒の
DeleteObjectsバッチあたり平均ファイル数。
lake_vacuum_del_file_retries_minute
- 単位: 件数
- タイプ: Gauge
- 説明: 共有データクラスタにおける Vacuum の直近 60 秒に発生した削除リトライ回数。一時的なオブジェクトストレージのスロットリング(SlowDown / try-again)を可視化する。
lake_vacuum_failed_tasks
- 単位: 件数
- タイプ: Counter
- 説明: 共有データクラスタのみ。この CN が処理した Vacuum リクエストのうちエラーで終了した回数。各リクエストはこの CN 上の 1 パーティションのタブレットを対象とする。
lake_vacuum_succeeded_tasks
- 単位: 件数
- タイプ: Counter
- 説明: 共有データクラスタのみ。この CN が処理した Vacuum リクエストのうち正常に完了した回数。各リクエストはこの CN 上の 1 パーティションのタブレットを対象とする。
load_bytes
- 単位: バイト
- 説明: ロードされた合計バイト数。
load_channel_count
- 単位: カウント
- 説明: ロードチャネルの総数。
load_mem_bytes
- 単位: バイト
- 説明: データロードのメモリコスト。
load_rows
- 単位: カウント
- 説明: ロードされた合計行数。
load_rpc_threadpool_size
- 単位: カウント
- 説明: RPCスレッドプールの現在のサイズ。これは、ルーチンロードとテーブル関数を介したロードの処理に使用されます。デフォルト値は10で、最大値は1000です。この値は、スレッドプールの使用状況に基づいて動的に調整されます。
load_sink_close_active_threads
- 単位: カウント
- タイプ: 瞬時値
- 説明: ロード Sink クローズスレッドプールで実行中のクローズ処理の数。共有データクラスタでは、各クローズ処理がロードの結合トランザクションログをオブジェクトストレージに書き込みます。
load_sink_close_execute_time_ns_total
- 単位: ナノ秒
- タイプ: 累積
- 説明: 完了したロード Sink クローズタスクの累積実行時間。クローズ中の待機とオブジェクトストレージへの書き込み時間を含み、各タスクの終了時に更新されます。
load_sink_close_executed_tasks_total
- 単位: カウント
- タイプ: 累積
- 説明: スレッドプールで完了したロード Sink クローズタスクの数。エラーを返したクローズタスクも含みます。
load_sink_close_pending_time_ns_total
- 単位: ナノ秒
- タイプ: 累積
- 説明: 完了したロード Sink クローズタスクがスレッドプールのキューで待機した累積時間。各タスクの終了時に更新され、現在キューで待機中のタスクはまだ含まれません。
load_sink_close_queue_count
- 単位: カウント
- タイプ: 瞬時値
- 説明: ロード Sink クローズスレッドプールのキューで待機しているクローズ処理の数。値が増え続ける場合、オブジェクトストレージへの書き込みがロードの完了に追いついていません。
load_sink_close_running_threads
- 単位: カウント
- タイプ: 瞬時値
- 説明: ロード Sink クローズスレッドプールのスレッド数。
load_sink_close_threadpool_size
- 単位: カウント
- タイプ: 瞬時値
- 説明: ロード Sink クローズスレッドプールの最大スレッド数。
load_sink_close_thread_pool_num_maxで設定します。
local_column_pool_bytes (Deprecated)
low_cardinality_dict_cache_bytes
- 単位: バイト
- タイプ: Gauge
- 説明: この FE 上の低基数グローバル辞書キャッシュ(
CacheDictManager)にキャッシュされている辞書データの合計バイト数。キャッシュによって正確に追跡され(サンプリングではありません)、シリアライズされた辞書データを数え、実際のヒープ使用量の下限となります。このキャッシュはlow_cardinality_dict_cache_max_bytes設定によってこのサイズで上限が設定されます。
max_disk_io_util_percent
- 単位: -
- 説明: ディスクI/O使用率の最大パーセンテージ。
max_network_receive_bytes_rate
- 単位: バイト
- 説明: ネットワーク経由で受信した合計バイト数(すべてのネットワークインターフェースの中で最大値)。
max_network_send_bytes_rate
- 単位: バイト
- 説明: ネットワーク経由で送信された合計バイト数(すべてのネットワークインターフェースの中で最大値)。
memory_pool_bytes_total
- 単位: バイト
- 説明: メモリプールによって使用されたメモリ。
memtable_flush_duration_us
- 単位: us
- 説明: メムテーブルフラッシュに費やされた合計時間。
memtable_flush_queue_count
- 単位: カウント
- 説明: メムテーブルフラッシュスレッドプール内のキューに入れられたタスク数。
memtable_flush_total
- 単位: カウント
- 説明: メムテーブルフラッシュの合計数。
merge_commit_append_pipe
- 単位: マイクロ秒
- タイプ: サマリー
- 説明: マージコミット中にストリームロードパイプにデータを追加するのに費やされた時間。
merge_commit_fail_total
- 単位: カウント
- タイプ: 累積
- 説明: 失敗したマージコミットリクエスト。
merge_commit_pending
- 単位: マイクロ秒
- タイプ: サマリー
- 説明: マージコミットタスクが実行前に保留中のキューで待機する時間。
merge_commit_pending_bytes
- 単位: バイト
- タイプ: 瞬間
- 説明: 保留中のマージコミットタスクによって保持されているデータの合計バイト数。
merge_commit_pending_total
- 単位: カウント
- タイプ: 瞬間
- 説明: 現在実行キューで待機中のマージコミットタスク。
merge_commit_register_pipe_total
- 単位: カウント
- タイプ: 累積
- 説明: マージコミット操作のために登録されたストリームロードパイプ。
merge_commit_request
- 単位: マイクロ秒
- タイプ: サマリー
- 説明: マージコミットリクエストのエンドツーエンド処理レイテンシー。
merge_commit_request_bytes
- 単位: バイト
- タイプ: 累積
- 説明: マージコミットリクエスト全体で受信されたデータの合計バイト数。
merge_commit_request_total
- 単位: カウント
- タイプ: 累積
- 説明: BEによって受信されたマージコミットリクエストの合計数。
merge_commit_send_rpc_total
- 単位: カウント
- タイプ: 累積
- 説明: マージコミット操作を開始するためにFEに送信されたRPCリクエスト。
merge_commit_success_total
- 単位: カウント
- タイプ: 累積
- 説明: 正常に完了したマージコミットリクエスト。
merge_commit_unregister_pipe_total
- 単位: カウント
- タイプ: 累積
- 説明: マージコミット操作から登録解除されたストリームロードパイプ。
レイテンシーメトリクスは、merge_commit_request_latency_99 や merge_commit_request_latency_90 のようなパーセンタイル系列を公開し、マイクロ秒で報告されます。エンドツーエンドのレイテンシーは以下に従います。
merge_commit_request = merge_commit_pending + merge_commit_wait_plan + merge_commit_append_pipe + merge_commit_wait_finish
注記: v3.4.11、v3.5.12、v4.0.4より前では、これらのレイテンシーメトリクスはナノ秒で報告されていました。
merge_commit_wait_finish
- 単位: マイクロ秒
- タイプ: サマリー
- 説明: マージコミットロード操作が完了するのを待機した時間。
merge_commit_wait_plan
- 単位: マイクロ秒
- タイプ: サマリー
- 説明: RPCリクエストとストリームロードパイプが利用可能になるのを待機する時間の合計レイテンシー。
meta_replay_lag_second
- 単位: 秒
- タイプ: Gauge
- 説明: この FE が再生済みのメタデータが、Leader の時刻からどれだけ遅れているか。Leader FE は 10 秒ごとにタイムスタンプをジャーナルに書き込んでおり、この項目はこのノードが再生した最新のタイムスタンプの経過時間です。
max_journal_replay_lagは Leader のみが報告しますが、この項目は遅延しているノード自身が報告し、1 件のジャーナルの再生が滞っている間も増加し続けます。Leader FE はタイムスタンプを再生せず書き込む側であるため、常に0を報告します。この値がmeta_delay_toleration_secondを超えると、そのノードは自身のメタデータでの読み取り提供を停止し、クエリを Leader に転送します。ただし例外が 2 つあります。1 つはignore_meta_checkがtrueの場合で、このときは読み取りの提供を続けます。もう 1 つは、前回のチェック以降ジャーナルを 1 件も再生しておらず、かつ Leader との接続が保たれている場合です。このときそのノードは現在の読み取り提供状態をそのまま維持します。Leader が何も書き込んでいなければ、その時刻から遅れていること自体はこのノードの状態を表さないためです。この 2 つ目のケースはノードをサービスから外さないだけであり、すでに読み取りの提供を停止しているノードを復帰させるものではありません。
meta_request_duration
- 単位: us
- 説明: メタ読み取り/書き込みの合計時間。
meta_request_total
- 単位: カウント
- 説明: メタ読み取り/書き込みリクエストの合計数。
metadata_mem_bytes (Deprecated)
network_receive_bytes
- 単位: バイト
- 説明: ネットワーク経由で受信した合計バイト数。
network_receive_packets
- 単位: カウント
- 説明: ネットワーク経由で受信したパケットの合計数。
network_send_bytes
- 単位: バイト
- 説明: ネットワーク経由で送信されたバイト数。
network_send_packets
- 単位: カウント
- 説明: ネットワーク経由で送信されたパケットの合計数。
ordinal_index_mem_bytes
- 単位: バイト
- 説明: 順序インデックスによって使用されるメモリ。
page_cache_capacity
- 説明: ストレージページキャッシュの容量。
page_cache_hit_count
- 単位: カウント
- 説明: ストレージページキャッシュでのヒットの合計数。
page_cache_insert_count
- 単位: カウント
- 説明: ストレージページキャッシュでの挿入操作の合計数。
page_cache_insert_evict_count
- 単位: カウント
- 説明: 容量制約により挿入操作中に削除されたキャッシュエントリの合計数。
page_cache_lookup_count
- 単位: カウント
- 説明: ストレージページキャッシュのルックアップの合計数。
page_cache_release_evict_count
- 単位: カウント
- 説明: キャッシュ使用量が容量を超えた際に、解放操作中に削除されたキャッシュエントリの合計数。
pip_query_ctx_cnt
- 単位: カウント
- 説明: BEで現在実行中のクエリの総数。
pipe_driver_execution_time
- 説明: PipelineDriverエグゼキュータがPipelineDriverの処理に費やした累積時間。
pipe_driver_queue_len
- 単位: カウント
- 説明: BEでスケジューリングを待機している準備完了キュー内の準備完了ドライバーの現在の数。
pipe_driver_schedule_count
- 単位: カウント
- 説明: BEのパイプラインエグゼキュータのドライバーのスケジューリング時間の累積数。
starrocks_fe_pipe_failed_bytes
- 単位: バイト
- タイプ: 累積
- ラベル:
db_id、pipe_type(FILE) - 説明: PIPE ロードが取り込みに失敗したファイルの合計サイズ。PIPE のサブタスクがリトライを使い切った時点で、そのサブタスクに含まれるファイルの合計サイズを加算します。これらのメトリクスと
information_schema.pipe_filesの関係についてはstarrocks_fe_pipe_failed_filesを参照してください。
starrocks_fe_pipe_failed_files
- 単位: カウント
- タイプ: 累積
- ラベル:
db_id、pipe_type(FILE) - 説明: PIPE ロードが取り込みに失敗したファイルの合計数。PIPE のサブタスクがリトライを使い切った時点で、そのサブタスクに含まれるファイル数を加算するため、1 つのファイルはリトライごとではなく最終的な失敗ごとに 1 回だけカウントされます。加算される値は、
information_schema.pipe_filesに新たに追加されるLOAD_STATEがERRORの行数と一致します。ただし累積カウンターであるため、現在のERROR行数の合計とは一致しません。ALTER PIPE ... RETRY ALLは対象行をUNLOADEDに戻しますがメトリクス値は変わらず、同じファイルが再び最終的に失敗すると再度加算されます。このメトリクスは増加率で監視し、現在の滞留量はinformation_schema.pipe_filesを参照してください。
starrocks_fe_pipe_failed_tasks
- 単位: カウント
- タイプ: 累積
- ラベル:
db_id、pipe_type(FILE) - 説明: リトライを使い切った PIPE ロードのサブタスクの合計数。1 つのサブタスクが扱うファイル数は一定ではないため、失敗したデータ量を測るには
starrocks_fe_pipe_failed_filesを使用してください。このメトリクスは最終的に断念したサブタスクのみを数えます。一方starrocks_fe_pipe_complete_tasksのdone_statusがERRORの系列は、後に成功するサブタスクの失敗分も含め、失敗した試行をすべて数えます。
pipe_poller_block_queue_len
- 単位: カウント
- 説明: パイプラインエンジン内のPipelineDriverPollerのブロックキューの現在の長さ。
pipe_poller_max_driver_check
- 単位: マイクロ秒
- タイプ: サマリー
- 説明: PipelineDriverPollerの1回のポーリングで、最も時間がかかった単一ドライバーのチェックに要した時間。値が大きい場合、1つのブロック中ドライバーのチェックがポーリング全体を遅らせています。
pipe_poller_pass
- 単位: マイクロ秒
- タイプ: サマリー
- 説明: PipelineDriverPollerがブロック中のドライバーを1回ポーリングするのに要した時間。各エグゼキュータセットのポーラースレッドは1つだけのため、1回のポーリングが長いと、そのスレッドを待つすべてのドライバーが遅れます。直近のウィンドウ内の最大値は
pipe_poller_pass_max_latencyで確認できます。
pipe_prepare_pool_queue_len
- 単位: カウント
- 説明: パイプラインPREPAREスレッドプール内のキューに入れられたタスク数。これは瞬間的な値です。
pipe_scan_executor_queuing
- 単位: カウント
- 説明: スキャンオペレータによって起動された保留中の非同期I/Oタスクの現在の数。
pk_index_compaction_queue_count
- 単位: カウント
- 説明: プライマリキーインデックス圧縮スレッドプール内のキューに入れられたタスク数。
pk_index_sst_read_error_total
- タイプ: カウンター
- 単位: カウント
- 説明: レイクプライマリキー永続インデックスにおけるSSTファイル読み取り失敗の総数。SSTマルチゲット(読み取り)操作が失敗した場合、または Compaction が入力SSTファイルの読み取り中にデータ破損を検出した場合に増加します。
pk_index_sst_write_error_total
- タイプ: カウンター
- 単位: カウント
- 説明: レイクプライマリキー永続インデックスにおけるSSTファイル書き込み失敗の総数。SSTファイルの構築が失敗した場合に増加します。
plan_fragment_count
- 単位: カウント
- 説明: 現在実行中のクエリプランフラグメントの数。
process_fd_num_limit_hard
- 単位: カウント
- 説明: ファイルディスクリプタの最大数のハードリミット。
process_fd_num_limit_soft
- 単位: カウント
- 説明: ファイルディスクリプタの最大数のソフトリミット。この項目はソフトリミットを示します。ハードリミットは
ulimitコマンドを使用して設定できます。
process_fd_num_used
- 単位: カウント
- 説明: このBEプロセスで現在使用中のファイルディスクリプタの数。
process_mem_bytes
- 単位: バイト
- 説明: このプロセスが使用するメモリ。
このメトリクスには、passthrough_mem_bytes が追跡するローカル pass-through バッファのメモリが含まれます。pass-through メトリクスはプロセス合計の一部であり、追加のメモリではありません。合計使用量を計算する際に両者を加算しないでください。このメモリ計上値はコンテナの RSS とは異なります。
process_thread_num
- 単位: カウント
- 説明: このプロセス内のスレッドの総数。
publish_version_queue_count
- 単位: カウント
- 説明: パブリッシュバージョン スレッドプール内のキューに入れられたタスク数。
push_request_duration_us
- 単位: us
- 説明: Spark Loadに費やされた合計時間。
push_request_write_bytes
- 単位: バイト
- 説明: Spark Loadを介して書き込まれた合計バイト数。
push_request_write_bytes_per_second
- 単位: バイト/秒
- 説明: Spark Loadのデータ書き込みレート。
push_request_write_rows
- 単位: 数
- 説明: Spark Load経由で書き込まれた行の合計。
push_requests_total
- 単位: 数
- 説明: 成功および失敗したSpark Loadリクエストの合計数。