メインコンテンツまでスキップ
バージョン: 26.2 Preview

BE 設定 - 共有データ、データレイク、その他

一部の BE 構成項目は動的パラメータであり、BE ノードがオンラインのときに対話的に設定できます。それ以外は静的パラメータです。静的パラメータは、PhoenixAI Cloud コンソールで変更することでのみ設定できます。

  1. PhoenixAI Cloud コンソール にサインインします。
  2. Clusters ページで、構成したいクラシック クラスターをクリックします。
  3. クラスターの詳細ページで、Cluster parameters タブをクリックします。
  4. BE Node static configuration セクションで、View all parameter list をクリックします。
  5. 表示されるダイアログ ボックスで、New parameter をクリックします。
  6. Parameter key フィールドに構成したい静的パラメータの名前を入力し、Value フィールドに設定したいパラメータ値を入力します。構成可能なパラメータの詳細については、Usage notes を参照してください。
  7. Value フィールドの横にある保存ボタンをクリックして、パラメータ変更の記録を保存します。
  8. 変更したいすべてのパラメータを構成した後、Save changes をクリックして変更を保存します。
  9. 変更を有効にするには、適切なタイミングでクラスターを手動で一時停止して再開するか、BE Node static configuration セクションで Apply to all nodes をクリックしてクラスターを即座に再起動します。

PhoenixAI Cloud コンソールでウェアハウスの Compute ノードパラメータを設定するには、以下の手順に従ってください:

  1. PhoenixAI Cloud コンソール にサインインします。
  2. Clusters ページで、設定したい弾力性のあるクラスターをクリックします。
  3. クラスターの詳細ページで、Warehouses タブをクリックします。
  4. Warehouses タブで、設定したいウェアハウスをクリックします。
  5. ウェアハウスの詳細ページで、Warehouse parameters タブをクリックします。
  6. Compute Node static configuration セクションで、View all parameter list をクリックします。
  7. 表示されるダイアログボックスで、New parameter をクリックします。
  8. 設定したい静的パラメータの名前を Parameter key フィールドに入力し、設定したいパラメータ値を Value フィールドに入力します。
    注記

    PhoenixAI はパラメータキーと値の型に対する検証チェックを提供します。有効なパラメータキーと値のみが適用可能です。設定可能なパラメータの詳細については、Usage notes を参照してください。

  9. Value フィールドの隣にある保存ボタンをクリックして、パラメータ変更の記録を保存します。
  10. 変更したいすべてのパラメータを設定した後、Save changes をクリックして変更を保存します。
  11. 変更を有効にするには、適切なタイミングでウェアハウスを手動で一時停止して再開するか、Compute Node static configuration セクションで Apply to all nodes をクリックしてウェアハウスを即座に再起動します。default_warehouse の場合は、クラスターの再起動のみ可能です。

BE の設定項目を表示する​

次のコマンドを使用して BE の設定項目を表示できます。

SELECT * FROM information_schema.be_configs [WHERE NAME LIKE "%<name_pattern>%"]

BE パラメータを設定する​

BE の動的パラメータを設定する​

curl コマンドを使用して、BE ノードの動的パラメータを設定できます。

curl -XPOST http://be_host:http_port/api/update_config?<configuration_item>=<value>

BE の静的パラメータを設定する​

BE の静的パラメータは、PhoenixAI Cloud コンソールで変更し、BE を再起動して変更を有効にすることでのみ設定できます。


このトピックでは、以下の種類のBE構成について紹介します:

共有データ​

cloud_native_pk_index_rebuild_files_threshold​

  • デフォルト: 50
  • タイプ: Int
  • 単位: -
  • 変更可能: Yes
  • 説明: クラウドネイティブ主キーインデックスのリビルド時に許容される最大 Segment ファイル数。リビルドが必要なファイル数がこの閾値を超えた場合、StarRocks はメモリ内の MemTable を即座にフラッシュし、リプレイが必要な Segment 数を削減します。0 に設定するとこの早期フラッシュ戦略は無効になります。
  • 導入バージョン: -

cloud_native_pk_index_rebuild_rows_threshold​

  • デフォルト: 10000000
  • タイプ: Long
  • 単位: 行
  • 変更可能: Yes
  • 説明: クラウドネイティブ主キーインデックスのリビルド時に許容される最大行数。リビルドが必要な行数がこの閾値を超えた場合、StarRocks はメモリ内の MemTable を即座にフラッシュし、インデックス再構築のコストを削減します。0 に設定するとこの早期フラッシュ戦略は無効になります。cloud_native_pk_index_rebuild_files_threshold と連携して動作し、いずれかの閾値を超えるとフラッシュがトリガーされます。この行数には Segment の行数に加えて del ファイルに記録された tombstone(削除)行数が含まれるため、少数の大きな del ファイルを生成する削除の多いワークロードもこの閾値に計上されます。行数を記録していない旧バージョンで書き込まれた del ファイルは 0 として計上されます。
  • 導入バージョン: -

cloud_native_tablet_metadata_ancestors_recorded​

  • デフォルト: 5
  • タイプ: Int
  • 単位: -
  • 変更可能: Yes
  • 説明: tablet ごとに保持される過去の tablet metadata 祖先バージョンの数。CHANGES クエリで遡れるバージョン範囲を決定します。値を大きくすると CHANGES がより古い base バージョンまで遡れるようになりますが、metadata ストレージのコストが増加します。
  • 導入バージョン: -

download_buffer_size​

  • デフォルト: 4194304
  • タイプ: Int
  • 単位: Bytes
  • 変更可能: Yes
  • 説明: スナップショットファイルをダウンロードする際に使用されるメモリ内コピー用バッファのサイズ(バイト)。SnapshotLoader::download はこの値を fs::copy に対してリモートの sequential file からローカルの writable file へ読み込む際の 1 回あたりのチャンクサイズとして渡します。帯域幅の大きいリンクでは、より大きな値にすることで syscall/IO オーバーヘッドが減りスループットが向上する可能性があります。小さい値はアクティブな転送ごとのピークメモリ使用量を削減します。注意: このパラメータはストリームごとのバッファサイズを制御するものであり、ダウンロードスレッド数を制御するものではありません — 総メモリ消費量 = download_buffer_size * number_of_concurrent_downloads です。
  • 導入バージョン: v3.2.13

graceful_exit_wait_for_frontend_heartbeat​

  • デフォルト: false
  • タイプ: Boolean
  • 単位: -
  • 変更可能: Yes
  • 説明: グレースフルシャットダウンを完了する前に、少なくとも1件のフロントエンドからの heartbeat 応答で SHUTDOWN 状態が返されるのを待つかどうかを決定します。有効にすると、heartbeat RPC を介して SHUTDOWN の確認が返されるまでグレースフルシャットダウン処理は継続され、フロントエンドが通常の2回のハートビート間隔内で終了状態を検出するための十分な時間を確保します。
  • 導入バージョン: v3.4.5

lake_compaction_stream_buffer_size_bytes​

  • デフォルト: 1048576
  • タイプ: Int
  • 単位: バイト
  • 変更可能: はい
  • 説明: 共有データクラスタでのクラウドネイティブテーブルコンパクションのためのリーダーのリモート I/O バッファサイズ。デフォルト値は 1MB です。この値を増やすことでコンパクションプロセスを加速できます。
  • 導入バージョン: v3.2.3

lake_dump_tablet_metadata_per_request_memory_limit_bytes​

  • デフォルト: 268435456
  • タイプ: Long
  • 単位: バイト
  • 変更可能: はい
  • 説明: CN が 1 件の /api/cloudnative/dump_tablet_metadata リクエストを同期処理するときの追跡対象メモリ予算です。バイト単位の厳密な上限ではなく、標準の MemTracker の集計粒度を使用します。メタデータの検査、機密フィールドのマスキング、JSON シリアライズを対象としますが、CN のメタデータキャッシュに既に格納されているメタデータと非同期 HTTP 出力バッファは対象外です。各リクエストは受付時に取得した値を使用します。この値が 0 以下の場合、新しいリクエストは fail-closed で拒否されます。
  • 導入バージョン: v26.2

lake_dump_tablet_metadata_per_request_json_size_limit_bytes​

  • デフォルト: 33554432
  • タイプ: Long
  • 単位: バイト
  • 変更可能: はい
  • 説明: 1 件の /api/cloudnative/dump_tablet_metadata リクエストが返す完全な JSON レスポンスの最大バイト数です。HTTP 出力バッファへ渡す前にサイズを検査します。各リクエストは受付時に取得した値を使用します。この値が 0 以下の場合、新しいリクエストは fail-closed で拒否されます。
  • 導入バージョン: v26.2

lake_dump_tablet_metadata_max_concurrency​

  • デフォルト: 1
  • タイプ: Int
  • 単位: リクエスト
  • 変更可能: はい
  • 説明: 1 台の CN で同時に受け付ける /api/cloudnative/dump_tablet_metadata リクエスト数の上限です。各リクエストは HTTP request が解放されるまで 1 スロットを使用します。値を増やすと新しいリクエストに直ちに反映されます。値を減らしても受付済みのリクエストはキャンセルされず、アクティブ数が新しい上限未満になるまで新しいリクエストは拒否されます。この値が 0 以下の場合、新しいリクエストは fail-closed で拒否されます。
  • 導入バージョン: v26.2

lake_enable_del_file_crc_check​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データクラスタの主キーテーブルの削除ファイル (.del) を、トランザクションの publish または主キーインデックスの再構築時に読み戻す際、そのメタデータに記録された CRC32C で検証するかどうか。不一致が検出された場合、誤った主キーを削除する代わりに、破損エラーで操作が失敗します。このチェックサムが導入される前に書き込まれた削除ファイルはチェックサムを持たず、常に受け入れられるため、この項目は旧バージョンで書き込まれたデータには影響しません。チェックサムの書き込みはこの項目では制御されず、この項目は検証のみを制御します。
  • 導入バージョン: v4.2

lake_enable_pk_preserve_txn_delete_order​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データクラスタの主キーテーブルにおいて、1 つのトランザクション内での UPSERT と DELETE の順序を保持するかどうか。1 つのロードトランザクションに同一キーの DELETE とそれ以降の再 UPSERT が含まれる場合、有効にすると再 UPSERT が優先されます(共有なしクラスタの動作と一致)。デフォルトで有効です。ダウングレードの安全性のため、この修正をサポートしない BE バージョンにロールバックする(または混在クラスタで実行する)前に false に設定してください。有効にすると、この修正をサポートしないバージョンにロールバックした BE が誤って解釈しうるオンディスクメタデータをロードが永続化し、主キーの重複を引き起こす可能性があります。無効の場合、DELETE は従来の動作(トランザクション内のすべての UPSERT の後に適用)にフォールバックします。1 つのロードで同じキーを DELETE してから再度 UPSERT し、その DELETE と UPSERT が別々にフラッシュされる場合(大量データのロードなど)、そのキーは最終的に削除され、UPSERT は失われます。ソートキー(ORDER BY)が主キーと異なる主キーテーブルでは、この設定にかかわらず常に順序が保持されます。
  • 導入バージョン: v4.1.4

lake_enable_protobuf_file_checksum​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データクラスタの Tablet メタデータおよびトランザクションログファイルを、Adler-32 チェックサム付きで書き込むかどうか。これにより、これらのファイルの破損を読み取り時に検出できます。この項目の設定にかかわらず、読み取り側はチェックサムが存在する場合は常に自動的に検出して検証します。この項目は書き込み形式のみを制御します。クラスタが、チェックサム形式に対応していないバージョンへダウングレードされる可能性がある場合にのみ、この項目を false に設定してください。ローリングアップグレードまたはダウングレードの期間中、古い BE または CN は旧来のリーダーを使用するため、新形式で書き込まれたファイルを解析できません。
  • 導入バージョン: v4.2

lake_enable_publish_partial_meta​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: File Bundling を有効にした共有データテーブルの Publish で、アグリゲーターが受け取れなかった可能性のある各 Tablet の結果を保持するかどうか。リクエスト到着から Publish の RPC タイムアウトに 3 秒を加えた時間を過ぎて完了した Tablet、またはリトライの Publish で処理された Tablet は、その結果をオブジェクトストレージではなく、そのノードのローカル Data Cache に保持します。以降、そのノードでのリトライはトランザクションを再適用せずにこの結果を読み取るため、遅いパーティションのリトライのたびに、完了済みの Tablet が再実行されることはありません。これらのエントリは他の Data Cache のデータと同様に退避されます。Data Cache が有効な場合にのみ機能します。すべての BE ノードと CN ノードで同じ値を設定してください。
  • 導入バージョン: v4.2

lake_enable_txn_vlog_group​

  • デフォルト: true

  • タイプ: Boolean

  • 単位: -

  • 変更可能: はい

  • 説明: 共有データクラスタの Schema Change Publish で、複数ステートメントからなるトランザクションを、ステートメント順のロググループとして独立した {tablet}_{version}.group.vlog ファイルに書き込むかどうか。従来の単一ログは {tablet}_{version}.vlog ファイルを使用します。この項目の設定にかかわらず、本バージョンの読み取り側は従来の単一ログ形式と新しいステートメントグループ形式の両方に対応します。デフォルトの true では、各ステートメントが自身のスキーマ、セグメント、書き換えメタデータ、削除位置を保持するため、同一トランザクション内で DELETE の後に INSERT を実行しても、部分更新メタデータの不一致により Shadow Publish が失敗することはありません。false に設定すると、従来のログをマージする書き込み処理に戻り、この既知の問題も再び発生します。この項目を変更しても、既に書き込まれたバージョン付きトランザクションログは変換されません。

    グループ形式の読み取りに対応していないバージョンの CN は、ステートメントグループを読み取れません。この項目が存在しない、またはデフォルトが false の以前のバージョンからアップグレードする場合は、アップグレードした各 CN を起動する前に cn.conf で lake_enable_txn_vlog_group = false を設定し、Publish、リプレイ、またはクリーンアップを実行する可能性のあるすべての CN のアップグレードが完了するまで false のままにしてください。これには、バックグラウンドのワーカーノードや、交換用ノードに使用するイメージも含まれます。その後、以下の手順で有効にしてください。以前のバージョンがグループ形式を読み取れない場合、この手順は必須です。旧バージョンの CN が残っている状態でグループ形式の書き込みを有効にすると、コミット済みトランザクションのステートメントがエラーなく失われる可能性があります。グループの書き込み側が一部のソースログを削除した後、旧 CN が残りのソースログだけでリトライして不完全な従来形式のログを書き込み、リプレイではグループファイルよりもそのログが優先されるためです。

    有効化と無効化のどちらの場合も、切り替える前に関連する Schema Change と複数ステートメントの Publish 処理を一時停止し、実行中のリクエストが完了するのを待ち、すべての対象 CN の設定を同じ値に更新してから処理を再開してください。この項目は読み取り機能の対応状況をネゴシエーションせず、クラスタ全体でのアトミックな切り替えも提供しません。

    false に設定すると、それ以降のグループ形式での書き込みのみが停止します。既存のグループ形式のログは変換、消費、または削除されません。グループ形式の読み取りに対応していないバージョンにダウングレードする前に、すべての対象ストレージルートの txnlog ディレクトリを一覧し、*.group.vlog ファイルが一つも残っていないことを確認してください。有効な従来形式のログと共存する未使用のグループファイルも対象です。旧バージョンの Tablet クリーンアップもこれらのファイルを走査しますが、デコードできません。ALTER が FINISHED になったこと、トランザクションが VISIBLE になったこと、または通常の Vacuum が完了したことだけでは、ファイルが残っていないとは確認できません。File Bundling が有効な場合、リプレイが成功してもこれらのログは保持され、通常の Vacuum もバージョン付きログを回収しません。残っている場合は、安全なクリーンアップが完了するまでグループ形式を読み取れるバージョンを使用し続けてください。この項目を無効にするだけでは、安全にダウングレードできません。

  • 導入バージョン: -

lake_pk_compaction_max_input_rowsets​

  • デフォルト: 500
  • タイプ: Int
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データクラスタでの主キーテーブルコンパクションタスクで許可される最大入力 rowset 数。このパラメータのデフォルト値は v3.2.4 および v3.1.10 以降 5 から 1000 に、v3.3.1 および v3.2.9 以降 500 に変更されました。主キーテーブルのためのサイズ階層型コンパクションポリシーが有効になった後 (enable_pk_size_tiered_compaction_strategy を true に設定することで)、StarRocks は各コンパクションの rowset 数を制限して書き込み増幅を減らす必要がなくなります。したがって、このパラメータのデフォルト値は増加しました。
  • 導入バージョン: v3.1.8, v3.2.3

lake_pk_compaction_max_rowsets_per_level​

  • デフォルト: 20
  • タイプ: Int
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データクラスタの主キーテーブルで、あるサイズレベルのコンパクション待ちの rowset がこの数に達すると、そのレベルのスコアが最高でなくてもマージされます。サイズ階層型コンパクションポリシーは各ラウンドでスコアが最も高いレベルのみをマージします。ロードが継続している間は、最新の小さな rowset のレベルが毎回最高スコアとなるため、より大きな rowset(以前のコンパクションの出力や中規模のロード)からなるレベルは増え続けます。その結果、クエリが読み取る segment 数が増え、コンパクションの完了直後にコンパクションスコアのスパイクとして現れます。選択されていないレベルのコンパクション待ちの rowset がこの数に達し、かつそれらが選択済みの rowset と同じコンパクションタスクに収まる場合、そのレベルはそのコンパクションタスクでマージされます。0 に設定するとこの動作は無効になります。
  • 導入バージョン: -

lake_pk_compaction_base_enable_delete_trigger​

  • デフォルト: false
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データの主キータブレットに対する自動 Compaction で、削除率または削除行数がしきい値に達したときに Base Compaction を選択できるかどうか。このスイッチは削除量による自動 Base Compaction だけを制御し、通常の Cumulative Compaction には影響しません。継続的な更新や削除がある大きなタブレットでは、絶対削除行数のしきい値に頻繁に達し、データが繰り返し書き換えられる可能性があるため、デフォルトでは無効です。手動の ALTER TABLE ... COMPACT はこのスイッチと 2 つの削除しきい値を回避します。削除行がなければ通常の Compaction 選択にフォールバックします。自動と手動のいずれも、1 回でタブレット全体がマージされるとは限りません。
  • 導入バージョン: v4.1.7, v26.2.1

lake_pk_compaction_base_delete_ratio_threshold​

  • デフォルト: 0.5
  • タイプ: Double
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データの主キータブレットで、削除量による自動 Base Compaction の選択を判定する 2 つのしきい値の一方です。現在のすべての Rowset の合計削除率 sum(num_dels) / sum(num_rows) がこの値に達するか、合計削除行数が lake_pk_compaction_base_delete_rows_threshold に達すると選択対象になります。v4.1.4~v4.1.6 は両方のしきい値を直接確認します。v4.1.7 以降は lake_pk_compaction_base_enable_delete_trigger = true も必要です。手動の ALTER TABLE ... COMPACT は両方のしきい値を回避します。しきい値に達しても FE による即時スケジュールは保証されません。
  • 導入バージョン: v4.1.4

lake_pk_compaction_base_delete_rows_threshold​

  • デフォルト: 10000000
  • タイプ: Int
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データの主キータブレットで、削除量による自動 Base Compaction を選択する絶対行数のしきい値です。lake_pk_compaction_base_delete_ratio_threshold と OR 条件で組み合わせます。削除行数はタブレット内の現在のすべての Rowset の sum(num_dels) です。v4.1.4~v4.1.6 はこのしきい値を直接確認します。v4.1.7 以降は lake_pk_compaction_base_enable_delete_trigger = true も必要です。手動要求はこのしきい値を回避します。全体の削除率が低くても Delete Vector の削除マークが多い場合を補います。値を大きくすると自動 Base Compaction の頻度が下がり、小さくすると削除データ回収の選択対象に早くなります。
  • 導入バージョン: v4.1.4

enable_lake_pk_compaction_score_gate​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データクラスタにおける主キーテーブルのサイズ階層型コンパクション「スコアゲート」のマスタースイッチ。デフォルトで有効な場合、価値の低い疎な中間層のコンパクションをスキップします。選択された層のコンパクションスコアが lake_pk_compaction_min_level_score を下回り、かつ以下のいずれの例外条件も発動しない場合、その層はコンパクションされず、わずかなファイル数の削減のために大量のベースデータを書き換えることを回避します。false に設定すると、ゲート全体を 1 つのスイッチで無効化できます。この場合、選択された各層は無条件にコンパクションされ (ゲート導入前の動作)、以下のしきい値パラメータは効果を持ちません。
  • 導入バージョン: v4.2

lake_pk_compaction_min_level_score​

  • デフォルト: 2.0
  • タイプ: Double
  • 単位: -
  • 変更可能: はい
  • 説明: 主キーテーブルのコンパクションスコアゲートのスコアしきい値 (enable_lake_pk_compaction_score_gate を参照)。サイズ階層型セレクタが選択した層の合計コンパクションスコアがこの値を下回り、かつ例外条件が一つも発動しない場合、そのコンパクションをスキップします。rowset ごとのスコアは io_count * 1MB / read_bytes で、層全体で合計されます。小さい rowset や重複した rowset が多い層はスコアが高く (有用なコンパクション)、大きく重複のない rowset が少数の層はスコアが低くなります (ほぼ純粋なベース書き換え)。0 に設定するとゲートは無効になります。層のスコアは常に 0 以上だからです。
  • 導入バージョン: v4.2

lake_pk_compaction_min_benefit_cost_ratio​

  • デフォルト: 0.005
  • タイプ: Double
  • 単位: -
  • 変更可能: はい
  • 説明: 主キーテーブルのコンパクションスコアゲートの例外条件の一つ。しきい値を下回る層を依然としてコンパクションするために必要な最小の利益/コスト比 (書き換え 1 MB あたりに削減される segment 数)。この利益には削除ベクトル (delvec) のクリーンアップ圧力も含まれます (lake_pk_compaction_delvec_benefit_weight を参照)。0 に設定するとこの例外が無効になり、lake_pk_compaction_min_level_score のみが適用されます。
  • 導入バージョン: v4.2

lake_pk_compaction_emergency_score​

  • デフォルト: 50.0
  • タイプ: Double
  • 単位: -
  • 変更可能: はい
  • 説明: 主キーテーブルのコンパクションスコアゲートの例外条件の一つ。タブレット全体の読み取り圧力スコア (すべての rowset スコアの合計) がこの値に達すると、選択された層が lake_pk_compaction_min_level_score を下回っていてもコンパクションが実行され、読み取り増幅の大きいホットなタブレットが枯渇しないようにします。0 に設定するとこの例外が無効になります。
  • 導入バージョン: v4.2

lake_pk_compaction_delvec_benefit_weight​

  • デフォルト: 12.0
  • タイプ: Double
  • 単位: -
  • 変更可能: はい
  • 説明: lake_pk_compaction_min_benefit_cost_ratio で使用される利益/コスト比において、層の削除圧力を segment 換算の利益単位に変換する重み。計算式は benefit = real_benefit_segments + delete_ratio * input_segments * weight です。値が大きいほど削除ベクトルのクリーンアップに積極的になり、値が小さいほど書き込み増幅の削減を優先します。0 に設定すると削除分の寄与がなくなり、この比は segment 数の利益のみを反映します。
  • 導入バージョン: v4.2

lake_pk_compaction_size_overflow_ratio​

  • デフォルト: 2.0
  • タイプ: Double
  • 単位: -
  • 変更可能: はい
  • 説明: 主キーテーブルのコンパクションスコアゲートの例外条件の一つ。しきい値を下回る層の合計バイト数が ratio * largest_rowset_bytes * size_tiered_level_multiple (つまり自然な次階層への昇格目標の ratio 倍) を超えると、長期的な中間層の蓄積を抑えるためにコンパクションが強制されます。デフォルトの 2.0 は、強制マージの前に自然な昇格しきい値の 2 倍まで許容することを意味します。0 に設定するとこの例外が無効になり、サイズの上限がなくなります。
  • 導入バージョン: v4.2

enable_lake_prepared_split_pre_refinement​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: Prepared Physical Split Lake スキャン(セッション変数 enable_lake_prepared_physical_split_scan を参照)が、シードのページプルーニングがまだ実行中の間に、プルーニングされていない Segment 範囲をカバーする追加の Coarse-range morsel を発行するかどうか。これにより、リファインされた範囲が確定するまで、本来アイドル状態のドライバーをビジー状態に保ちます。無効にしてもデータが失われることはありません(Coarse Range は常に Refined Range が差し引く対象のスーパーセットです)。早期の並列性を、冗長な Coarse スキャンの削減と引き換えにするだけです。
  • 導入バージョン: v4.2

lake_prepared_split_max_splitted_scan_rows​

  • デフォルト: 262144
  • タイプ: Int
  • 単位: 行
  • 変更可能: はい
  • 説明: Prepared Physical Split Lake スキャンが有効な場合(セッション変数 enable_lake_prepared_physical_split_scan を参照)にのみ適用される splitted_scan_rows(Split Morsel ごとにスキャンされる行数)の上限。実際の上限は min(tablet_internal_parallel_max_splitted_scan_rows, 本パラメータ) であるため、Split Morsel をより細かく(大きなタブレットを、アイドル状態のドライバーを埋めるより多くのサブレンジ morsel に分割)することしかできず、粗くすることはありません。共有データクラスタでのみ有効です。
  • 導入バージョン: v4.2

lake_put_txn_log_timeout_guard_ms​

  • デフォルト: -1
  • タイプ: Int64
  • 単位: ミリ秒
  • 変更可能: はい
  • 説明: 共有データクラスタでオブジェクトストレージにトランザクションログを書き込む際(put_txn_log および put_combined_txn_log パス)のタイムアウトガードのしきい値。トランザクションログの書き込みがこの値より長くかかった場合、StarRocks は遅いスレッドのスタックトレースを BE ログにダンプし、オブジェクトストレージへの書き込みが遅い原因の診断に役立てます。デフォルトでは無効(0 以下でこのガードを無効化)。有効にするには 4000(4 秒)などの正の値を設定します。
  • 導入バージョン: -

lake_rows_mapper_read_parallelism​

  • デフォルト: 32
  • タイプ: Int
  • 単位: sub-chunk 数
  • 変更可能: はい
  • 説明: 共有データクラスタでの主キーテーブル軽量コンパクション publish 時、RowsMapperIterator が .lcrm(lake compaction rows-mapper)ファイルを読む際に in-flight で保持する sub-chunk 読み取りの最大数。各 sub-chunk のサイズは lake_rows_mapper_sub_chunk_bytes で制御され、segment 境界をまたぎません。イテレータは PK index 実行スレッドプールに最大この数の並行読み取りを投入し、リモート読み取りを呼び出し側の per-segment 処理とパイプライン化します。メモリ上限は lake_rows_mapper_read_parallelism * lake_rows_mapper_sub_chunk_bytes。1 に設定するとパイプライン化を無効にし、逐次読み取りにフォールバックします。

lake_rows_mapper_sub_chunk_bytes​

  • デフォルト: 4194304
  • タイプ: Int
  • 単位: バイト
  • 変更可能: はい
  • 説明: 共有データクラスタでの主キーテーブル軽量コンパクション publish 時、RowsMapperIterator のパイプライン化された .lcrm 読み取りにおける sub-chunk の粒度。各出力 segment は ceil(segment_bytes / lake_rows_mapper_sub_chunk_bytes) 個の sub-chunk に分割され、独立してパイプライン化されます。値を小さくするほど、少数の大きな出力 segment で達成可能な並列度が上がりますが、その代わりに範囲読み取りが増え、consume 時に追加の memcpy が発生します。デフォルトは 4 MiB で、starcache のディスク層 block サイズと一致させています。

lake_segment_metadata_cache_limit_percent​

  • デフォルト: 10
  • タイプ: Int
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データクラスタにおける Segment メタデータキャッシュの容量で、BE プロセスメモリ上限に対する割合(パーセント)で指定します。このキャッシュは、オープン済みの Segment(フッター、インデックス、カラムリーダー)、delete vector、および Tablet スキーマを保持します。Tablet メタデータキャッシュ(lake_tablet_metadata_cache_limit_percent を参照)とは独立しているため、大量の Segment をロードしても Tablet メタデータやトランザクションログが追い出されることはありません。0–100 の範囲外の値は 0 または 100 として扱われます。0 に設定するとこのキャッシュを無効にします。この項目は lake_tablet_metadata_cache_limit_percent とともに lake_metadata_cache_limit を置き換えます。この値はキャッシュ容量の上限であり、BE プロセスのメモリが逼迫するとキャッシュはこの値より小さく縮小されます(lake_tablet_metadata_cache_min_limit を参照)。
  • 導入バージョン: -

lake_segment_metadata_cache_min_limit​

  • デフォルト: 1073741824
  • タイプ: Long
  • 単位: Bytes
  • 変更可能: はい
  • 説明: 共有データクラスタにおいて、メモリ逼迫時に Segment メタデータキャッシュがメモリを解放する際(lake_tablet_metadata_cache_min_limit を参照)の容量の下限。この値が lake_segment_metadata_cache_limit_percent で設定された容量より大きい場合、キャッシュはその容量のまま縮小しません。
  • 導入バージョン: -

lake_shard_info_cache_ttl_sec​

  • デフォルト: 60
  • タイプ: Int
  • 単位: 秒
  • 変更可能: はい
  • 説明: 共有データクラスタで、BE または CN が自身の所有していない tablet のストレージロケーションを保持する時間。保持している間に同じ tablet に再びアクセスしても、StarMgr への問い合わせは発生しません。ノードが保持するロケーションは 2 種類あります。1 つ目は、ノード自身が StarMgr に問い合わせて得たものです。他のノードに割り当てられた tablet のファイルを読み書きするときに問い合わせが発生し、その回数は starrocks_be_staros_shard_info_fallback_total に計上されます。たとえば、1 回のロードで複数のノードが同じ tablet に書き込む場合や、Vacuum がパーティション内のすべての tablet のメタデータを読み取る場合です。このロケーションで応答した回数は staros_shard_info_fallback_cache_hits_total に計上されます。2 つ目は、tablet を所有するノードから引き渡されたものです。file_bundling が有効なテーブルへのロードでは、所有ノードがトランザクションログとともにロケーションを返し、ロードを調整するノードはそれを使って各パーティションの combined txn log を問い合わせなしで書き込みます。このロケーションで応答した回数は lake_tablet_location_handoff_hits_total に計上されます。tablet を所有するノードには StarMgr からストレージボリュームの更新がプッシュされますが、保持されたロケーションは期限が切れるまで更新されません。そのため、この項目は、こうしたノードが古いストレージボリューム設定 (ローテーション済みの認証情報など) を使い続ける最長時間も決めます。保持されるロケーションにはストレージボリュームの認証情報が含まれます。0 に設定すると 2 種類とも無効になり、引き渡しも保持も行われず、毎回 StarMgr に問い合わせます。
  • 導入バージョン: -

lake_tablet_metadata_cache_limit_percent​

  • デフォルト: 5
  • タイプ: Int
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データクラスタにおける Tablet メタデータキャッシュの容量で、BE プロセスメモリ上限に対する割合(パーセント)で指定します。このキャッシュは Tablet メタデータとトランザクションログを保持します。Segment メタデータキャッシュ(lake_segment_metadata_cache_limit_percent を参照)とは独立しているため、大量の Segment をロードしてもこれらが追い出されることはありません。0–100 の範囲外の値は 0 または 100 として扱われます。0 に設定するとこのキャッシュを無効にします。この項目は lake_segment_metadata_cache_limit_percent とともに lake_metadata_cache_limit を置き換えます。この値はキャッシュ容量の上限であり、BE プロセスのメモリが逼迫するとキャッシュはこの値より小さく縮小されます(lake_tablet_metadata_cache_min_limit を参照)。
  • 導入バージョン: -

lake_tablet_metadata_cache_min_limit​

  • デフォルト: 1073741824
  • タイプ: Long
  • 単位: Bytes
  • 変更可能: はい
  • 説明: 共有データクラスタにおける Tablet メタデータキャッシュの容量の下限。BE プロセスのメモリ使用量が memory_high_level を超えると、Tablet メタデータキャッシュと Segment メタデータキャッシュは容量を現在の使用量より小さくし、最も長く使われていないエントリを追い出します。解放するメモリ量は、各キャッシュの使用量が下限(この項目と lake_segment_metadata_cache_min_limit)を超えている分に比例して両キャッシュに配分されます。memory_high_level を超えた分は約 50 秒かけて段階的に解放されます。使用量が memory_urgent_level も超えた場合は、memory_urgent_level を超えた分が即座に解放されます。使用量が memory_high_level を下回ると、容量は約 200 秒かけて lake_tablet_metadata_cache_limit_percent と lake_segment_metadata_cache_limit_percent で設定された値まで段階的に戻ります。チェックは 10 秒ごとに行われます。この値が lake_tablet_metadata_cache_limit_percent で設定された容量より大きい場合、キャッシュはその容量のまま縮小しません。
  • 導入バージョン: -

lake_vacuum_enable_task_timeout​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: Vacuum タスクがリクエストに含まれるタイムアウト (VacuumRequest.timeout_ms) に従い、経過した時点で自身を中止するかどうか。false に設定すると、FE 呼び出し側がどれだけ待つかに関係なく、Vacuum タスクは常に完了まで実行されます。

lake_vacuum_min_batch_delete_size​

  • デフォルト: 200
  • タイプ: Int64
  • 単位: ファイル数
  • 変更可能: はい
  • 説明: 共有データクラスタにおいて、Vacuum が単一の DeleteObjects リクエストにまとめる古いファイルの数。バッチを大きくすると、呼び出しごとの HTTP / 認証 / 署名オーバーヘッドが摊销され、オブジェクトストレージの prefix 単位リクエストレートへの圧力も軽減されますが、一回あたりの latency が上がり、瞬間的なエラーで retry した際の replay コストも増えます。AWS S3 では DeleteObjects のサーバー処理時間が batch size にほとんど依存しないため、AWS S3 ユーザーはこの値をプロトコル上限の 1000 までさらに引き上げることを推奨します。

loop_count_wait_fragments_finish​

  • デフォルト: 2
  • タイプ: Int
  • 単位: -
  • 変更可能: Yes
  • 説明: BE/CN プロセスが終了する際に待機するループ回数。各ループは固定間隔の 10 秒です。ループ待機を無効にするには 0 に設定できます。v3.4 以降、この項目は変更可能になり、デフォルト値は 0 から 2 に変更されました。
  • 導入バージョン: v2.5

primary_key_index_memory_high_percent​

  • デフォルト: 75
  • タイプ: Int
  • 単位: -
  • 変更可能: Yes
  • 説明: 共有データクラスタで、バックグラウンドスレッドが主キーインデックスキャッシュを定期的に縮小する目標値で、キャッシュ容量に対するパーセンテージで指定します。キャッシュ容量は更新関連のメモリの上限と同じです(update_memory_limit_percent を参照)。使用量がこの割合を超えている場合は、使用中でない主キーインデックスを最も長く使われていないものから順に追い出し、この割合以内に収めます。使用中の主キーインデックスは追い出されません。primary_key_index_memory_urgent_percent より小さい値を設定してください。
  • 導入バージョン: -

primary_key_index_memory_middle_percent​

  • デフォルト: 50
  • タイプ: Int
  • 単位: -
  • 変更可能: Yes
  • 説明: 共有データクラスタで主キーテーブルの Publish がメモリ制限を超えて失敗した場合に、主キーインデックスキャッシュを縮小する目標値で、キャッシュ容量に対するパーセンテージで指定します。使用中でない主キーインデックスを追い出して使用量をこの割合以内に収め、再試行される Publish のためにメモリを確保します。primary_key_index_memory_high_percent より小さい値を設定してください。
  • 導入バージョン: -

primary_key_index_memory_urgent_percent​

  • デフォルト: 85
  • タイプ: Int
  • 単位: -
  • 変更可能: Yes
  • 説明: 共有データクラスタにおける主キーインデックスキャッシュの使用量の上限で、キャッシュ容量に対するパーセンテージで指定します。各 Publish の終了時(メモリ制限超過で失敗した場合を除く)に確認され、使用量がこの割合を超えている場合は、使用中でない主キーインデックスを最も長く使われていないものから順に追い出し、この割合以内に収めます。バックグラウンドスレッドが primary_key_index_memory_high_percent まで縮小するよりも速くキャッシュが増えた場合の歯止めとなるため、その値より大きい値を設定してください。
  • 導入バージョン: -

starlet_filesystem_instance_cache_capacity​

  • デフォルト: 10000
  • タイプ: Int
  • 単位: 秒
  • 変更可能: はい
  • 説明: starlet filesystem インスタンスのキャッシュ容量。
  • 導入バージョン: v3.2.16, v3.3.11, v3.4.1

starlet_filesystem_instance_cache_ttl_sec​

  • デフォルト: 86400
  • タイプ: Int
  • 単位: 秒
  • 変更可能: はい
  • 説明: starlet filesystem インスタンス キャッシュの有効期限。
  • 導入バージョン: v3.3.15, 3.4.5

starlet_fslib_azure_storage_max_single_part_size​

  • デフォルト: 104857600
  • タイプ: Int64
  • 単位: Bytes
  • 変更可能: はい
  • 説明: 共有データクラスタにおいて、Azure Blob Storage または ADLS Gen2 に書き込むオブジェクトがこのサイズを超える場合、単一のアップロードリクエストではなくマルチパートアップロードを使用します。Azure の 2 つのファイルシステムがこの項目を共有します。マルチパートに切り替わるまで、出力ストリームごとに最大このサイズまでメモリにバッファリングされるため、値を大きくするとメモリ使用量が増加し、同時実行される出力ストリーム数に比例して増加します。マルチパートを完全に回避しようとして値を大きくしすぎると、オブジェクトストレージの単一リクエストのアップロード上限を超えた場合にアップロードがそのまま失敗し、バックエンド自身のエラーが返されることがあります。変更は進行中のアップロードにも反映されます。値は 0 より大きい必要があり、0 以下の値は拒否されます。有効な値は、BE のコマンドラインで渡された対応する --fslib_* gflag を上書きします。BE 起動時に拒否された値は適用されず、BE は以前に有効だった値を保持して警告ログを出力するため、この項目が表示する値が実際に有効な値と異なる場合があります。
  • 導入バージョン: v4.1.5, v4.2

starlet_fslib_azure_storage_min_upload_part_size​

  • デフォルト: 5242880
  • タイプ: Int64
  • 単位: Bytes
  • 変更可能: はい
  • 説明: 共有データクラスタにおいて、Azure Blob Storage または ADLS Gen2 へのマルチパートアップロードで使用するブロックサイズです。Azure の 2 つのファイルシステムがこの項目を共有します。ブロックのアップロードまで、出力ストリームごとに最大このサイズまでメモリにバッファリングされるため、値を大きくするとメモリ使用量が増加し、同時実行される出力ストリーム数に比例して増加します。値を小さくしすぎるとリクエスト数が増加し、ストレージサービスのブロック数上限を超える可能性があります。変更は進行中のアップロードにも反映されます。値は 0 より大きい必要があり、0 以下の値は拒否されます。有効な値は、BE のコマンドラインで渡された対応する --fslib_* gflag を上書きします。BE 起動時に拒否された値は適用されず、BE は以前に有効だった値を保持して警告ログを出力するため、この項目が表示する値が実際に有効な値と異なる場合があります。
  • 導入バージョン: v4.1.5, v4.2

starlet_fslib_gcs_max_single_part_size​

  • デフォルト: 104857600
  • タイプ: Int64
  • 単位: Bytes
  • 変更可能: はい
  • 説明: 共有データクラスタにおいて、Google Cloud Storage に書き込むオブジェクトがこのサイズを超える場合、単一の Insert リクエストではなくストリーミングアップロードを使用します。ストリーミングに切り替わるまで、出力ストリームごとに最大このサイズまでメモリにバッファリングされるため、値を大きくするとメモリ使用量が増加し、同時実行される出力ストリーム数に比例して増加します。ストリーミングアップロードを完全に回避しようとして値を大きくしすぎると、オブジェクトストレージの単一リクエストのアップロード上限を超えた場合にアップロードがそのまま失敗し、バックエンド自身のエラーが返されることがあります。変更は進行中のアップロードにも反映されます。値は 0 より大きい必要があり、0 以下の値は拒否されます。有効な値は、BE のコマンドラインで渡された対応する --fslib_* gflag を上書きします。BE 起動時に拒否された値は適用されず、BE は以前に有効だった値を保持して警告ログを出力するため、この項目が表示する値が実際に有効な値と異なる場合があります。
  • 導入バージョン: v4.1.5, v4.2

starlet_fslib_s3_max_single_part_size​

  • デフォルト: 104857600
  • タイプ: Int64
  • 単位: Bytes
  • 変更可能: はい
  • 説明: 共有データクラスタにおいて、S3 または S3 互換オブジェクトストレージに書き込むオブジェクトがこのサイズを超える場合、単一の PutObject リクエストではなくマルチパートアップロードを使用します。マルチパートに切り替わるまで、出力ストリームごとに最大このサイズまでメモリにバッファリングされるため、値を大きくするとメモリ使用量が増加し、同時実行される出力ストリーム数に比例して増加します。マルチパートを完全に回避しようとして値を大きくしすぎると、アップロードがそのまま失敗することもあります。AWS S3 は単一の PutObject が 5 GiB を超えるオブジェクトを拒否し、S3 互換オブジェクトストレージの上限はこれと異なる場合があります。変更は進行中のアップロードにも反映されます。値は 0 より大きい必要があり、0 以下の値は拒否されます。有効な値は、BE のコマンドラインで渡された対応する --fslib_* gflag を上書きします。BE 起動時に拒否された値は適用されず、BE は以前に有効だった値を保持して警告ログを出力するため、この項目が表示する値が実際に有効な値と異なる場合があります。この項目は共有データクラスタの starlet アップロードを制御するもので、experimental_s3_* 項目とは無関係です。
  • 導入バージョン: v4.1.5, v4.2

starlet_fslib_s3_min_upload_part_size​

  • デフォルト: 5242880
  • タイプ: Int64
  • 単位: Bytes
  • 変更可能: はい
  • 説明: 共有データクラスタにおいて、S3 または S3 互換オブジェクトストレージへのマルチパートアップロードで使用するパートサイズです。パートのアップロードまで、出力ストリームごとに最大このサイズまでメモリにバッファリングされるため、値を大きくするとメモリ使用量が増加し、同時実行される出力ストリーム数に比例して増加します。値を小さくしすぎるとリクエスト数が増加し、AWS S3 の 10,000 パート上限を超えたり、最小パートサイズ 5 MB を下回ったりする可能性があります。他の S3 互換ストレージでは制限が異なります。変更は進行中のアップロードにも反映されます。値は 0 より大きい必要があり、0 以下の値は拒否されます。有効な値は、BE のコマンドラインで渡された対応する --fslib_* gflag を上書きします。BE 起動時に拒否された値は適用されず、BE は以前に有効だった値を保持して警告ログを出力するため、この項目が表示する値が実際に有効な値と異なる場合があります。この項目は共有データクラスタの starlet アップロードを制御するもので、experimental_s3_* 項目とは無関係です。
  • 導入バージョン: v4.1.5, v4.2

starlet_port​

  • デフォルト: 9070
  • タイプ: Int
  • 単位: -
  • 変更可能: いいえ
  • 説明: BE および CN のための追加のエージェントサービスポート。
  • 導入バージョン: -

starlet_star_cache_disk_size_percent​

  • デフォルト: 80
  • タイプ: Int
  • 単位: -
  • 変更可能: いいえ
  • 説明: 共有データクラスタで Data Cache が使用できるディスク容量の割合。datacache_unified_instance_enable が false の場合のみ有効です。
  • 導入バージョン: v3.1

starlet_star_cache_skip_fresh_block_checksum_verification​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: いいえ
  • 説明: 共有データクラスタで、この CN プロセスが書き込み、その後追い出されていない Data Cache のディスクブロックについて、後続のリクエストが最初にアクセスする際にブロック全体のチェックサム読み取りをスキップするかどうか。この検証はブロック全体をディスクから読み直して、プロセスが書き込んだばかりでまだメモリ上で追跡しているデータを検査するため、新しくキャッシュされたすべてのブロックの初回アクセスでディスク読み取りが 1 回余分に発生します。この項目を false に設定すると初回アクセス時にすべてのブロックを検証します。これはキャッシュディスクが保存済みデータを破損させている疑いがある場合にのみ、そのコストに見合います。この項目の設定にかかわらず、プロセスの前回の実行から引き継いだブロックは常に検証されます。現在のプロセスはその書き込みを見ていないためです。この項目は Data Cache の初期化時に一度だけ読み取られます。
  • 導入バージョン: v4.2.0

starlet_star_cache_write_overwrite​

  • デフォルト: false
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データクラスタで、Data Cache への書き込みが同じキーで既にキャッシュされているオブジェクトを置き換えるかどうか。この項目が false の場合、既存のオブジェクトを保持し、その書き込みは成功として報告されます。これは、書き込むバイト列が既にキャッシュされている内容と同じであるリードスルーのフィル経路に適しています。true に設定すると、古い、または破損している疑いのあるブロックを再読み取りで更新できます。Data Cache は書き込みのたびにこの項目を読み取るため、変更はキャッシュを再初期化することなく次の書き込みから有効になります。
  • 導入バージョン: -

starlet_starmgr_client_compression_type​

  • デフォルト: none
  • タイプ: String
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データクラスタで、この CN が StarMgr に送信する worker ハートビートに適用する圧縮方式。このハートビートは CN 上の tablet ごとに 1 エントリを運ぶため、クラスタ内で最大の定期リクエストになります。有効な値: none と zstd。zstd は同じ RPC タイムアウトの予算内でハートビートスレッド上でペイロードを圧縮し、FE が展開します。none はハートビートを圧縮せずに送信します。この仕組みを持たない FE は圧縮されたハートビートを破棄するため、CN を切り替える前に FE が展開できる必要があります。先に FE をアップグレードし、その後で CN にこの項目を設定してください。認識できない値は記録された上で none にフォールバックし、CN の起動は妨げられません。
  • 導入バージョン: v4.2.0

starlet_starmgr_client_rpc_timeout_ms​

  • デフォルト: 5000
  • タイプ: Int
  • 単位: ミリ秒
  • 変更可能: はい
  • 説明: 共有データクラスタで、この CN が StarMgr に送信する各 RPC のタイムアウト。GetShard、worker ハートビート、tablet レプリカ情報の更新が含まれます。CN はローカルに保持していない tablet にアクセスするときに GetShard を送信します。たとえば、file bundling を有効にしたテーブルで、1 つの CN がパーティション内のすべての tablet に対して vacuum を実行する場合です。値は 0 より大きくする必要があります。0 以下の値への動的な変更は拒否されます。起動時に 0 以下の値が設定されている場合は適用されず、警告がログに記録され、デフォルト値の 5000 が引き続き有効になります。
  • 導入バージョン: v4.2.0

starlet_use_star_cache​

  • デフォルト: v3.1 では false、v3.2.3 以降は true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データクラスタで Data Cache を有効にするかどうか。true はこの機能を有効にすることを示し、false は無効にすることを示します。デフォルト値は v3.2.3 以降、false から true に設定されました。
  • 導入バージョン: v3.1

starlet_write_file_with_tag​

  • デフォルト: false
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データクラスターにおいて、オブジェクトストレージに書き込まれたファイルにオブジェクトストレージタグを付与し、便利なカスタムファイル管理を行うかどうか。
  • 導入バージョン: v3.5.3

table_schema_service_max_retries​

  • デフォルト: 3
  • タイプ: Int
  • 単位: -
  • 変更可能: はい
  • 説明: Table Schema Service リクエストの最大リトライ回数。
  • 導入バージョン: v4.1

データレイク​

datacache_block_buffer_enable​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: いいえ
  • 説明: Data Cache の効率を最適化するために Block Buffer を有効にするかどうか。Block Buffer が有効な場合、システムは Data Cache から Block データを読み取り、一時バッファにキャッシュし、頻繁なキャッシュ読み取りによる余分なオーバーヘッドを削減します。
  • 導入バージョン: v3.2.0

datacache_disk_adjust_interval_seconds​

  • デフォルト: 10
  • タイプ: Int
  • 単位: 秒
  • 変更可能: はい
  • 説明: Data Cache の自動容量スケーリングの間隔。定期的に、システムはキャッシュディスクの使用状況をチェックし、必要に応じて自動スケーリングをトリガーします。
  • 導入バージョン: v3.3.0

datacache_disk_idle_seconds_for_expansion​

  • デフォルト: 180
  • タイプ: Int
  • 単位: 秒
  • 変更可能: はい
  • 説明: Data Cache の自動拡張のための最小待機時間。ディスク使用率がこの期間を超えて datacache_disk_low_level を下回る場合にのみ、自動スケーリングがトリガーされます。
  • 導入バージョン: v3.3.0

datacache_disk_size​

  • デフォルト: 100%
  • タイプ: String
  • 単位: -
  • 変更可能: はい
  • 説明: 単一ディスクにキャッシュできるデータの最大量。パーセンテージ (例: 80%) または物理的な制限 (例: 2T、500G) として設定できます。たとえば、2 つのディスクを使用し、datacache_disk_size パラメータの値を 21474836480 (20 GB) に設定した場合、これらの 2 つのディスクに最大 40 GB のデータをキャッシュできます。パーセンテージは、各 storage_root_path が存在するディスクの容量に対する割合です。デフォルト値は 100% です。enable_datacache_disk_auto_adjust が true (デフォルト) の場合、システムはディスク使用率に基づいて実際のディスクキャッシュ容量を自動調整し、この項目はその容量の上限のみを設定します。0 はディスクキャッシュを無効にします。
  • 導入バージョン: -

datacache_enable​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: いいえ
  • 説明: Data Cache を有効にするかどうか。true は Data Cache が有効であることを示し、false は無効であることを示します。デフォルト値は v3.3 から true に変更されました。
  • 導入バージョン: -

datacache_eviction_policy​

  • デフォルト: slru
  • タイプ: String
  • 単位: -
  • 変更可能: いいえ
  • 説明: Data Cache のエビクションポリシー。有効な値: lru (最も最近使用されていない) および slru (セグメント化された LRU)。
  • 導入バージョン: v3.4.0

datacache_inline_item_count_limit​

  • デフォルト: 130172
  • タイプ: Int
  • 単位: -
  • 変更可能: いいえ
  • 説明: Data Cache のインラインキャッシュアイテムの最大数。特に小さいキャッシュブロックの場合、Data Cache はそれらを inline モードで保存し、ブロックデータとメタデータをメモリに一緒にキャッシュします。
  • 導入バージョン: v3.4.0

datacache_lru_shard_evict_fallback_enable​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: Data Cache の LRU シャードが補充中、または自身で十分な空きを確保できない場合に、他のシャードのエントリを削除できるかどうか。false に設定すると、シャードが自身のエントリのみを削除する動作に戻り、datacache_lru_shard_refill_low_watermark_percent と datacache_lru_shard_refill_high_watermark_percent は無視されます。
  • 導入バージョン: -

datacache_lru_shard_refill_low_watermark_percent​

  • デフォルト: 50
  • タイプ: Int
  • 単位: -
  • 変更可能: はい
  • 説明: Data Cache の LRU シャードの使用量が容量のこの割合を下回ると、自身のエントリを削除する代わりに最大のシャードから補充され、datacache_lru_shard_refill_high_watermark_percent に達するまで続きます。この値は datacache_lru_shard_refill_high_watermark_percent を超えてはいけません。両方のパラメータを 0 に設定すると補充は無効になります。
  • 導入バージョン: -

datacache_lru_shard_refill_high_watermark_percent​

  • デフォルト: 70
  • タイプ: Int
  • 単位: -
  • 変更可能: はい
  • 説明: Data Cache の LRU シャードの補充を停止する容量の割合。有効な値: datacache_lru_shard_refill_low_watermark_percent から 100。両方のパラメータを 0 に設定すると補充は無効になります。
  • 導入バージョン: -

datacache_mem_size​

  • デフォルト: 0
  • タイプ: String
  • 単位: -
  • 変更可能: はい
  • 説明: メモリにキャッシュできるデータの最大量。パーセンテージ (例: 10%) または物理的な制限 (例: 10G、21474836480) として設定できます。
  • 導入バージョン: -

datacache_min_disk_quota_for_adjustment​

  • デフォルト: 10737418240
  • タイプ: Int
  • 単位: バイト
  • 変更可能: はい
  • 説明: Data Cache 自動スケーリングのための最小有効容量。システムがキャッシュ容量をこの値未満に調整しようとする場合、キャッシュ容量は直接 0 に設定され、キャッシュ容量の不足による頻繁なキャッシュの充填と削除によるパフォーマンスの低下を防ぎます。
  • 導入バージョン: v3.3.0

disk_high_level​

  • デフォルト: 90
  • タイプ: Int
  • 単位: -
  • 変更可能: はい
  • 説明: キャッシュ容量の自動スケーリングをトリガーするディスク使用率 (パーセンテージ) の上限。この値を超えると、システムは Data Cache からキャッシュデータを自動的に削除します。v3.4.0 以降、デフォルト値は 80 から 90 に変更されました。この項目はバージョン4.0以降、datacache_disk_high_level から disk_high_level に名称変更されました。
  • 導入バージョン: v3.3.0

disk_low_level​

  • デフォルト: 60
  • タイプ: Int
  • 単位: -
  • 変更可能: はい
  • 説明: キャッシュ容量の自動スケーリングをトリガーするディスク使用率 (パーセンテージ) の下限。ディスク使用率が datacache_disk_idle_seconds_for_expansion で指定された期間を超えてこの値を下回り、Data Cache に割り当てられたスペースが完全に利用される場合、システムは上限を増やしてキャッシュ容量を自動的に拡張します。この項目はバージョン4.0以降、datacache_disk_low_level から disk_low_level に名称変更されました。
  • 導入バージョン: v3.3.0

disk_safe_level​

  • デフォルト: 80
  • タイプ: Int
  • 単位: -
  • 変更可能: はい
  • 説明: Data Cache のディスク使用率 (パーセンテージ) の安全レベル。Data Cache が自動スケーリングを実行する際、システムはディスク使用率をこの値にできるだけ近づけることを目標にキャッシュ容量を調整します。v3.4.0 以降、デフォルト値は 70 から 80 に変更されました。この項目はバージョン4.0以降、datacache_disk_safe_level から disk_safe_level に名称変更されました。
  • 導入バージョン: v3.3.0

enable_connector_sink_spill​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: 外部テーブルへの書き込み時にスピリングを有効化するかどうか。この機能を有効にすると、メモリ不足時に外部テーブルへの書き込みによって大量の小さなファイルが生成されるのを防ぎます。現在、この機能は Iceberg テーブルへの書き込みのみをサポートしています。
  • 導入バージョン: v4.0.0

enable_datacache_disk_auto_adjust​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: Data Cache ディスク容量の自動スケーリングを有効にするかどうか。これを有効にすると、システムは現在のディスク使用率に基づいてキャッシュ容量を動的に調整します。この項目はバージョン4.0以降、datacache_auto_adjust_enable から enable_datacache_disk_auto_adjust に名称変更されました。
  • 導入バージョン: v3.3.0

datacache_unified_instance_enable​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: いいえ
  • 説明: 共有データクラスタで、internal catalog と external catalog のデータキャッシュを統一された Data Cache インスタンスで管理するかどうか。
  • 導入バージョン: v3.4.0

external_table_clear_corrupted_cache_data​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: 外部テーブルのファイル(例: Hive テーブル、Iceberg テーブル)の破損したデータキャッシュをシステムがクリアすることを許可するかどうか。データキャッシュから読み取った内容のデコードに失敗した場合、システムは読み取ったキャッシュブロックを削除し、次回の読み取りではリモートストレージから読み直します。Parquet ファイルでまだ行が返されていない場合、システムはまずデータキャッシュをバイパスしてファイルを再読み取りし、それが成功した場合にのみキャッシュブロックを削除します。この項目は共有データクラスタの内部テーブルには影響しません。内部テーブルは lake_clear_corrupted_cache_data で制御されます。
  • 導入バージョン: -

jdbc_connection_idle_timeout_ms​

  • デフォルト: 600000
  • タイプ: Int
  • 単位: ミリ秒
  • 変更可能: いいえ
  • 説明: JDBC 接続プール内のアイドル接続が期限切れになるまでの時間。JDBC 接続プール内の接続アイドル時間がこの値を超えると、接続プールは設定項目 jdbc_minimum_idle_connections で指定された数を超えるアイドル接続を閉じます。接続プールがこの時間内にどのクエリにも使用されない場合、BE は jdbc_minimum_idle_connections で保持されている接続を含む接続プール全体を閉じ、次のクエリで新しく作成します。これにより、削除または変更された JDBC Catalog およびリソースの接続プールが解放されます。
  • 導入バージョン: -

jdbc_connection_pool_size​

  • デフォルト: 8
  • タイプ: Int
  • 単位: -
  • 変更可能: いいえ
  • 説明: JDBC 接続プールのサイズ。各 BE ノードで、同じ jdbc_url を持つ外部テーブルにアクセスするクエリは同じ接続プールを共有します。
  • 導入バージョン: -

jdbc_minimum_idle_connections​

  • デフォルト: 1
  • タイプ: Int
  • 単位: -
  • 変更可能: いいえ
  • 説明: JDBC 接続プール内の最小アイドル接続数。
  • 導入バージョン: -

jdbc_connection_max_lifetime_ms​

  • デフォルト: 300000
  • タイプ: Long
  • 単位: ミリ秒
  • 変更可能: いいえ
  • 説明: JDBC接続プール内の接続の最大有効期間。古い接続を防ぐため、このタイムアウトの前に接続はリサイクルされます。許可される最小値は30000(30秒)です。
  • 導入バージョン: -

jdbc_connection_keepalive_time_ms​

  • デフォルト: 30000
  • タイプ: Long
  • 単位: ミリ秒
  • 変更可能: いいえ
  • 説明: アイドル状態のJDBC接続のキープアライブ間隔。アイドル状態の接続は、古い接続をプロアクティブに検出するために、この間隔でテストされます。0に設定するとキープアライブプロービングを無効にします。有効な場合、>= 30000かつjdbc_connection_max_lifetime_msより小さい必要があります。無効な有効値はサイレントに無効化されます(0にリセット)。
  • 導入バージョン: -

lake_clear_corrupted_cache_data​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データクラスタにおいて、システムが破損したデータキャッシュをクリアすることを許可するかどうか。
  • 導入バージョン: v3.4

lake_dump_corrupted_cache​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データクラスタにおいて、自動の破損キャッシュ回復パスがファイルのローカルキャッシュブロックを破棄する前に、それらをダンプするかどうか。ダンプはローカルキャッシュが実際に返していたバイト列をそのまま保存するため、読み取りはリモートストレージから回復しつつ、破損の原因をオフラインで解析できます。ブロックはローカルキャッシュからのみ読み出されるので、ダンプにリモートストレージから取得したバイトが混ざることはなく、キャッシュの内容も変化しません。ダンプできなかった場合はログに記録するだけで、破棄処理を妨げることはありません。lake_clear_corrupted_cache_meta および lake_clear_corrupted_cache_data と組み合わせた場合にのみ意味があります(破棄しなければ保存すべきものもありません)。ダンプは lake_cache_dump_dir に書き出され、lake_cache_dump_interval_seconds、lake_cache_dump_max_bytes_per_event、lake_cache_dump_max_dumps によって制限されます。
  • 導入バージョン: v4.2.0

lake_cache_dump_dir​

  • デフォルト: none
  • タイプ: String
  • 単位: -
  • 変更可能: はい
  • 説明: ローカルキャッシュのダンプを格納するディレクトリ。空の場合は storage_root_path の最初のパスの下の cache_dump が使われます。ダンプはデータであり、ログディスクではなくストレージディスクに置くべきだからです。複数のストレージパスを設定していても、ダンプのルートは 1 つだけ使われます。ダンプごとに <ファイル名>.<Unix ミリ秒> のサブディレクトリが作成され、その中に manifest.json、キャッシュされたブロックごとの <ブロック番号>.blk、およびオブジェクトストレージ上の同じバイト範囲の写し(元ファイルと同じ名前)が置かれます。自動的に削除されるのはこの項目が現在指しているディレクトリだけです。設定を変更した場合、以前のルートの下にあるダンプはディスクに残り、/api/cloudnative/cache API に渡された dump_dir も削除対象にはなりません。
  • 導入バージョン: v4.2.0

lake_cache_dump_interval_seconds​

  • デフォルト: 600
  • タイプ: Int
  • 単位: 秒
  • 変更可能: はい
  • 説明: 2 回の自動キャッシュダンプの最小間隔。ディスクが壊れるとすべてのファイルが「初回」になるため、この制限はファイル単位ではなくプロセス全体に適用されます。/api/cloudnative/cache API 経由で要求されたダンプはこの制限を受けません。
  • 導入バージョン: v4.2.0

lake_cache_dump_max_bytes_per_event​

  • デフォルト: 134217728
  • タイプ: Long
  • 単位: バイト
  • 変更可能: はい
  • 説明: 1 回の自動キャッシュダンプが書き出す内容すべての上限。どのページが失敗したか分かる検出箇所では、そのページを含むキャッシュブロック(通常は 1 ブロック)だけをダンプするため、この上限が効くのはファイル全体をダンプする場合だけで、その場合は manifest に "truncated": true と記録されます。/api/cloudnative/cache API 経由のダンプは切り詰められません。1 回のダンプは同じ範囲を 2 つ保存するため(キャッシュが返したものと、オブジェクトが持っているもの)、実際にカバーする範囲はこの値の半分です。
  • 導入バージョン: v4.2.0

lake_cache_dump_max_dumps​

  • デフォルト: 50
  • タイプ: Int
  • 単位: -
  • 変更可能: はい
  • 説明: lake_cache_dump_dir の下に保持されるダンプの個数。ダンプを取る前に、その分の空きができるまで古いダンプから削除されます。したがって上限が保持するのは最も古い N 件ではなく直近の N 件です。読み取りに失敗し続ける 1 つのファイルのせいで、次に起きた破損が記録できなくなってはならないからです。バイト数ではなく個数で指定します。運用上必要なのは直近 N 件の破損イベントの証拠であり、自動ダンプのディスク使用量は lake_cache_dump_max_bytes_per_event によって既に制限されているためです。API で dump_dir を指定して別のディレクトリに書いたダンプは削除対象にならないため、長期間残したいダンプはこの上限の及ばない場所に置けます。ディスク使用量の最悪値はこの個数に lake_cache_dump_max_bytes_per_event を掛けた値です。
  • 導入バージョン: v4.2.0

lake_cache_dump_retention_seconds​

  • デフォルト: 172800
  • タイプ: Int
  • 単位: 秒
  • 変更可能: はい
  • 説明: ダンプを保持する期間。期限切れのダンプは次のダンプを取るときにまとめて削除されます。
  • 導入バージョン: v4.2.0

lake_pk_index_sst_verify_checksum​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データクラスタにおいて、クラウドネイティブ主キーインデックスの sstable を読み取る際(ポイントルックアップおよび Compaction マージ)にブロックの Checksum を検証するかどうか。有効にすると、破損したバイト列(通常は破損したローカルキャッシュのコピーに起因)は Corruption エラーとして確定的に失敗し、破損キャッシュのクリーンアップがトリガーされます。誤って解析されたり、誤ったインデックス値が静かに返されたりすることを防ぎます。なお、破損キャッシュの自動クリーンアップには lake_clear_corrupted_cache_data の有効化も必要です。
  • 導入バージョン: v4.1

lake_clear_corrupted_cache_meta​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データクラスタにおいて、システムが破損したメタデータキャッシュをクリアすることを許可するかどうか。対象は Tablet メタデータファイルとトランザクションログ(txn log)ファイルのローカルキャッシュです。これらのファイルの読み取りで破損エラーが発生した場合、システムはキャッシュされたコピーを削除し、リモートストレージからファイルを 1 回再読み込みします。
  • 導入バージョン: v3.3

lake_enable_horizontal_compaction_fill_data_cache​

  • デフォルト: false
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データクラスタで horizontal compaction タスクが読み取った入力データをローカルディスクにキャッシュすることを許可するかどうか。horizontal compaction は各入力セグメントを一度だけ読み取り、入力 rowset はタスク終了後すぐに置き換えられるため、そのデータをキャッシュすると主にクエリのホットデータがローカルキャッシュから追い出されます。true に設定すると、常にキャッシュする従来の動作に戻ります。
  • 導入バージョン: v4.2

lake_enable_vertical_compaction_fill_data_cache​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データクラスタでコンパクションタスクがローカルディスクにデータをキャッシュすることを許可するかどうか。
  • 導入バージョン: v3.1.7, v3.2.3

lake_replication_read_buffer_size​

  • デフォルト: 16777216
  • タイプ: Long
  • 単位: Bytes
  • 変更可能: はい
  • 説明: 共有データのクロスクラスタレプリケーション(lake replication)でセグメントファイルをダウンロードする際に使用する読み取りバッファサイズ。この値はリモートファイルの読み取りごとの割り当てサイズを決定し、実際にはこの設定値と 1 MB の大きい方が使用されます。値を大きくすると読み取り回数が減りスループットが向上しますが、並行ダウンロードごとのメモリ使用量が増加します。値を小さくするとメモリ使用量は減りますが I/O 呼び出し回数が増加します。ネットワーク帯域幅、ストレージ I/O 特性、並列レプリケーションスレッド数に応じて調整してください。
  • 導入バージョン: v4.1.2

lake_replication_max_file_copy_retry​

  • デフォルト: 3
  • タイプ: Int
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データのクロスクラスタレプリケーション(lake-to-lake replication)における非セグメントファイル(.sst、.delvec、.del、.cols)コピーの最大リトライ回数。各試行でコピー済みファイルサイズがソースと一致するか検証し、オブジェクトストレージの一時的な問題による切り詰められたコピーを検出します。不安定なストレージ上でレプリケーション中にファイル破損が頻発する場合、この値を増やしてください。
  • 導入バージョン: v4.1.2

lake_replication_file_copy_threads​

  • デフォルト: 16
  • タイプ: Int
  • 単位: -
  • 変更可能: いいえ
  • 説明: 共有データのクロスクラスタレプリケーション(lake-to-lake replication)でファイルごとのコピーに使用する CN 全体の専用スレッドプールのサイズ。デフォルト値は、CPU コア数に関係なく、同時コピータスク数とその読み取りバッファを制限します。0 は cpu_cores * 4 を意味し、負の値は -value * cpu_cores を意味します。このプールは起動時に一度だけ作成されるため、サイズ変更には CN の再起動が必要です。
  • 導入バージョン: v4.1.2

lake_replication_max_parallel_files_per_tablet​

  • デフォルト: 4
  • タイプ: Int
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データのクロスクラスタレプリケーション(lake-to-lake replication)で、1 つの tablet に対して同時にコピーするファイルの最大数。すべての tablet が CN 全体の lake_replication_file_copy_threads プールを共有するため、この設定により 1 つの tablet がプールを占有することを防ぎます。値が 1 以下の場合、各 tablet 内のファイルコピーは直列化されます。
  • 導入バージョン: v4.1.4

lake_replication_parallel_copy_min_file_count​

  • デフォルト: 2
  • タイプ: Int
  • 単位: -
  • 変更可能: はい
  • 説明: 共有データのクロスクラスタレプリケーション(lake-to-lake replication)で、tablet 内のファイルを並列にコピーするために必要な最小ファイル数。このパラメータを 0 に設定すると専用ファイルコピープールが無効になり、呼び出し元のレプリケーションタスクでファイルコピーが実行されます。
  • 導入バージョン: v4.1.2

lake_service_max_concurrency​

  • デフォルト: 0
  • タイプ: Int
  • 単位: -
  • 変更可能: いいえ
  • 説明: 共有データクラスタにおける RPC リクエストの最大同時実行数。このしきい値に達すると、受信リクエストは拒否されます。この項目が 0 に設定されている場合、同時実行数に制限はありません。
  • 導入バージョン: -

query_max_memory_limit_percent​

  • デフォルト: 90
  • タイプ: Int
  • 単位: -
  • 変更可能: いいえ
  • 説明: クエリプールが使用できる最大メモリ。プロセスメモリ制限のパーセンテージとして表されます。
  • 導入バージョン: v3.1.0

rocksdb_max_write_buffer_memory_bytes​

  • デフォルト: 1073741824
  • タイプ: Int64
  • 単位: -
  • 変更可能: No
  • 説明: RocksDB の meta 用 write buffer の最大サイズです。デフォルトは 1GB です。
  • 導入バージョン: v3.5.0

rocksdb_write_buffer_memory_percent​

  • デフォルト: 5
  • タイプ: Int64
  • 単位: -
  • 変更可能: No
  • 説明: RocksDB の meta 用 write buffer に割り当てるメモリの割合です。デフォルトはシステムメモリの 5% です。ただし、これに加えて、最終的に算出される write buffer メモリのサイズは 64MB 未満にならず、1G を超えません(rocksdb_max_write_buffer_memory_bytes)。
  • 導入バージョン: v3.5.0
lake_balance_tablets_threshold​
  • デフォルト: 0.15
  • タイプ: Double
  • 単位: -
  • 変更可能: Yes
  • 説明: 共有データクラスタでのワーカー間の tablet バランスを判断するためにシステムが使用するしきい値。アンバランスファクターは次のように計算されます: f = (MAX(tablets) - MIN(tablets)) / AVERAGE(tablets)。ファクターが lake_balance_tablets_threshold を超える場合、tablet バランスがトリガーされます。この項目は lake_enable_balance_tablets_between_workers が true に設定されている場合にのみ有効です。
  • 導入バージョン: v3.3.4

その他​

default_mv_resource_group_concurrency_limit​

  • デフォルト: 0
  • タイプ: Int
  • 単位: -
  • 変更可能: いいえ
  • 説明: リソースグループ default_mv_wg のマテリアライズドビューリフレッシュタスクの最大同時実行数 (BE ノードごと)。デフォルト値 0 は制限がないことを示します。非推奨: v3.4 以降、FE が default_mv_wg を永続化して BE に送信するため、この項目は効果がありません。代わりに ALTER RESOURCE GROUP default_mv_wg WITH (...) を使用してください。
  • 導入バージョン: v3.1

default_mv_resource_group_cpu_limit​

  • デフォルト: 1
  • タイプ: Int
  • 単位: -
  • 変更可能: いいえ
  • 説明: リソースグループ default_mv_wg のマテリアライズドビューリフレッシュタスクで使用できる最大 CPU コア数 (BE ノードごと)。非推奨: v3.4 以降、FE が default_mv_wg を永続化して BE に送信するため、この項目は効果がありません。代わりに ALTER RESOURCE GROUP default_mv_wg WITH (...) を使用してください。
  • 導入バージョン: v3.1

default_mv_resource_group_memory_limit​

  • デフォルト: 0.8
  • タイプ: Double
  • 単位:
  • 変更可能: いいえ
  • 説明: リソースグループ default_mv_wg のマテリアライズドビューリフレッシュタスクで使用できる最大メモリ比率 (BE ノードごと)。デフォルト値はメモリの 80% を示します。非推奨: v3.4 以降、FE が default_mv_wg を永続化して BE に送信するため、この項目は効果がありません。代わりに ALTER RESOURCE GROUP default_mv_wg WITH (...) を使用してください。
  • 導入バージョン: v3.1

default_mv_resource_group_spill_mem_limit_threshold​

  • デフォルト: 0.8
  • タイプ: Double
  • 単位: -
  • 変更可能: いいえ
  • 説明: リソースグループ default_mv_wg のマテリアライズドビューリフレッシュタスクで中間結果のスピリングをトリガーする前のメモリ使用量のしきい値。デフォルト値はメモリの 80% を示します。非推奨: v3.4 以降、FE が default_mv_wg を永続化して BE に送信するため、この項目は効果がありません。代わりに ALTER RESOURCE GROUP default_mv_wg WITH (...) を使用してください。
  • 導入バージョン: v3.1

enable_resolve_hostname_to_ip_in_load_error_url​

  • デフォルト: false
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: error_urls デバッグのために、オペレーターがFEハートビートからの元のホスト名を使用するか、環境要件に基づいてIPアドレスへの解決を強制するかを選択できるようにするかどうか。
    • true: ホスト名をIPアドレスに変換します。
    • false (デフォルト): エラーURLに元のホスト名を保持します。
  • 導入バージョン: v4.0.1

enable_retry_apply​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: Yes
  • 説明: 有効な場合、再試行可能と分類される Tablet の apply 失敗(例えば一時的なメモリ制限エラー)は直ちにタブレットをエラーにマークするのではなく、再試行のために再スケジュールされます。TabletUpdates の再試行経路は次の試行を現在の失敗回数に retry_apply_interval_second を乗じてスケジュールし、最大 600s にクランプするため、連続する失敗に伴ってバックオフが大きくなります。明示的に再試行不可なエラー(例えば corruption)は再試行をバイパスして apply プロセスを直ちにエラー状態にします。再試行は全体のタイムアウト/終了条件に達するまで続き、その後 apply はエラー状態になります。これをオフにすると、失敗した apply タスクの自動再スケジュールが無効になり、失敗した apply は再試行なしでエラー状態に移行します。
  • 導入バージョン: v3.2.9

enable_token_check​

  • デフォルト: true
  • タイプ: Boolean
  • 単位: -
  • 変更可能: はい
  • 説明: トークンチェックを有効にするかどうかを制御するブール値。true はトークンチェックを有効にすることを示し、false は無効にすることを示します。
  • 導入バージョン: -

jemalloc_page_size​

  • デフォルト: auto
  • タイプ: String
  • 単位: -
  • 変更可能: いいえ
  • 説明: getconf PAGESIZE によるホストのページサイズ自動検出の代わりに、arm64(aarch64)ホスト上で bin/start_backend.sh に特定の jemalloc ページサイズバリアントを強制的にロードさせます。指定可能な値は auto(デフォルト、自動検出)、4k/4096(4K ページビルドを強制)、64k/65536(64K ページビルドを強制)です。それ以外の値は警告ログを出力した上で自動検出にフォールバックします。getconf PAGESIZE の検出に成功し、その結果が 4096 以外であった場合、4k を指定していても警告を出力した上で 64K ビルドにフォールバックします。これは、実行時のページサイズがビルド時のページサイズより大きいと jemalloc が起動時に abort するためです。検出自体が失敗した場合はこの強制値を無効化しません。4k が指定されたが 4K ページの jemalloc ビルドがパッケージングされていない場合、BE は起動に失敗する代わりに警告を出力して 64K ビルドにフォールバックします。この値は BE プロセス起動前に bin/start_backend.sh が be.conf/cn.conf から直接読み取り(LD_LIBRARY_PATH 経由でロードする jemalloc の .so を選択するため)、実行時に jemalloc を再設定するものではないため、変更を反映するには BE の再起動が必要です。arm64 以外のホストでは無視されます(それらのプラットフォームでは jemalloc ビルドが 1 つしか生成されないため)。
  • 導入バージョン: -

load_replica_status_check_interval_ms_on_failure​

  • デフォルト: 2000
  • タイプ: Int
  • 単位: ミリ秒
  • 変更可能: はい
  • 説明: 最後のチェック RPC が失敗した場合に、セカンダリレプリカがプライマリレプリカに対して状態を確認する間隔。
  • 導入バージョン: 3.5.1

load_replica_status_check_interval_ms_on_success​

  • デフォルト: 15000
  • タイプ: Int
  • 単位: ミリ秒
  • 変更可能: はい
  • 説明: 最後のチェック RPC が成功した場合に、セカンダリレプリカがプライマリレプリカに対して状態を確認する間隔。
  • 導入バージョン: 3.5.1

max_length_for_bitmap_function​

  • デフォルト: 1000000
  • タイプ: Int
  • 単位: バイト
  • 変更可能: いいえ
  • 説明: ビットマップ関数の入力値の最大長。
  • 導入バージョン: -

max_length_for_to_base64​

  • デフォルト: 200000
  • タイプ: Int
  • 単位: バイト
  • 変更可能: いいえ
  • 説明: to_base64() 関数の入力値の最大長。
  • 導入バージョン: -

memory_high_level​

  • デフォルト: 75
  • タイプ: Long
  • 単位: Percent
  • 変更可能: Yes
  • 説明: プロセスのメモリ上限に対する割合で表されるハイウォーターメモリ閾値。総メモリ使用量がこの割合を超えると、BE はメモリ圧力を緩和するために徐々にメモリを解放し始めます(現在はデータキャッシュと更新キャッシュの追い出し、および共有データのメタデータキャッシュの縮小で実施)。モニタはこの値を用いて memory_high = mem_limit * memory_high_level / 100 を計算し、消費量が > memory_high の場合は GC アドバイザに導かれた制御されたエビクションを行います;消費量が別の設定である memory_urgent_level を超えると、より攻撃的な即時削減が行われます。この値は閾値超過時に一部のメモリ集約的な操作(例えば primary-key preload)を無効化するかどうかの判断にも使われます。memory_urgent_level と合わせた検証を満たす必要があります(memory_urgent_level > memory_high_level、memory_high_level >= 1、memory_urgent_level <= 100)。
  • 導入バージョン: v3.2.0

report_exec_rpc_request_retry_num​

  • デフォルト: 10
  • タイプ: Int
  • 単位: -
  • 変更可能: Yes
  • 説明: FE に exec RPC リクエストを報告する際の RPC リクエストの再試行回数です。デフォルト値は 10 で、fragment instance finish RPC の場合に限り失敗した際に最大10回再試行されます。Report exec RPC request は load job にとって重要で、もしある fragment instance の finish 報告が失敗すると、load job はタイムアウトするまでハングする可能性があります。
  • 導入バージョン: -

sleep_one_second​

  • デフォルト: 1
  • タイプ: Int
  • 単位: Seconds
  • 変更可能: No
  • 説明: マスターアドレス/ハートビートがまだ利用できない場合や短いリトライ/バックオフが必要な場合に、BE エージェントのワーカースレッドが 1 秒間の一時停止として使用する小さなグローバルスリープ間隔(秒)。コードベースではいくつかのレポートワーカープール(例: ReportDiskStateTaskWorkerPool、ReportOlapTableTaskWorkerPool、ReportWorkgroupTaskWorkerPool)から参照され、ビジーウェイトを避けてリトライ中の CPU 消費を低減します。この値を増やすとリトライ頻度とマスターへの応答性が遅くなり、減らすとポーリング率と CPU 使用率が上がります。応答性とリソース使用のトレードオフを意識してのみ調整してください。
  • 導入バージョン: v3.2.0

small_file_dir​

  • デフォルト: ${STARROCKS_HOME}/lib/small_file/
  • タイプ: String
  • 単位: -
  • 変更可能: いいえ
  • 説明: ファイルマネージャーによってダウンロードされたファイルを保存するために使用されるディレクトリ。
  • 導入バージョン: -

upload_buffer_size​

  • デフォルト: 4194304
  • タイプ: Int
  • 単位: Bytes
  • 変更可能: Yes
  • 説明: スナップショットファイルをリモートストレージ(broker や直接 FileSystem)へアップロードする際のファイルコピー操作で使用するバッファサイズ(バイト単位)。アップロード経路(snapshot_loader.cpp)では、この値が各アップロードストリームの読み書きチャンクサイズとして fs::copy に渡されます。デフォルトは 4 MiB です。高レイテンシや高帯域のリンクではこの値を増やすことでスループットが向上することがありますが、同時アップロードごとのメモリ使用量が増加します。値を小さくするとストリームごとのメモリは減少しますが転送効率が落ちる可能性があります。upload_worker_count や利用可能な全体メモリと合わせて調整してください。
  • 導入バージョン: 3.2.13

user_function_dir​

  • デフォルト: ${STARROCKS_HOME}/lib/udf
  • タイプ: String
  • 単位: -
  • 変更可能: いいえ
  • 説明: ユーザー定義関数 (UDF) を保存するために使用されるディレクトリ。
  • 導入バージョン: -