概要
catalog を使用すると、1 つのシステムで内部データと外部データを管理でき、さまざまな外部システムに保存されているデータを簡単にクエリおよび分析できる柔軟な方法が提供されます。
基本概念
- 内部データ: StarRocks に保存されているデータを指します。
- 外部データ: Apache Hive™、Apache Iceberg、Apache Hudi、Delta Lake、JDBC などの外部データソースに保存されているデータを指します。
Catalog
現在、StarRocks は、内部 catalog と外部 catalog の 2 種類の catalog を提供しています。

-
内部 catalog は、StarRocks の内部データを管理します。たとえば、CREATE DATABASE または CREATE TABLE ステートメントを実行してデータベースまたはテーブルを作成すると、データベースまたはテーブルは内部 catalog に保存されます。各 StarRocks クラスタには、default_catalog という名前の内部 catalog が 1 つだけあります。
-
外部 catalog は、外部で管理されているメタストアへのリンクとして機能し、StarRocks に外部データソースへの直接アクセスを許可します。データのロードや移行を行わずに、外部データを直接クエリできます。現在、StarRocks は次のタイプの外部 catalog をサポートしています。
- Hive catalog: Hive からデータをクエリするために使用されます。
- Iceberg catalog: Iceberg からデータをクエリするために使用されます。
- Hudi catalog: Hudi からデータをクエリするために使用されます。
- Delta Lake catalog: Delta Lake からデータをクエリするために使用されます。
- JDBC catalog: JDBC 互換のデータソースからデータをクエリするために使用されます。
- Elasticsearch catalog: Elasticsearch からデータをクエリするために使用されます。 Elasticsearch catalog は v3.1 以降でサポートされています。
- Paimon catalog: Paimon からデータをクエリするために使用されます。 Paimon catalog は v3.1 以降でサポートされています。
- Fluss catalog: Fluss のデータをクエリするために使用されます。
- Unified catalog: Hive、Iceberg、Hudi、および Delta Lake のデータソースから、統合されたデータソースとしてデータをクエリするために使用されます。 Unified catalog は v3.2 以降でサポートされています。
StarRocks は、外部データをクエリするときに、外部データソースの次の 2 つのコンポーネントとやり取りします。
- メタストアサービス: FE が外部データソースのメタデータにアクセスするために使用されます。 FE は、メタデータに基づいてクエリ実行プランを生成します。
- データストレージシステム: 外部データを保存するために使用されます。分散ファイルシステムとオブジェクトストレージシステムの両方を、さまざまな形式のデータファイルを保存するためのデータストレージシステムとして使用できます。 FE がクエリ実行プランをすべての BE または CN に配布した後、すべての BE または CN はターゲットの外部データを並行してスキャンし、計算を実行して、クエリ結果を返します。
Catalog へのアクセス
SET CATALOG ステートメントを使用して、現在のセッションで指定された catalog に切り替えることができます。次に、その catalog を使用してデータをクエリできます。
データのクエリ
内部データのクエリ
StarRocks でデータをクエリするには、Default catalog を参照してください。
外部データのクエリ
外部データソースからデータをクエリするには、Hive catalog、Iceberg catalog、Hudi catalog、Delta Lake catalog、および JDBC catalog を参照してください。
クロス catalog クエリ
現在の catalog からクロス catalog のフェデレーションクエリを実行するには、クエリするデータを catalog_name.database_name または catalog_name.database_name.table_name 形式で指定します。
-
現在のセッションが
default_catalog.olap_dbの場合、hive_db内のhive_tableをクエリします。SELECT * FROM hive_catalog.hive_db.hive_table; -
現在のセッションが
hive_catalog.hive_dbの場合、default_catalog内のolap_tableをクエリします。SELECT * FROM default_catalog.olap_db.olap_table; -
現在のセッションが
hive_catalog.hive_dbの場合、hive_catalog内のhive_tableとdefault_catalog内のolap_tableに対して JOIN クエリを実行します。SELECT * FROM hive_table h JOIN default_catalog.olap_db.olap_table o WHERE h.id = o.id; -
現在のセッションが別の catalog の場合、JOIN 句を使用して、
hive_catalog内のhive_tableとdefault_catalog内のolap_tableに対して JOIN クエリを実行します。SELECT * FROM hive_catalog.hive_db.hive_table h JOIN default_catalog.olap_db.olap_table o WHERE h.id = o.id;