データロード

📄️Loading Overview

データロードは、ビジネス要件に基づいてさまざまなデータソースから生のデータをクレンジングおよび変換し、結果のデータを StarRocks にロードして分析を容易にするプロセスです。

📄️Amazon S3 からのバッチデータロード

INSERT と FILES()、または Broker Load を使用して、Amazon S3 から PhoenixAI Cloud にデータをバッチロードする方法について説明します。

📄️Azure クラウドストレージからのバッチデータロード

INSERT と FILES()、または Broker Load を使用して、Azure Blob Storage または Azure Data Lake Storage Gen2 から PhoenixAI Cloud にデータをバッチロードする方法について説明します。

📄️ローカルファイルシステムからデータをロードする

PhoenixAI を使用すると、Stream Load を利用してローカルファイルシステムからデータをロードできます。

🗃Confluent Cloud からのデータロード

2項目

📄️Amazon MSK からデータをロードする

Routine Load ジョブを使用して、Amazon MSK のトピックから PhoenixAI Cloud に CSV または JSON のメッセージを継続的にロードする方法について説明します。

📄️INSERT を使用したデータのロード

このトピックでは、SQL ステートメント - INSERT を使用して StarRocks にデータをロードする方法について説明します。

📄️Stream Load トランザクションインターフェースを使用したデータのロード

バージョン 2.4 以降、StarRocks は Stream Load トランザクションインターフェースを提供し、Apache Flink® や Apache Kafka® などの外部システムからデータをロードするために実行されるトランザクションに対して、2 フェーズコミット (2PC) を実装します。Stream Load トランザクションインターフェースは、高度に並行したストリームロードのパフォーマンスを向上させます。

📄️MySQL からのリアルタイム同期

StarRocks は、MySQL から StarRocks へのデータをリアルタイムで同期する複数の方法をサポートしており、大量データの低遅延リアルタイム分析を実現します。

📄️PostgreSQL からのリアルタイム同期

Flink CDC パイプラインを使用して PostgreSQL の変更をキャプチャし、StarRocks の主キーテーブルにリアルタイムで同期する方法。

📄️Apache Flink® からデータを継続的にロードする

StarRocks は、Apache Flink® 用の StarRocks Connector（以下、Flink コネクタ）という独自開発のコネクタを提供しており、Flink を使用して StarRocks テーブルにデータをロードするのに役立ちます。基本的な原理は、データを蓄積し、それを一度に StarRocks に STREAM LOAD を通じてロードすることです。

📄️ロードによるデータ変更

StarRocks が提供する主キーテーブルを使用すると、Stream Load、Broker Load、またはRoutine Loadジョブを実行して StarRocks テーブルにデータ変更を加えることができます。これらのデータ変更には、挿入、更新、削除が含まれます。ただし、主キーテーブルは、Spark LoadやINSERTを使用したデータ変更をサポートしていません。

📄️Strict mode

Strict mode は、データロードのために設定できるオプションのプロパティです。これはロードの動作と最終的にロードされるデータに影響を与えます。