Important
MySQL コネクタはパブリック プレビュー段階です。 アクセスを要求するには、Azure Databricks アカウント チームに問い合わせてください。
Lakeflow Connect を使用して Azure Databricks へのインジェスト用に MySQL を構成する方法について説明します。 MySQL コネクタは、バイナリ ログ (binlog) レプリケーションを使用して MySQL データベースからの変更をキャプチャし、それらを Azure Databricks に増分同期します。
Requirements
インジェスト用に MySQL を構成する前に、環境が次の要件を満たしていることを確認します。
-
サポートされているデータベースのバージョン:
- Amazon RDS: 5.7.44 以降 (スタンドアロンデプロイと HA デプロイの両方)
- Amazon Aurora: 5.7.mysql_aurora.2.12.2 以降 (HA セットアップの場合、サポートはプライマリ インスタンスからのみ)
- Amazon Aurora サーバーレス: サポートされています
- Azure Database for MySQL フレキシブル サーバー: 5.7.44 以降 (スタンドアロンと HA の両方のデプロイ)
- EC2 上の MySQL: 5.7.44 以降
- GCP Cloud SQL: 5.7.44 以降
-
バイナリ ログの構成: 次のサーバー構成が必要です。
- バイナリ ログを有効にします。
- binlog 形式を
ROWに設定します。 - binlog 行イメージを
FULLに設定します。
- レプリケーション特権を持つ MySQL ユーザーを作成するためのアクセス権。
- Azure Databricks から MySQL インスタンスへのネットワーク接続。
ソースセットアップタスクの概要
インジェスト用に MySQL を構成するには、次のタスクを実行します。
バイナリ ログを有効にし、正しい形式を設定するように MySQL サーバー パラメーターを構成します。
構成手順は、デプロイの種類によって異なります。
レプリケーションに必要な特権を持つ MySQL ユーザーを作成します。 MySQL ユーザー特権の付与を参照してください。
Azure Databricks が MySQL インスタンスに接続できるようにネットワークを構成します。 これには、ファイアウォール規則、セキュリティ グループ、またはネットワーク ピアリングの構成が含まれる場合があります。
許可リストへの IP アドレスの詳細については、 Azure SQL Database のファイアウォール設定の構成 に関するページを参照してください。
読み取りレプリカのサポート
MySQL コネクタは、次のデプロイタイプにおけるリードレプリカからのデータ取り込みをサポートしています。
- Amazon RDS for MySQL
- Azure Database for MySQL
- EC2 上の MySQL
Warnung
コネクタでは、Amazon Aurora MySQL 読み取りレプリカからの取り込みはサポート されていません 。 Aurora デプロイのプライマリ インスタンスに接続する必要があります。
読み取りレプリカを使用すると、プライマリ データベースの負荷を軽減できます。 ただし、プライマリ データベースとレプリカの間にレプリケーションの遅延があり、データの鮮度に影響する可能性があります。