Lakeflow Connect マネージド インジェスト ソースの認証の詳細を格納する接続をカタログ エクスプローラーで作成する方法について説明します。 接続に USE CONNECTION 特権または ALL PRIVILEGES を持つすべてのユーザーは、Salesforce や SQL Server などのソースからマネージド インジェスト パイプラインを作成できます。
管理者ユーザーは、パイプラインを作成するユーザーが次の場合に、この記事の手順を完了する必要があります。
- は管理者以外のユーザーです。
- は、Databricks API、Databricks SDK、Databricks CLI、または Databricks アセット バンドルを使用します。
これらのインターフェイスでは、ユーザーがパイプラインを作成するときに既存の接続を指定する必要があります。
または、管理者ユーザーは、データ インジェスト UI で同時に接続とパイプラインを作成できます。 Lakeflow Connect のマネージド コネクタを参照してください。
Lakeflow Connect と Lakehouse Federation
Lakehouse Federation を使用すると、データを移動せずに外部データ ソースのクエリを実行できます。 Lakeflow Connect と Lakehouse Federation のどちらかを選択する場合は、ETL パイプラインでアドホック レポートまたは概念実証作業を行う場合は、Lakehouse Federation を選択します。 「Lakehouse Federation とは」を参照してください。
特権の要件
マネージド インジェスト ソースへの接続に必要なユーザー特権は、選択したインターフェイスによって異なります。
データ取り込みUI
管理者ユーザーは、接続とパイプラインを同時に作成できます。 このエンド ツー エンドインジェスト ウィザードは、UI でのみ使用できます。 すべてのマネージド インジェスト コネクタが UI ベースのパイプライン作成をサポートしているわけではありません。
カタログ エクスプローラー
カタログ エクスプローラーを使用すると、接続の作成とパイプラインの作成が分離されます。 これにより、管理者以外のユーザーがパイプラインを作成するための接続を作成できます。
パイプラインを作成するユーザーが管理者以外のユーザーであるか、Databricks API、Databricks SDK、Databricks CLI、または Databricks アセット バンドルを使用する予定の場合、管理者は最初にカタログ エクスプローラーで接続を作成する必要があります。 これらのインターフェイスでは、ユーザーがパイプラインを作成するときに既存の接続を指定する必要があります。
| シナリオ | サポートされているインターフェイス | 必要なユーザー特権 |
|---|---|---|
| 管理者ユーザーは、接続とインジェスト パイプラインを同時に作成します。 | データ取り込みUI |
|
| 管理者ユーザーは、管理者以外のユーザーがパイプラインを作成するための接続を作成します。 | 管理者:
管理者以外:
|
管理者:
管理者以外:
|
コンフルエンス
カタログ エクスプローラーで Confluence 接続を作成するには、次の操作を行います。
ソースの セットアップを完了します。 取得した認証の詳細を使用して、接続を作成します。
Azure Databricks ワークスペースで、カタログ > 外部データ > 接続 > 接続の作成 をクリックします。
接続のセットアップ ウィザードの [接続の基本] ページで、一意の接続名を入力します。
[ 接続の種類 ] ドロップダウン メニューで、[ Confluence] を選択します。
[ 認証の種類 ] ドロップダウン メニューで、[ OAuth] を選択します。
(省略可能)コメントを追加します。
[ 次へ] をクリックします。
[ 認証 ] ページで、次の資格情報を入力します。
-
ドメイン: Confluence インスタンスのドメイン名 (例:
your-domain.atlassian.net)。https://やwwwは含めないでください。 - クライアント シークレット: ソース セットアップのクライアント シークレット。
- クライアント ID: ソースセットアップのクライアント ID。
-
ドメイン: Confluence インスタンスのドメイン名 (例:
[ Confluence でサインイン] をクリックします。
Atlassian 承認ページにリダイレクトされます。
Confluence 資格情報を入力し、認証プロセスを完了します。
Azure Databricks ワークスペースにリダイレクトされます。
[ 接続の作成] をクリックします。
Google Analytics 生データ
次の認証方法がサポートされています。
- U2M OAuth (推奨)
- JSON キーを使用したサービス アカウント認証 (UI では、これは ユーザー名とパスワードと呼ばれます)
U2M OAuth
- Azure Databricks ワークスペースで、[カタログ> 外部の場所 > 接続 > 接続の作成] をクリックします。
- 接続のセットアップ ウィザードの [接続の基本] ページで、一意の接続名を指定します。
- [ 接続の種類 ] ドロップダウン メニューで、[ Google Analytics 生データ] を選択します。
- [ 認証の種類 ] ドロップダウン メニューで、[ OAuth] を選択します。
- (省略可能)コメントを追加します。
- [ 次へ] をクリックします。
- [ 認証 ] ページで、[ Google にサインイン ] をクリックし、Google アカウントの資格情報でサインインします。
- Lakeflow Connect による Google アカウントへのアクセスを許可するプロンプトで、[ 許可] をクリックします。
- Azure Databricks ワークスペースにリダイレクトされたら、[ 接続の作成] をクリックします。
サービス アカウント認証
- Azure Databricks ワークスペースで、[カタログ> 外部の場所 > 接続 > 接続の作成] をクリックします。
- 接続のセットアップ ウィザードの [接続の基本] ページで、一意の接続名を指定します。
- [ 接続の種類 ] ドロップダウン メニューで、[ Google Analytics 生データ] を選択します。
- [ 認証の種類 ] ドロップダウン メニューで、[ ユーザー名とパスワード] を選択します。
- (省略可能)コメントを追加します。
- [ 次へ] をクリックします。
- [ 認証 ] ページで、ソースセットアップの Google サービス アカウント キーを JSON 形式で入力します。
- [ 接続の作成] をクリックします。
Jira
カタログ エクスプローラーで Jira 接続を作成するには、次の操作を行います。
ソースの セットアップを完了します。 取得した認証の詳細を使用して、接続を作成します。
Azure Databricks ワークスペースで、カタログ > 外部データ > 接続 > 接続の作成 をクリックします。
接続のセットアップ ウィザードの [接続の基本] ページで、一意の接続名を指定します。
[ 接続の種類 ] ドロップダウン メニューで、[ Jira] を選択します。
(省略可能)コメントを追加します。
[ 次へ] をクリックします。
[ 認証 ] ページで、次のように入力します。
-
ホスト:
http/httpsを含む Jira データ ソースのドメイン。 - (省略可能) ポート: オンプレミスの Jira インスタンスのポート。 既定値は 443 です。
- クライアント シークレット: ソース セットアップのクライアント シークレット。
- (省略可能) オンプレミス: Jira インスタンスがオンプレミスかどうかを選択します。
- クライアント ID: ソースセットアップのクライアント ID。
- (省略可能) Jira デプロイ パス: オンプレミスのデプロイ パス (たとえば、URL が
http://<domain>:<port>/<path>の場合、パスは<path>)。
-
ホスト:
[ Jira でサインイン ] をクリックし、Azure Databricks アプリケーションを承認します。
メタ広告
[前提条件]
接続を作成する
- カタログ エクスプローラーで、[ 追加 ] をクリックし、[ 接続の追加] を選択します。
- [ 接続の種類 ] ドロップダウン メニューで、[ メタ マーケティング] を選択します。
- 接続名を入力します。
- [ アプリ ID ] フィールドに、メタ アプリのアプリ ID を入力します。
- [ アプリ シークレット ] フィールドに、メタ アプリのアプリ シークレットを入力します。
- [ 認証] をクリックして接続を作成します。
- [メタ認証] ウィンドウで、Meta アカウントでサインインし、要求されたアクセス許可を付与します。
- 認証が成功すると、接続が作成されます。
MySQL
[前提条件]
ソースの セットアップを完了します。 取得した認証の詳細を使用して、接続を作成します。
接続の作成
Azure Databricks ワークスペースで、[カタログ> 外部の場所 > 接続 > 接続の作成] をクリックします。
接続のセットアップ ウィザードの [接続の基本] ページで、一意の接続名を指定します。
[ 接続の種類 ] ドロップダウン メニューで、[ MySQL] を選択します。
(省略可能)コメントを追加します。
[ 次へ] をクリックします。
[ 認証 ] ページで、次のように入力します。
- ホスト: MySQL ドメイン名を指定します。
- ユーザー と パスワード: レプリケーション ユーザーの MySQL ログイン資格情報を入力します。
[ 接続の作成] をクリックします。
資格情報が正しい場合でも、またはcaching_sha2_passwordで作成されたユーザーの [sha256_password] ボタンは現在失敗します。 これは既知の問題です。
PostgreSQL
[前提条件]
Azure Databricks へのインジェスト用に PostgreSQL を構成する
接続の作成
- Azure Databricks ワークスペースで、[カタログ> 外部の場所 > 接続 > 接続の作成] をクリックします。
- 接続のセットアップ ウィザードの [接続の基本] ページで、一意の接続名を指定します。
- [ 接続の種類 ] ドロップダウン メニューで、[ PostgreSQL] を選択します。
- (省略可能)コメントを追加します。
- [ 次へ] をクリックします。
- [ 認証 ] ページの [ホスト] で、PostgreSQL ドメイン名を指定します。
- [ユーザー] と [パスワード] に、レプリケーション ユーザーの PostgreSQL ログイン資格情報を入力します。
- [ 接続の作成] をクリックします。
Salesforce
Lakeflow Connect では、Salesforce プラットフォームからのデータの取り込みがサポートされています。 Databricks には、Salesforce Data 360 (旧称 Data Cloud) に対してフェデレーション クエリを実行するための、Lakehouse Federation の ゼロコピー コネクタ も用意されています。
[前提条件]
Salesforce は、接続されているアプリに使用制限を適用します。 初回認証を成功させるには、次の表のアクセス許可が必要です。 これらのアクセス許可がない場合、Salesforce は接続をブロックし、管理者が Databricks 接続アプリをインストールする必要があります。
| 条件 | 必要なアクセス許可 |
|---|---|
| API アクセス制御 が有効になっています。 |
Customize Application
Modify All DataまたはManage Connected Apps |
| API アクセス制御が有効になっていません。 | Approve Uninstalled Connected Apps |
背景については、Salesforce ドキュメントの 「接続アプリの使用制限の変更の準備 」を参照してください。
接続を作成する
カタログ エクスプローラーで Salesforce インジェスト接続を作成するには、次の操作を行います。
Azure Databricks ワークスペースで、[カタログ> 外部の場所 > 接続 > 接続の作成] をクリックします。
接続のセットアップ ウィザードの [接続の基本] ページで、一意の接続名を指定します。
[ 接続の種類 ] ドロップダウン メニューで、[ Salesforce] を選択します。
(省略可能)コメントを追加します。
[ 次へ] をクリックします。
Salesforce サンドボックス アカウントから取り込む場合は、 Is sandbox を
trueに設定します。[ Salesforce でサインイン] をクリックします。
Salesforce にリダイレクトされます。
Salesforce サンドボックスから取り込む場合は、[ カスタム ドメインの使用] をクリックし、サンドボックス URL を指定して、[ 続行] をクリックします。
Salesforce 資格情報を入力し、[ ログイン] をクリックします。 Databricks では、Databricks インジェスト専用の Salesforce ユーザーとしてログインすることをお勧めします。
重要
セキュリティ上の理由から、Azure Databricks UI で OAuth 2.0 リンクをクリックした場合にのみ認証します。
インジェスト ウィザードに戻った後、[ 接続の作成] をクリックします。
ServiceNow
カタログ エクスプローラーで ServiceNow 接続を作成する手順は、選択した OAuth メソッドによって異なります。 以下のメソッドがサポートされています。
- U2M OAuth (推奨)
- OAuth リソース所有者パスワード資格情報 (ROPC)
U2M OAuth
Azure Databricks インジェスト用に ServiceNow を構成します。 取得した認証の詳細を使用して、接続を作成します。
Azure Databricks ワークスペースで、[カタログ> 外部の場所 > 接続 > 接続の作成] をクリックします。
接続のセットアップ ウィザードの [接続の基本] ページで、一意の接続名を指定します。
[ 接続の種類 ] ドロップダウン メニューで、[ ServiceNow] を選択します。
[ 認証の種類 ] ドロップダウン メニューで、[ OAuth] を選択します。
(省略可能)コメントを追加します。
[ 次へ] をクリックします。
[ 認証 ] ページで、次のように入力します。
- インスタンス URL: ServiceNow インスタンス URL。
-
OAuth スコープ: 既定値は
useraccountのままにします。 - クライアント シークレット: ソースのセットアップで取得したクライアント シークレット。
- クライアント ID: ソースのセットアップで取得したクライアント ID。
[ ServiceNow でサインイン] をクリックします。
ServiceNow 資格情報を使用してサインインします。
Azure Databricks ワークスペースにリダイレクトされます。
[ 接続の作成] をクリックします。
ROPC
Azure Databricks インジェスト用に ServiceNow を構成します。 取得した認証の詳細を使用して、接続を作成します。
Azure Databricks ワークスペースで、[カタログ> 外部の場所 > 接続 > 接続の作成] をクリックします。
接続のセットアップ ウィザードの [接続の基本] ページで、一意の接続名を指定します。
[ 接続の種類 ] ドロップダウン メニューで、[ ServiceNow] を選択します。
[ 認証の種類 ] ドロップダウン メニューで、[ OAuth リソース所有者パスワード] を選択します。
(省略可能)コメントを追加します。
[ 次へ] をクリックします。
[ 認証 ] ページで、次のように入力します。
- ユーザー: ServiceNow ユーザー名。
- パスワード: ServiceNow のパスワード。
- インスタンス URL: ServiceNow インスタンス URL。
- クライアント ID: ソースのセットアップで取得したクライアント ID。
- クライアント シークレット: ソースのセットアップで取得したクライアント シークレット。
[ 接続の作成] をクリックします。
NetSuite
NetSuite コネクタでは、トークン ベースの認証が使用されます。
[前提条件]
ソースの セットアップを完了します。 取得した認証の詳細を使用して、接続を作成します。
接続を作成する
カタログ エクスプローラーで NetSuite インジェスト接続を作成するには、次の操作を行います。
Azure Databricks ワークスペースで、[カタログ> 外部の場所 > 接続 > 接続の作成] をクリックします。
接続のセットアップ ウィザードの [接続の基本] ページで、一意の接続名を指定します。
[ 接続の種類 ] ドロップダウン メニューで、[ NetSuite] を選択します。
(省略可能)コメントを追加します。
[ 次へ] をクリックします。
[ 認証 ] ページで、次の資格情報を入力します。
- コンシューマー キー: NetSuite 統合からの OAuth コンシューマー キー。
- コンシューマー シークレット: NetSuite 統合からの OAuth コンシューマー シークレット。
- トークン ID: NetSuite ユーザーのアクセス トークン ID。
- トークン シークレット: NetSuite ユーザーのアクセス トークン シークレット。
- ロール ID: NetSuite のデータ ウェアハウス インテグレーター ロールの内部 ID。
- ホスト: NetSuite JDBC URL からのホスト名。
- ポート: NetSuite JDBC URL からのポート番号。
- アカウント ID: NetSuite JDBC URL のアカウント ID。
[ 接続のテスト ] をクリックして、Netsuite に接続できることを確認します。
[ 接続の作成] をクリックします。
SharePoint
次の認証方法がサポートされています。
- OAuth M2M (パブリック プレビュー)
- OAuth U2M
- 手動トークン更新を使用した OAuth
ほとんどのシナリオでは、Databricks はマシン間 (M2M) OAuth を推奨しています。 M2M は、コネクタのアクセス許可を特定のサイトにスコープします。 ただし、認証ユーザーがアクセスできるアクセス許可のスコープを設定する場合は、代わりにユーザー間 (U2M) OAuth を選択します。 どちらの方法でも、トークンの自動更新とセキュリティの強化が提供されます。
M2M
ソースの セットアップを完了します。 取得した認証の詳細を使用して、接続を作成します。
Azure Databricks ワークスペースで、カタログ > 外部データ > 接続 > 接続の作成 をクリックします。
接続のセットアップ ウィザードの [接続の基本] ページで、一意の接続名を指定します。
[ 接続の種類 ] ドロップダウン メニューで、[ Microsoft SharePoint] を選択します。
[ 認証の種類 ] ドロップダウン メニューで、[ OAuth Machine to Machine] を選択します。
(省略可能)コメントを追加します。
[ 次へ] をクリックします。
[ 認証 ] ページで、Microsoft Entra ID アプリの次の資格情報を入力します。
- クライアント シークレット: ソース セットアップで取得したクライアント シークレット。
- クライアント ID: ソースセットアップで取得したクライアント ID。
-
ドメイン: 次の形式の SharePoint インスタンス URL。
https://MYINSTANCE.sharepoint.com - テナント ID: ソースセットアップで取得したテナント ID。
[ Microsoft SharePoint でサインイン] をクリックします。
新しいウィンドウが開きます。 SharePoint 資格情報を使用してサインインすると、Entra ID アプリに付与するアクセス許可が表示されます。
承諾をクリックします。
正常に承認されたメッセージが表示され、Azure Databricks ワークスペースにリダイレクトされます。
[ 接続の作成] をクリックします。
U2M
ソースの セットアップを完了します。 取得した認証の詳細を使用して、接続を作成します。
Azure Databricks ワークスペースで、カタログ > 外部データ > 接続 > 接続の作成 をクリックします。
接続のセットアップ ウィザードの [接続の基本] ページで、一意の接続名を指定します。
[ 接続の種類 ] ドロップダウン メニューで、[ Microsoft SharePoint] を選択します。
[ 認証の種類 ] ドロップダウン メニューで、[ OAuth] を選択します。
(省略可能)コメントを追加します。
[ 次へ] をクリックします。
[ 認証 ] ページで、Microsoft Entra ID アプリの次の資格情報を入力します。
- クライアント シークレット: ソース セットアップで取得したクライアント シークレット。
- クライアント ID: ソースセットアップで取得したクライアント ID。
-
OAuth スコープ: OAuth スコープは、事前入力された値に設定したままにしておきます。
https://graph.microsoft.com/Sites.Read.All offline_access -
ドメイン: 次の形式の SharePoint インスタンス URL。
https://MYINSTANCE.sharepoint.com - テナント ID: ソースセットアップで取得したテナント ID。
[ Microsoft SharePoint でサインイン] をクリックします。
新しいウィンドウが開きます。 SharePoint 資格情報を使用してサインインすると、Entra ID アプリに付与するアクセス許可が表示されます。
承諾をクリックします。
正常に承認されたメッセージが表示され、Azure Databricks ワークスペースにリダイレクトされます。
[ 接続の作成] をクリックします。
手動更新トークン
ソースの セットアップを完了します。 取得した認証の詳細を使用して、接続を作成します。
Azure Databricks ワークスペースで、カタログ > 外部データ > 接続 > 接続の作成 をクリックします。
接続のセットアップ ウィザードの [接続の基本] ページで、一意の接続名を指定します。
[ 接続の種類 ] ドロップダウン メニューで、[ Microsoft SharePoint] を選択します。
[ 認証の種類 ] ドロップダウン メニューで、[ OAuth 更新トークン] を選択します。
(省略可能)コメントを追加します。
[ 次へ] をクリックします。
[ 認証 ] ページで、Microsoft Entra ID アプリの次の資格情報を入力します。
- テナント ID: ソースセットアップで取得したテナント ID。
- クライアント ID: ソースセットアップで取得したクライアント ID。
- クライアント シークレット: ソース セットアップで取得したクライアント シークレット。
- 更新トークン: ソースセットアップで取得した更新トークン。
[ 接続の作成] をクリックします。
Microsoft Dynamics 365
重要
この機能は パブリック プレビュー段階です。 プレビューの登録は、[ プレビュー ] ページで確認できます。 Azure Databricks プレビューの管理を参照してください。
ワークスペース管理者またはメタストア管理者は、Lakeflow Connect を使用して Azure Databricks に取り込むためのデータ ソースとして Microsoft Dynamics 365 を設定する必要があります。 「Microsoft Dynamics 365 インジェストのデータ ソースを構成する」を参照してください。
Lakeflow Connect では、Microsoft Dynamics 365 からのデータの取り込みがサポートされています。 これには、Dataverse にネイティブなアプリケーションと、Dataverse に接続できる非 Dataverse アプリケーション (Finance や Operations など) の両方が含まれます。 コネクタは、D365 データを Azure Data Lake Storage Gen2 にエクスポートする Azure Synapse Link を介してデータにアクセスします。
Dataverse から Azure Data Lake への Synapse Link は、以前は Azure Data Lake Storage Gen2 へのデータのエクスポート (Data Lake への エクスポート) と呼ばれるサービスを置き換えます。
[前提条件]
ワークスペース管理者またはメタストア管理者は、Lakeflow Connect を使用して Azure Databricks に取り込むためのデータ ソースとして Microsoft Dynamics 365 を設定する必要があります。 「Microsoft Dynamics 365 インジェストのデータ ソースを構成する」を参照してください。
接続を作成する
Azure Databricks ワークスペースで、カタログ > 外部データ > 接続 > 接続の作成 をクリックします。
接続のセットアップ ウィザードの [接続の基本] ページで、一意の接続名を指定します。
[ 接続の種類 ] ドロップダウン メニューで、[ Dynamics 365] を選択します。
(省略可能)コメントを追加します。
[ 次へ] をクリックします。
[ 認証 ] ページで、次を指定します。
- クライアント シークレット: Azure AD アプリケーション登録のシークレット値。 ソースのセットアップからこれを取得します。
- クライアント ID: Azure AD アプリケーション登録の一意識別子 (アプリケーション ID)。 ソースのセットアップからこれを取得します。
- Azure ストレージ アカウント名: Synapse Link が D365 データをエクスポートする Azure Data Lake Storage Gen2 アカウントの名前。
- テナント ID: Azure Active Directory テナントの一意識別子。 ソースのセットアップからこれを取得します。
- ADLS コンテナー名: D365 データが格納されている Azure Data Lake Storage (ADLS) Gen2 アカウント内のコンテナーの名前。
[ 接続の作成] をクリックします。
次のステップ
SQL Server
カタログ エクスプローラーで Microsoft SQL Server 接続を作成するには、次の操作を行います。
- Azure Databricks ワークスペースで、[ Catalog > External Data > Connections] をクリックします。
- [ 接続の作成] をクリックします。
- 一意の 接続名を入力します。
- [ 接続の種類 ] で、[ SQL Server] を選択します。
- [ホスト] には、SQL Server ドメイン名を指定します。
- [ ユーザー と パスワード] に、SQL Server ログイン資格情報を入力します。
- [ 作成] をクリックします。
Workday レポート
カタログ エクスプローラーで Workday レポート接続を作成するには、次の操作を行います。
- Workday アクセス資格情報を作成します。 手順については、「 インジェスト用に Workday レポートを構成する」を参照してください。
- Azure Databricks ワークスペースで、[カタログ> 外部の場所 > 接続 > 接続の作成] をクリックします。
- [ 接続名] に、Workday 接続の一意の名前を入力します。
- 接続の種類 で、Workday レポート を選んでください。
- 認証の種類として、OAuth 更新トークンまたはユーザー名とパスワード (基本認証) を選択し、[次へ] をクリックします。
- (OAuth 更新トークン)[ 認証 ] ページで、ソースセットアップで取得した クライアント ID、 クライアント シークレット、および 更新トークン を入力します。
- (基本認証)Workday のユーザー名とパスワードを入力します。
- [ 接続の作成] をクリックします。
次のステップ
カタログ エクスプローラーでマネージド インジェスト ソースへの接続を作成した後、接続に USE CONNECTION 特権または ALL PRIVILEGES を持つユーザーは、次の方法でインジェスト パイプラインを作成できます。
- インジェスト ウィザード (サポートされているコネクタのみ)
- Databricks アセット バンドル
- Databricks API
- Databricks SDK
- Databricks コマンドラインインターフェース (CLI)
パイプラインを作成する手順については、 マネージド コネクタのドキュメントを参照してください。