Azure Databricks への SharePoint インジェストでサポートされている認証方法について説明します。
Important
この機能は ベータ版です。 ワークスペース管理者は、[ プレビュー] ページからこの機能へのアクセスを制御できます。 Azure Databricks プレビューの管理を参照してください。
ヒント
このページでは、RAG などのアプリケーションで使用する非構造化ファイル (PDF、DOCX など) を取り込むためのマネージド SharePoint コネクタについて説明します。
SharePoint コネクタを使用してカスタム パイプラインを構築し、構造化ファイル (CSV や Excel など) と非構造化ファイルの両方の解析、変換、インジェストを完全に制御するには、「 SharePoint からファイルを取り込む」を参照してください。
SharePoint コネクタを選択する
Lakeflow Connect には、2 つの補完的な SharePoint コネクタが用意されています。 どちらも SharePoint のデータにアクセスしますが、個別の目標をサポートしています。
| 考慮事項 | マネージド SharePoint コネクタ | Standard SharePoint コネクタ |
|---|---|---|
| 管理とカスタマイズ | フル マネージド コネクタ。 Delta テーブルにデータを取り込み、ソースとの同期を維持するエンタープライズ アプリケーション向けのシンプルでメンテナンスの少ないコネクタ。 Lakeflow Connect のマネージド コネクタを参照してください。 |
バッチ API とストリーミング API ( read_files、 spark.read、 COPY INTO、自動ローダーなど) を使用して、SQL、PySpark、または Lakeflow Spark 宣言パイプラインを使用してカスタム インジェスト パイプラインを構築します。インジェスト中に複雑な変換を柔軟に実行できる一方で、パイプラインの管理と保守に対する責任が高くなります。 |
| 出力形式 | 均一バイナリ コンテンツ テーブル。 各ファイルをバイナリ形式 (1 行に 1 つのファイル) でインジェストし、ファイルメタデータも含めて、 追加の列。 |
構造化デルタ テーブル。 構造化ファイル (CSV や Excel など) をデルタ テーブルとして取り込みます。 取り込みにも使用できます バイナリ形式の非構造化ファイル。 |
| 粒度、フィルター処理、および選択 | 現在、サブフォルダーまたはファイル レベルは選択されていません。 パターン ベースのフィルター処理はありません。 指定した SharePoint ドキュメント ライブラリ内のすべてのファイルを取り込みます。 |
きめ細かくカスタム。 ドキュメント ライブラリ、サブフォルダー、または個々のファイルから取り込む URL ベースの選択。 また、 pathGlobFilter オプションを使用したパターン ベースのフィルター処理もサポートしています。 |
どの認証方法がサポートされていますか?
SharePoint コネクタでは、次の認証方法がサポートされています。
どの認証方法を選択する必要がありますか?
ほとんどのシナリオでは、Databricks はマシン間 (M2M) OAuth を推奨しています。 M2M は、コネクタのアクセス許可を特定のサイトにスコープします。 ただし、認証ユーザーがアクセスできるアクセス許可のスコープを設定する場合は、代わりにユーザー間 (U2M) OAuth を選択します。 どちらの方法でも、トークンの自動更新とセキュリティの強化が提供されます。
手動トークン更新認証は従来の方法と見なされ、推奨されません。
U2M と M2M の比較
次の表は、認証の U2M と M2M を SharePoint と比較しています。
| 特徴 | OAuth U2M | OAuth M2M |
|---|---|---|
| 認証の種類 | 委任されたアクセス (ユーザー ベース) | アプリ専用アクセス (サービス プリンシパル) |
| ユーザーの操作が必要 | はい - ユーザーはサインインする必要があります | いいえ - 完全に自動化 |
| 最適な用途 | ユーザー固有のアクセス シナリオ | 自動化された運用パイプライン |
| トークンの更新 | Azure Databricks によって自動的に処理される | Azure Databricks によって自動的に処理される |
| SharePoint のアクセス許可 | 委任されたアクセス許可 | アプリケーションのアクセス許可 |
| アクセス スコープ | ユーザーのアクセス許可に制限 | アプリの登録によって定義されます |