使用 Azure Data Factory 或 Azure Synapse Analytics 將資料複製到檔案系統或從檔案系統複製資料

適用於：Azure Data Factory Azure Synapse Analytics

本文說明如何將資料複製到檔案系統，以及如何從檔案系統複製資料。 如需進一步了解，請閱讀 Azure Data Factory 或 Azure Synapse Analytics 的入門文章。

支援的功能

此檔案系統連接器支援下列功能：

① Azure 整合執行階段 ② 自我裝載整合執行階段

具體而言，這個檔案系統連接器支援：

• 從網路檔案共用複製檔案，或將檔案複製到網路檔案共用。 若要使用 Linux 檔案共用，請在您的 Linux 伺服器上安裝 Samba。
• 使用 Basic 認證複製檔案。
• 以原樣複製檔案，或使用支援的檔案格式與壓縮編解碼器來剖析/產生檔案。

先決條件

如果您的資料存放區位於內部部署網路、Azure 虛擬網路，或 Amazon Virtual Private Cloud 中，則需要設定自我託管整合執行階段來進行連線。

如果您的資料存放區是受控雲端資料服務，則可使用 Azure Integration Runtime。 如果僅限存取防火牆規則中核准的 IP，您可以將 Azure Integration Runtime IP 新增至允許清單。

您也可以使用 Azure Data Factory 中的受控虛擬網路整合執行階段功能，在不需安裝與設定自我託管整合執行階段的情況下，存取內部部署網路。

如需了解 Data Factory 所支援的網路安全機制與選項的詳細資訊，請參閱資料存取策略。

開始使用

若要使用管線執行複製活動，您可以使用下列其中一個工具或 SDK：

• 複製資料工具
• Azure 入口網站
• .NET SDK
• Python SDK
• Azure PowerShell
• REST API
• Azure Resource Manager 範本

使用 UI 建立檔案系統連結服務

請依照下列步驟，在 Azure 入口網站 UI 中建立檔案系統的連結服務。

1. 瀏覽至 Azure Data Factory 或 Synapse 工作區中的 [管理] 索引標籤，並選取 [連結服務]，然後選取 [新增]：

   • Azure Data Factory
   • Azure Synapse

   

2. 搜尋檔案，然後選取檔案系統連接器。

   

3. 設定服務詳細資料，測試連線，然後建立新的連結服務。

   

連接器設定詳細資料

下列各節提供用於定義 Data Factory 與 Synapse 管線中、檔案系統專屬實體之屬性的詳細說明。

連結服務屬性

檔案系統連結服務支援下列屬性：

範例連結服務和資料集定義

範例：

{
    "name": "FileLinkedService",
    "properties": {
        "type": "FileServer",
        "typeProperties": {
            "host": "<host>",
            "userId": "<domain>\\<user>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

資料集屬性

如需定義資料集的區段和屬性完整清單，請參閱資料集文章。

Azure Data Factory 支援下列檔案格式。 請參閱每篇文章，以取得以格式為基礎的設定。

• Avro 格式
• 二進位格式
• 分隔的文字格式
• Excel 格式
• JSON 格式
• ORC 格式
• Parquet 格式
• XML 格式

在格式型資料集的 location 設定下，檔案系統支援下列屬性：

範例：

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<File system linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "FileServerLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

複製活動屬性

如需定義資料集的區段和屬性完整清單，請參閱活動管線文章。 本節提供檔案系統來源與接收器所支援的屬性清單。

檔案系統作為來源

Azure Data Factory 支援下列檔案格式。 請參閱每篇文章，以取得以格式為基礎的設定。

• Avro 格式
• 二進位格式
• 分隔的文字格式
• Excel 格式
• JSON 格式
• ORC 格式
• Parquet 格式
• XML 格式

在格式型副本來源的 storeSettings 設定下，檔案系統支援下列屬性：

範例：

"activities":[
    {
        "name": "CopyFromFileSystem",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "FileServerReadSettings",
                    "recursive": true,
                    "wildcardFolderPath": "myfolder*A",
                    "wildcardFileName": "*.csv"
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

檔案系統作為接收器

Azure Data Factory 支援下列檔案格式。 請參閱每篇文章，以取得以格式為基礎的設定。

• Avro 格式
• 二進位格式
• 分隔的文字格式
• JSON 格式
• ORC 格式
• Parquet 格式

在格式型副本接收器的 storeSettings 設定下，檔案系統支援下列屬性：

範例：

"activities":[
    {
        "name": "CopyToFileSystem",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Parquet output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "ParquetSink",
                "storeSettings":{
                    "type": "FileServerWriteSettings",
                    "copyBehavior": "PreserveHierarchy"
                }
            }
        }
    }
]

資料夾和檔案篩選範例

本節說明在使用萬用字元篩選時，資料夾路徑與檔案名稱的最終行為。

檔案清單範例

本節說明在複製活動來源中使用檔案清單路徑時的最終行為。

假設您有以下來源資料夾結構，並且想要複製其中以粗體標示的檔案：

遞迴和 copyBehavior 範例

本節說明在不同的 recursive 與 copyBehavior 值組合下，複製作業的最終行為。

查閱活動屬性

若要了解屬性的詳細資料，請參閱查閱活動。

GetMetadata 活動屬性

若要了解屬性的詳細資料，請參閱 GetMetadata 活動。

刪除活動屬性

若要了解屬性的詳細資料，請參閱刪除活動。

舊版模型

舊版資料集模型

範例：

{
    "name": "FileSystemDataset",
    "properties": {
        "type": "FileShare",
        "linkedServiceName":{
            "referenceName": "<file system linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "folder/subfolder/",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

舊版複製活動來源模型

範例：

"activities":[
    {
        "name": "CopyFromFileSystem",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<file system input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "FileSystemSource",
                "recursive": true
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

舊版複製活動接收模型

範例：

"activities":[
    {
        "name": "CopyToFileSystem",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<file system output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "FileSystemSink",
                "copyBehavior": "PreserveHierarchy"
            }
        }
    }
]

相關內容

如需複製活動所支援作為來源/接收器的資料存放區清單，請參閱支援的資料存放區。