本文概述了如何使用管道中的复制活动从 Oracle 云存储复制数据。
先决条件
若要从 Oracle 云存储复制数据，请参阅 对象存储 Amazon S3 兼容性 API ，了解先决条件和所需权限。
支持的格式
Oracle 云存储支持以下文件格式。 请参阅每一篇介绍基于格式的设置的文章。
支持的配置
有关复制活动上每个选项卡的配置，请转到以下部分：
概况
对于 “常规 ”选项卡配置，请转到 “常规”。
来源
复制活动的 “源 ”选项卡上的 Oracle 云存储支持以下属性。
需要以下属性：
连接：从连接列表中选择 Oracle 云存储 连接。 如果不存在连接，请选择“ 新建”创建新的 Oracle 云存储连接。
文件路径类型：可以选择 文件路径、 前缀、 通配符文件路径或 文件列表 作为文件路径类型。 每个设置的配置是：
文件路径：可以从 文件路径中指定的存储桶或文件夹/文件路径复制数据。
前缀：指定 存储桶 和 前缀。
Bucket：指定 Oracle 云存储存储桶名称。 它是必需的。
前缀：指定存储桶下 Oracle 云存储密钥名称的前缀，用于筛选源 Oracle 云存储文件。 名称以
given_bucket/this_prefix开头的 Oracle 云存储密钥被选择。 它利用 Oracle 云存储的服务端筛选器，该筛选器提供比通配符筛选器更好的性能。
通配符文件路径：指定 存储桶 和 通配符路径。
Bucket：指定 Oracle 云存储存储桶名称。 它是必需的。
通配符路径：使用指定存储桶下的通配符指定文件夹或文件路径，以筛选源文件夹或文件。
允许的通配符为：
*（匹配零个或多个字符）和?（匹配零或单个字符）。 如果文件夹名称中包含通配符或转义符，则使用^进行转义。 有关更多示例，请转到 文件夹和文件筛选器示例。
- 通配符文件夹路径：使用指定存储桶下的通配符指定文件夹路径以筛选源文件夹。
- 通配符文件名：使用指定存储桶和文件夹路径（或通配符文件夹路径）下的通配符指定文件名以筛选源文件。
文件列表：指定要复制指定文件集 的文件夹路径 和 文件列表的路径 。 指向包含要复制的文件列表的文本文件，每行一个文件，这是配置的路径的相对路径。 有关更多示例，请转到 文件列表示例。
- 文件夹路径：指定指定存储桶下文件夹的路径。 它是必需的。
- 文件列表的路径：指定要复制的文件列表的文本文件的路径。
以递归方式：指示数据是从子文件夹以递归方式读取还是仅从指定文件夹读取数据。 如果选中此复选框，并且目标为基于文件的存储区，则不会在目标处复制或创建空文件夹或子文件夹。
文件格式：从下拉列表中选择应用的文件格式。 选择 “设置” 以配置文件格式。 有关不同文件格式的设置，请参阅 支持格式的文章。
在“高级”下，可以指定以下字段：
按上次修改日期进行筛选：根据指定的上次修改日期筛选文件。 将文件路径类型配置为 文件列表时，此属性不适用。
- 开始时间（UTC）：如果上次修改时间大于或等于配置的时间，则选择文件。
- 结束时间（UTC）：如果文件的上次修改时间小于配置的时间，则会选择这些文件。
当 “开始时间”（UTC） 具有日期/时间值，但 结束时间（UTC） 为 NULL 时，表示选择上次修改的属性大于或等于日期/时间值的文件。 当 结束时间（UTC） 具有日期/时间值但 开始时间（UTC） 为 NULL 时，表示上次修改的属性小于所选日期/时间值的文件。 属性可以为 NULL，这意味着不会对数据应用任何文件属性筛选器。
启用分区发现：指定是否从文件路径分析分区并将其添加为其他源列。 使用二进制文件格式时，它默认未选中，并且不受支持。
分区根路径：启用分区发现后，指定将分区文件夹读取为数据列的绝对根路径。
如果未指定，则默认情况下：
- 使用源上的文件路径或文件列表时，分区根路径是你配置的路径。
- 使用通配符文件夹筛选器时，分区根路径是第一个通配符之前的子路径。
- 使用前缀时，分区根路径是最后一个“/”之前的子路径。
例如，假设将路径配置为
root/folder/year=2020/month=08/day=27：- 如果将分区根路径指定为
root/folder/year=2020，复制活动将生成另外两列：月和日。 除了文件内的列外，这些列还分别具有值“08”和“27”。 - 如果未指定分区根路径，则不会生成额外的列。
最大并发连接：活动运行期间与数据存储建立的并发连接上限。 仅当想要限制并发连接时，才指定一个值。
其他列：添加更多数据列以存储源文件的相对路径或静态值。 后者支持表达式。
映射
有关 “映射 ”选项卡配置，请参阅 “映射”选项卡下的“配置映射”。如果选择 “二进制” 作为文件格式，则不支持映射。
设置
有关 “设置” 选项卡配置，请参阅 “设置”选项卡下的“配置其他设置”。
表摘要
下表包含有关 Oracle 云存储中复制活动的详细信息。
源信息
| 名称 | 说明 | 价值 | 必需 | JSON 脚本属性 |
|---|---|---|---|---|
| 连接 | 与源数据存储的连接。 | <您的 Oracle 云存储连接> | 是的 | 连接 |
| 文件路径类型 | 用于获取源数据的文件路径类型。 | • 文件路径 • 前缀 • 通配符文件路径 • 文件列表 |
是的 | / |
| 对于 文件路径 | ||||
| 桶 | Oracle 云存储存储桶名称。 | <存储桶名称> | 是的 | bucketName |
| Directory | 指定存储桶下文件夹的路径。 | <文件夹名称> | 否 | 文件夹路径 |
| 文件名 | 指定存储桶和文件夹路径下的文件名。 | <您的文件名> | 否 | fileName |
| 对于 前缀 | ||||
| 桶 | Oracle 云存储存储桶名称。 | <存储桶名称> | 是的 | bucketName |
| 前缀 | 指定存储桶下 Oracle 云存储密钥名称的前缀，用于筛选源 Oracle 云存储文件。 | <您的前缀> | 否 | prefix |
| 对于 通配符文件路径 | ||||
| 桶 | Oracle 云存储存储桶名称。 | <存储桶名称> | 是的 | bucketName |
| 通配符文件夹路径 | 指定存储桶下包含通配符的文件夹路径，用于筛选源文件夹。 | <包含通配符的文件夹路径> | 否 | wildcardFolderPath |
| 通配符文件名 | 具有指定存储桶和文件夹路径（或通配符文件夹路径）下的通配符的文件名，用于筛选源文件。 | <你的文件名包含通配符> | 是的 | wildcardFileName |
| 文件 列表 | ||||
| 桶 | Oracle 云存储存储桶名称。 | <存储桶名称> | 是的 | bucketName |
| Directory | 指定存储桶下文件夹的路径。 | <文件夹名称> | 否 | 文件夹路径 |
| 文件列表的路径 | 指示复制指定的文件集。 指向包含要复制的文件列表的文本文件，每行一个文件。 | < 文件列表路径 > | 否 | fileListPath |
| 文件格式 | 源数据的文件格式。 有关不同文件格式的信息，请参阅 支持格式的文章。 | / | 是的 | / |
| 递归 | 指示是要从子文件夹中以递归方式读取数据，还是只从指定的文件夹中读取数据。 如果选中此复选框，并且目标为基于文件的存储区，则不会在目标处复制或创建空文件夹或子文件夹。 | 选中（默认）或取消选择 | 否 | recursive |
| 按最近修改筛选 | 筛选了范围[开始时间， 结束时间）中上次修改时间的文件，以便进一步处理。 时间按格式 yyyy-mm-ddThh:mm:ss.fffZ 应用于 UTC 时区。 可以跳过这些属性，这意味着没有应用文件属性筛选器。 将文件路径类型配置为 文件列表时，此属性不适用。 |
日期/时间 | 否 | modifiedDatetimeStart modifiedDatetimeEnd |
| 启用分区发现 | 指示是否从文件路径分析分区，并将其添加为其他源列。 | 已选择或未选中（默认值） | 否 | enablePartitionDiscovery： true 或 false （默认值） |
| 分区根路径 | 启用分区发现后，请指定将分区文件夹读取为数据列的绝对根路径。 | < 分区根路径 > | 否 | partitionRootPath |
| 最大并发连接数 | 活动运行期间与数据存储建立的并发连接的上限。 仅当想要限制并发连接时，才指定一个值。 | <最大并发连接数> | 否 | maxConcurrentConnections |
| 其他列 | 添加其他数据列以存储源文件的相对路径或静态值。 后者支持表达式。 | • 姓名 •价值 |
否 | 附加列： •名字 •价值 |