DataBuildToolJob 项定义

本文详细介绍了 dbt 作业(DataBuildToolJob)项的定义结构。

定义部件

此表列出了定义部件。

定义部件路径 类型 必选 Description
dbtjob-content.json ContentDetails (JSON) 描述项的属性和设置,如配置文件和作
.platform PlatformDetails (JSON) 描述项的常见详细信息

ContentDetails

描述有效负载的内容

Name 类型 Description
项目 DbtJobProject dbt 作业项项目设置。
个人资料 DbtJobProfile dbt 作业项配置文件设置。
指令 DbtJobCommand dbt 作业项命令设置。

DbtJobProject 内容的说明

Name 类型 必选 Description
projectType 项目类型 String dbt 项目的类型。 可能的值:OneLakeLakehouse
文件夹路径 String dbt 项目文件夹的路径。
connectionSettings DbtJobConnectionSettings dbt 项目的连接设置。

DbtJobProfile 内容的说明

描述 dbt 配置文件的字段。 此处,可以使用 connectionSettings 或 externalReferences,具体取决于类型。

Name 类型 必选 Description
profileType String dbt 配置文件的类型。
架构 String 指定架构。
数据库 String 数据库的名称。
外部引用 ExternalReferences dbt 配置文件的连接设置。
connectionSettings DbtJobConnectionSettings dbt 配置文件的连接设置。

DbtJobCommand 内容的说明

Name 类型 必选 Description
操作 String dbt 命令的类型。 可能的值:run、、buildshowseedcompiletestsnapshot
arguments DbtJobCommandArgument dbt 命令的其他参数。

DbtJobCommandArgument 内容的说明

Name 类型 必选 Description
选择 String 要包含的模型的逗号分隔列表。
排除 String 要排除的模型的逗号分隔列表。
fullRefresh 布尔 指定 dbt 是否应重新生成所有模型。
failFast 布尔 指定一旦模型失败,dbt 是否应立即退出。
threads 整数 指定要使用的线程数。
selectorName String 指定要使用的选择器。

ExternalReferences 内容的说明

Name 类型 必选 Description
连接 字符串 (Guid) 指定连接的 ID。

DbtJobConnectionSettings 内容的说明

描述连接设置的字段。

Name 类型 必选 Description
类型 String 描述连接类型。
属性 DbtJobConnectionTypeProperties 描述连接的属性。

DbtJobConnectionTypeProperties 内容的说明

Name 类型 必选 Description
workspaceId 字符串 (Guid) 指定连接项所在的工作区的 ID。
artifactId 字符串 (Guid) 指定连接的项的 ID。
根文件夹 String 指定根文件夹。
终结点 String 指定终结点。

ContentDetails 示例 1

{
    "project": {
        "projectType": "OneLake",
        "connectionSettings": {
            "type": "OneLake"
        }
    },
    "profile": {
        "profileType": "DataWarehouse",
        "schema": "analytics_schema",
        "connectionSettings": {
            "type": "DataWarehouse",
            "properties": {
                "workspaceId": "00000000-0000-0000-0000-000000000000",
                "artifactId": "cccccccc-3333-4444-5555-dddddddddddd"
            }
        }
    },
    "command": {
        "operation": "run",
        "arguments": {
            "select": "model_a,model_b",
            "fullRefresh": true,
            "threads": 4
        }
    }
}

ContentDetails 示例 2

{
    "project": {
        "projectType": "OneLake",
        "connectionSettings": {
            "type": "OneLake"
        }
    },
    "profile": {
        "profileType": "PostgreSql",
        "schema": "analytics_schema",
        "externalReferences": {
            "connection": "bbbbbbbb-9999-aaaa-bbbb-cccccccccccc"
        }
    },
    "command": {
        "operation": "build",
        "arguments": {
            "fullRefresh": true,
            "failFast": true
        }
    }
}