이 문서에서는 태그를 사용하여 특정 작업 영역, 팀, 프로젝트 또는 사용자에게 컴퓨팅 사용량을 특성화하여 비용 추적 및 예산 책정을 지원하는 방법을 설명합니다.
태그에는 두 가지 유형이 있습니다.
- 기본 태그: Databricks에서 클라우드 배포 리소스에 자동으로 적용됩니다. 공급업체, 클러스터 ID 및 작성자와 같은 기본 메타데이터를 제공합니다.
- 사용자 지정 태그: 컴퓨팅 리소스 및 서버리스 워크로드에 추가할 수 있는 사용자 정의 태그입니다. 이를 통해 세분화된 추적, 보고 및 예산을 설정할 수 있습니다.
경고
태그 데이터는 일반 텍스트로 저장되며 전역적으로 복제될 수 있습니다. 리소스의 보안을 손상시킬 수 있는 태그 이름, 값 또는 설명자를 사용하지 마세요. 예를 들어 개인 정보나 중요한 정보가 포함된 태그 이름, 값 또는 설명자는 사용하지 마세요.
기본 태그
Azure Databricks는 클라우드 계정에 배포하는 컴퓨팅 리소스에 기본 태그를 자동으로 추가합니다. 이러한 태그는 Databricks에 대한 사용 특성을 지정하고 리소스에 대한 기본 정보(예: 이름, ID 및 작성자)를 제공합니다.
기본 태그는 Azure Portal에서 액세스할 수 있는 자세한 비용 분석 보고서에 자동으로 전파됩니다.
다음은 Azure Portal의 비용 분석 청구서 세부 정보 보고서로, 1개월 동안 태그별로 clusterid 비용을 자세히 설명합니다.
기본 태그 키 및 값
Azure Databricks는 컴퓨팅 리소스에 다음과 같은 기본 태그를 추가합니다.
| 태그 키 | 값 |
|---|---|
Vendor |
상수 값: Databricks |
ClusterId |
클러스터의 Azure Databricks 내부 ID |
ClusterName |
클러스터의 이름 |
Creator |
클러스터를 만든 사용자의 사용자 이름(이메일 주소) |
RunName |
작업 이름(작업 컴퓨트에만 전파됨). 작업 API 2.0을 사용하는 경우 이는 run_name와 동등합니다. 작업 API 2.1에서는 이것이 task_key입니다. |
JobId |
작업 ID(작업 계산에서만 전파) |
데이터 프로파일링에서 사용하는 컴퓨팅에는 다음과 같은 추가 태그가 포함됩니다.
| 태그 키 | 값 |
|---|---|
LakehouseMonitoring |
참 |
LakehouseMonitoringTableId |
모니터링되는 테이블의 ID |
LakehouseMonitoringWorkspaceId |
모니터를 만든 작업 영역의 ID |
LakehouseMonitoringMetastoreId |
모니터링되는 테이블이 있는 메타스토어의 ID |
Azure Databricks는 풀 및 풀에서 만든 컴퓨팅 리소스에 다음 기본 태그를 추가합니다.
| 태그 키 | 값 |
|---|---|
Vendor |
상수 값: Databricks |
DatabricksInstancePoolCreatorId |
풀을 만든 사용자의 Azure Databricks 내부 ID |
DatabricksInstancePoolId |
Azure Databricks 풀의 내부 ID |
사용자 지정 태그
사용자 지정 태그를 사용하면 기본 태그보다 세분성이 더 큰 특정 팀, 프로젝트 또는 비용 센터에 컴퓨팅 사용량을 특성화할 수 있습니다. 이러한 태그는 사용자 또는 관리자에 의해 적용되며 계정의 사용 로그와 해당 클라우드 리소스 모두에 전파됩니다. 이러한 태그는 Azure Databricks 계정에서 예산을 만들고 모니터링하는 데도 사용됩니다.
사용자 지정 태그에 지원되는 리소스
| 객체 | 태그 지정 인터페이스(UI) | 태그 지정 인터페이스(API) |
|---|---|---|
| 작업 영역 | Azure Portal | Azure Resources API |
| 풀 | Azure Databricks 작업 영역의 풀 UI | 인스턴스 풀 API |
| 다목적 및 작업 컴퓨팅 | Azure Databricks 작업 영역의 컴퓨팅 UI | 클러스터 API |
| SQL 웨어하우스 | Azure Databricks 작업 영역의 SQL Warehouse UI | Warehouses API |
| 데이터베이스 인스턴스 | Azure Databricks 작업 영역의 데이터베이스 인스턴스 UI | 데이터베이스 인스턴스 API |
사용자 지정 태그는 GCE 로그의 소문자로 표시됩니다. 문자, 숫자, 밑줄 또는 대시가 아닌 경우 문자가 제거됩니다. 예를 들어, My Key는 mykey로, My.Val는 myval로 바뀝니다.
경고
Name 키가 있는 사용자 지정 태그를 클러스터에 할당하지 마세요. 모든 클러스터에는 Azure Databricks에서 값을 설정하는 태그 Name 있습니다.
Name 키와 연결된 값을 변경하면 Azure Databricks에서 클러스터를 더 이상 추적할 수 없습니다. 따라서 유휴 상태가 되면 클러스터가 종료되지 않을 수 있으며 사용 비용이 계속 발생합니다.
서버리스 컴퓨팅 워크로드 태그 지정
중요하다
이 기능은 공개 프리뷰에 있습니다. 미리 보기 페이지에서 미리 보기 등록을 확인할 수 있습니다. Azure Databricks 미리 보기 관리를 참조하세요.
서버리스 컴퓨팅 사용량을 사용자, 그룹 또는 프로젝트에 특성화하려면 서버리스 예산 정책을 사용할 수 있습니다. 사용자에게 서버리스 예산 정책이 할당되면 해당 서버리스 사용은 자동으로 정책의 사용자 지정 태그로 태그가 지정됩니다. 서버리스 예산 정책은 서버리스 노트북, 작업, 파이프라인 및 모델 제공 엔드포인트에 적용할 수 있습니다.
비고
서버리스 컴퓨팅 사용량은 계정의 청구 가능한 사용량 시스템 테이블에 기록됩니다. 레거시 DBU 사용 보고서에 는 서버리스 사용량 또는 서버리스 예산 정책 태그가 포함되지 않습니다.
서버리스 예산 정책 과 관련된 속성 사용을 참조하세요.
태그 전파
작업 영역, 풀 및 클러스터 태그는 Azure Databricks에 의해 집계되고 비용 분석 보고를 위해 Azure VM으로 전파됩니다. 하지만 풀 및 클러스터 태그는 서로 다르게 전파됩니다.
작업 영역과 풀 태그는 풀을 호스트하는 Azure VM의 리소스 태그로 집계되고 할당됩니다.
작업 영역과 클러스터 태그는 클러스터를 호스트하는 Azure VM의 리소스 태그로 집계되고 할당됩니다.
클러스터가 풀에서 만들어지면 작업 영역 태그와 풀 태그만 VM에 전파됩니다. 클러스터 태그는 풀 클러스터 시작 성능을 유지하기 위해 전파되지 않습니다.
태그 충돌 해결
사용자 지정 태그(작업 영역, 클러스터 또는 풀 태그)가 Azure Databricks 기본 태그와 x_ 동일한 키 이름을 갖는 경우 사용자 지정 태그는 전파 중에 자동으로 접두사가 지정됩니다. 기본 Azure Databricks 태그는 원래 키 이름을 유지합니다.
예를 들어 Azure Databricks는 모든 클러스터에 기본 클러스터 태그 vendor = Databricks 를 적용합니다. 사용자 지정 작업 영역 태그 vendor = Azure Databricks를 추가하면 기본 vendor 태그와 충돌합니다. Azure로 전파되면 사용자 지정 작업 영역 태그가 되고 x_vendor = Azure Databricks기본 Azure Databricks 태그는 다음과 같이 vendor = Databricks유지됩니다.
경고
컴퓨팅 정책을 통해 추가된 충돌하는 사용자 지정 태그는 해결되지 않아서, 잘못된 설정 오류가 발생하여 클러스터 또는 풀이 실패하게 됩니다. 컴퓨팅 정책이 충돌하는 태그 이름을 추가하지 않는지 확인합니다.
:::
태그 적용
특정 사용자 지정 태그를 사용하도록 적용하려면 컴퓨팅 정책을 사용할 수 있습니다. 사용자 지정 태그 강제 시행참조하세요. 서버리스 컴퓨팅 워크로드에 사용자 지정 태그를 적용하려면 서버리스 예산 정책을 사용합니다.
제한 사항
- 변경 후 사용자 지정 작업 영역 태그가 Azure Databricks에 전파되는 데 최대 1시간이 걸릴 수 있습니다.
- Azure 리소스에는 50개 이하의 태그를 할당할 수 있습니다. 집계된 태그의 전체 수가 이 제한을 초과하면,
x_로 시작하는 태그들이 사전순으로 평가되며, 초과한 태그는 무시됩니다. 모든x_접두사 태그가 무시되고 개수가 한도를 초과하는 경우 나머지 태그는 사전순으로 평가되고 제한을 초과하는 태그는 무시됩니다. - 태그 키와 값은 글자, 공백, 숫자 또는 문자
+,-,=,.,_,:,/,@만 포함할 수 있습니다. 다른 문자를 포함하는 태그가 잘못되었습니다. - 태그 키 이름 또는 값을 변경하는 경우 이러한 변경 내용은 클러스터를 다시 시작하거나 풀을 확장한 후에만 적용됩니다.
- 클러스터의 사용자 지정 태그가 풀의 사용자 지정 태그와 충돌하는 경우 클러스터를 만들 수 없습니다.
- 새로 추가, 수정 또는 삭제된 작업 영역 태그는 기존 컴퓨팅 리소스에 자동으로 전파되지 않습니다. 전파할 새 태그를 얻으려면 컴퓨팅 리소스의 세부 정보 페이지를 열고 편집을 클릭한 다음 확인 및 다시 시작합니다.