Tworzenie infrastruktury do uruchamiania platformy Apache Airflow w usłudze Azure Kubernetes Service (AKS)

W tym artykule utworzysz zasoby infrastruktury potrzebne do uruchomienia platformy Apache Airflow w usłudze Azure Kubernetes Service (AKS).

Wymagania wstępne

Jeśli jeszcze tego nie zrobiono, zapoznaj się z omówieniem wdrażania klastra Apache Airflow w usłudze Azure Kubernetes Service (AKS).
Subskrypcja Azure. Jeśli jej nie masz, utwórz bezpłatne konto.
Azure CLI w wersji 2.61.0. Aby zainstalować lub uaktualnić, zobacz Instalowanie interfejsu wiersza polecenia platformy Azure.
Helm w wersji 3 lub nowszej. Aby zainstalować, zobacz Instalowanie programu Helm.
kubectl, który jest instalowany domyślnie w usłudze Azure Cloud Shell.
Repozytorium GitHub do przechowywania Airflow DAGs.
Platforma Docker zainstalowana na komputerze lokalnym. Aby zainstalować, zobacz Pobierz Docker.

Ustawianie zmiennych środowiskowych

Ustaw wymagane zmienne środowiskowe do użycia w tym przewodniku:

random=$(echo $RANDOM | tr '[0-9]' '[a-z]')
export MY_LOCATION=canadacentral
export MY_RESOURCE_GROUP_NAME=apache-airflow-rg
export MY_IDENTITY_NAME=airflow-identity-123
export MY_ACR_REGISTRY=mydnsrandomname$(echo $random)
export MY_KEYVAULT_NAME=airflow-vault-$(echo $random)-kv
export MY_CLUSTER_NAME=apache-airflow-aks
export SERVICE_ACCOUNT_NAME=airflow
export SERVICE_ACCOUNT_NAMESPACE=airflow
export AKS_AIRFLOW_NAMESPACE=airflow
export AKS_AIRFLOW_CLUSTER_NAME=cluster-aks-airflow
export AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME=airflowsasa$(echo $random)
export AKS_AIRFLOW_LOGS_STORAGE_CONTAINER_NAME=airflow-logs
export AKS_AIRFLOW_LOGS_STORAGE_SECRET_NAME=storage-account-credentials

Tworzenie grupy zasobów

Utwórz grupę zasobów przy użyciu az group create polecenia .

az group create --name $MY_RESOURCE_GROUP_NAME --location $MY_LOCATION --output table

Przykładowe wyjście:

Location       Name
-------------  -----------------
$MY_LOCATION   $MY_RESOURCE_GROUP_NAME

Utwórz tożsamość do uzyskania dostępu do tajemnic w Azure Key Vault

W tym kroku utworzymy przypisaną przez użytkownika tożsamość zarządzaną, której Operator zewnętrznych sekretów używa do uzyskiwania dostępu do haseł Airflow przechowywanych w usłudze Azure Key Vault.

Utwórz tożsamość zarządzaną przypisaną przez użytkownika przy użyciu az identity create polecenia .

az identity create --name $MY_IDENTITY_NAME --resource-group $MY_RESOURCE_GROUP_NAME --output table
export MY_IDENTITY_NAME_ID=$(az identity show --name $MY_IDENTITY_NAME --resource-group $MY_RESOURCE_GROUP_NAME --query id --output tsv)
export MY_IDENTITY_NAME_PRINCIPAL_ID=$(az identity show --name $MY_IDENTITY_NAME --resource-group $MY_RESOURCE_GROUP_NAME --query principalId --output tsv)
export MY_IDENTITY_NAME_CLIENT_ID=$(az identity show --name $MY_IDENTITY_NAME --resource-group $MY_RESOURCE_GROUP_NAME --query clientId --output tsv)

Przykładowe wyjście:

ClientId                              Location       Name                  PrincipalId                           ResourceGroup            TenantId
------------------------------------  -------------  --------------------  ------------------------------------  -----------------------  ------------------------------------  
00001111-aaaa-2222-bbbb-3333cccc4444  $MY_LOCATION   $MY_IDENTITY_NAME     aaaaaaaa-bbbb-cccc-1111-222222222222  $MY_RESOURCE_GROUP_NAME  aaaabbbb-0000-cccc-1111-dddd2222eeee

Tworzenie wystąpienia usługi Azure Key Vault

Utwórz wystąpienie usługi Azure Key Vault przy użyciu az keyvault create polecenia .

az keyvault create --name $MY_KEYVAULT_NAME --resource-group $MY_RESOURCE_GROUP_NAME --location $MY_LOCATION --enable-rbac-authorization false --output table
export KEYVAULTID=$(az keyvault show --name $MY_KEYVAULT_NAME --query "id" --output tsv)
export KEYVAULTURL=$(az keyvault show --name $MY_KEYVAULT_NAME --query "properties.vaultUri" --output tsv)

Przykładowe wyjście:

Location       Name                  ResourceGroup
-------------  --------------------  ----------------------
$MY_LOCATION   $MY_KEYVAULT_NAME     $MY_RESOURCE_GROUP_NAME

Tworzenie rejestru kontenerów platformy Azure

Utwórz rejestr kontenerów platformy Azure do przechowywania obrazów kontenerów i zarządzania nimi przy użyciu az acr create polecenia .

az acr create \
--name ${MY_ACR_REGISTRY} \
--resource-group $MY_RESOURCE_GROUP_NAME \
--sku Premium \
--location $MY_LOCATION \
--admin-enabled true \
--output table
export MY_ACR_REGISTRY_ID=$(az acr show --name $MY_ACR_REGISTRY --resource-group $MY_RESOURCE_GROUP_NAME --query id --output tsv)

Przykładowe wyjście:

NAME                  RESOURCE GROUP           LOCATION       SKU      LOGIN SERVER                     CREATION DATE         ADMIN ENABLED
--------------------  ----------------------   -------------  -------  -------------------------------  --------------------  ---------------
mydnsrandomnamebfbje  $MY_RESOURCE_GROUP_NAME  $MY_LOCATION   Premium  mydnsrandomnamebfbje.azurecr.io  2024-11-07T00:32:48Z  True

Tworzenie konta usługi Azure Storage

Utwórz konto usługi Azure Storage do przechowywania dzienników przepływów powietrza przy użyciu az acr create polecenia .

az storage account create --name $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME --resource-group $MY_RESOURCE_GROUP_NAME --location $MY_LOCATION --sku Standard_ZRS --output table
export AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_KEY=$(az storage account keys list --account-name $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME --query "[0].value" -o tsv)
az storage container create --name $AKS_AIRFLOW_LOGS_STORAGE_CONTAINER_NAME --account-name $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME --output table --account-key $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_KEY
az keyvault secret set --vault-name $MY_KEYVAULT_NAME --name AKS-AIRFLOW-LOGS-STORAGE-ACCOUNT-NAME --value $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_NAME
az keyvault secret set --vault-name $MY_KEYVAULT_NAME --name AKS-AIRFLOW-LOGS-STORAGE-ACCOUNT-KEY --value $AKS_AIRFLOW_LOGS_STORAGE_ACCOUNT_KEY

Przykładowe wyjście:

AccessTier    AllowBlobPublicAccess    AllowCrossTenantReplication    CreationTime                      EnableHttpsTrafficOnly    Kind       Location       MinimumTlsVersion    Name              PrimaryLocation    ProvisioningState    ResourceGroup      StatusOfPrimary
------------  -----------------------  -----------------------------  --------------------------------  ------------------------  ---------  -------------  -------------------  ----------------  -----------------  -------------------  -----------------  -----------------
Hot           False                    False                          2024-11-07T00:22:13.323104+00:00  True                      StorageV2  $MY_LOCATION   TLS1_0               airflowsasabfbje  $MY_LOCATION       Succeeded            $MY_RESOURCE_GROUP_NAME  available
Created
---------
True

Tworzenie klastra AKS

W tym kroku utworzymy klaster AKS z włączoną tożsamością usługi oraz z aktywowanym wystawcą OIDC (OpenID Connect). Ta konfiguracja tworzy klaster usługi AKS o wysokiej dostępności zoptymalizowany pod kątem uruchamiania obciążeń produkcyjnych, takich jak Apache Airflow. Aprowizowanie klastra z trzema węzłami przy użyciu Standard_DS4_v2 maszyn wirtualnych w trzech strefach dostępności w celu zapewnienia odporności. Klaster jest zintegrowany z usługą ACR na potrzeby pobierania zabezpieczonych obrazów i obejmuje obsługę wystawcy OIDC (OpenID Connect) oraz tożsamości procesów roboczych na potrzeby bezpiecznego, opartego na tożsamości dostępu do zasobów platformy Azure. Umożliwia również wtyczkę sieci Azure CNI, sterownik Azure Blob CSI oraz automatyczne uaktualnienia wersji systemu operacyjnego węzła i Kubernetes w celu zwiększenia wydajności i zabezpieczeń.

Utwórz klaster usługi AKS przy użyciu az aks create polecenia .

az aks create \
--location $MY_LOCATION \
--name $MY_CLUSTER_NAME \
--tier standard \
--resource-group $MY_RESOURCE_GROUP_NAME \
--network-plugin azure  \
--node-vm-size Standard_DS4_v2 \
--node-count 3 \
--auto-upgrade-channel stable \
--node-os-upgrade-channel NodeImage \
--attach-acr ${MY_ACR_REGISTRY} \
--enable-oidc-issuer \
--enable-blob-driver \
--enable-workload-identity \
--zones 1 2 3 \
--generate-ssh-keys \
--output table

Przykładowe wyjście:

AzurePortalFqdn                                                                 CurrentKubernetesVersion    DisableLocalAccounts    DnsPrefix                           EnableRbac    Fqdn                                                                     KubernetesVersion    Location       MaxAgentPools    Name                NodeResourceGroup                                      ProvisioningState    ResourceGroup            ResourceUid                           SupportPlan
------------------------------------------------------------------------------  --------------------------  ----------------------  ----------------------------------  ------------  -----------------------------------------------------------------------  -------------------  -------------  ---------------  ------------------  -----------------------------------------------------  -------------------  -----------------------  ------------------------------------  ------------------
apache-air-apache-airflow-r-363a0a-rhf6saad.portal.hcp.$MY_LOCATION.azmk8s.io   1.29.9                      False                   apache-air-apache-airflow-r-363a0a  True          apache-air-apache-airflow-r-363a0a-rhf6saad.hcp.$MY_LOCATION.azmk8s.io   1.29                 $MY_LOCATION   100              $MY_CLUSTER_NAME    MC_apache-airflow-rg_apache-airflow-aks_$MY_LOCATION   Succeeded            $MY_RESOURCE_GROUP_NAME  b1b1b1b1-cccc-dddd-eeee-f2f2f2f2f2f2  KubernetesOfficial

Pobierz adres URL wystawcy OIDC do użycia na potrzeby konfiguracji tożsamości obciążenia przy użyciu az aks show polecenia .

export OIDC_URL=$(az aks show --resource-group $MY_RESOURCE_GROUP_NAME --name $MY_CLUSTER_NAME --query oidcIssuerProfile.issuerUrl --output tsv)

AcrPull Przypisz rolę do tożsamości kubelet przy az role assignment create użyciu polecenia .

export KUBELET_IDENTITY=$(az aks show -g $MY_RESOURCE_GROUP_NAME --name $MY_CLUSTER_NAME --output tsv --query identityProfile.kubeletidentity.objectId)
az role assignment create \
--assignee ${KUBELET_IDENTITY} \
--role "AcrPull" \
--scope ${MY_ACR_REGISTRY_ID} \
--output table

Przykładowe wyjście:

CreatedBy                             CreatedOn                         Name                                  PrincipalId                           PrincipalName                         PrincipalType     ResourceGroup            RoleDefinitionId                                                                                                                            RoleDefinitionName    Scope                                                                                                                                                             UpdatedBy                             UpdatedOn
------------------------------------  --------------------------------  ------------------------------------  ------------------------------------  ------------------------------------  ----------------  -----------------------  ------------------------------------------------------------------------------------------------------------------------------------------  --------------------  ----------------------------------------------------------------------------------------------------------------------------------------------------------        ------------------------------------  --------------------------------
ccccdddd-2222-eeee-3333-ffff4444aaaa  2024-11-07T00:43:26.905445+00:00  b1b1b1b1-cccc-dddd-eeee-f2f2f2f2f2f2  bbbbbbbb-cccc-dddd-2222-333333333333  cccccccc-dddd-eeee-3333-444444444444  ServicePrincipal  $MY_RESOURCE_GROUP_NAME  /subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/providers/Microsoft.Authorization/roleDefinitions/7f951dda-4ed3-4680-a7ca-43fe172d538d  AcrPull               /subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/$MY_RESOURCE_GROUP_NAME/providers/Microsoft.ContainerRegistry/registries/mydnsrandomnamebfbje  ccccdddd-2222-eeee-3333-ffff4444aaaa  2024-11-07T00:43:26.905445+00:00

Nawiązywanie połączenia z klastrem usługi AKS

Skonfiguruj kubectl, aby połączyć się z klastrem AKS przy użyciu polecenia az aks get-credentials.

az aks get-credentials --resource-group $MY_RESOURCE_GROUP_NAME --name $MY_CLUSTER_NAME --overwrite-existing --output table

Prześlij obrazy Apache Airflow do rejestru kontenerów

W tej sekcji pobierzemy obrazy platformy Apache Airflow z usługi Docker Hub i przekażemy je do usługi Azure Container Registry. Ten krok gwarantuje, że obrazy są dostępne w rejestrze prywatnym i mogą być używane w klastrze usługi AKS. Nie zalecamy korzystania z obrazu publicznego w środowisku produkcyjnym.

Zaimportuj obrazy airflow z usługi Docker Hub i przekaż je do rejestru kontenerów przy użyciu az acr import polecenia .

az acr import --name $MY_ACR_REGISTRY --source docker.io/apache/airflow:airflow-pgbouncer-2025.03.05-1.23.1 --image airflow:airflow-pgbouncer-2025.03.05-1.23.1
az acr import --name $MY_ACR_REGISTRY --source docker.io/apache/airflow:airflow-pgbouncer-exporter-2025.03.05-0.18.0 --image airflow:airflow-pgbouncer-exporter-2025.03.05-0.18.0
az acr import --name $MY_ACR_REGISTRY --source docker.io/bitnamilegacy/postgresql:16.1.0-debian-11-r15 --image postgresql:16.1.0-debian-11-r15
az acr import --name $MY_ACR_REGISTRY --source quay.io/prometheus/statsd-exporter:v0.28.0 --image statsd-exporter:v0.28.0 
az acr import --name $MY_ACR_REGISTRY --source docker.io/apache/airflow:3.0.2 --image airflow:3.0.2 
az acr import --name $MY_ACR_REGISTRY --source registry.k8s.io/git-sync/git-sync:v4.3.0 --image git-sync:v4.3.0

Następny krok

Wdrażanie platformy Apache Airflow w usłudze Azure Kubernetes Service (AKS)

Współautorzy

Firma Microsoft utrzymuje ten artykuł. Następujący współautorzy pierwotnie to napisali:

Don High | Główny inżynier klienta
Satya Chandragiri | Starszy architekt rozwiązań w chmurze cyfrowej
Erin Schaffer | Content Developer 2

Sprzężenie zwrotne

Czy ta strona była pomocna?

Last updated on 2025-08-07

Udostępnij przez

Tworzenie infrastruktury do uruchamiania platformy Apache Airflow w usłudze Azure Kubernetes Service (AKS)

Wymagania wstępne

Ustawianie zmiennych środowiskowych

Tworzenie grupy zasobów

Utwórz tożsamość do uzyskania dostępu do tajemnic w Azure Key Vault

Tworzenie wystąpienia usługi Azure Key Vault

Tworzenie rejestru kontenerów platformy Azure

Tworzenie konta usługi Azure Storage

Tworzenie klastra AKS

Nawiązywanie połączenia z klastrem usługi AKS

Prześlij obrazy Apache Airflow do rejestru kontenerów

Następny krok

Współautorzy

Sprzężenie zwrotne

Dodatkowe źródła