Tworzenie izolowanego klastra usługi Azure Kubernetes Service (AKS) w sieci

Wdróż klaster izolowany sieciowo z ACR zarządzanym przez AKS

Usługa AKS tworzy, zarządza i uzgadnia zasób ACR w tej opcji. Nie musisz przypisywać żadnych uprawnień ani zarządzać usługą ACR. Usługa AKS zarządza regułami pamięci podręcznej, łączem prywatnym i punktem końcowym używanym w izolowanym klastrze sieci.

Tworzenie izolowanego klastra sieciowego

Tworząc izolowany klaster AKS, można wybrać jeden z następujących trybów klastra prywatnego: oparty na prywatnym łączu lub integracja z siecią Vnet serwera API.

Niezależnie od wybranego trybu należy ustawić parametry --bootstrap-artifact-source i --outbound-type.

--bootstrap-artifact-source Można go ustawić na wartość lub Direct odpowiadać Cache użyciu bezpośredniego mar (NIE izolowana sieć) i prywatnego ACR (izolowana sieć) na potrzeby ściągania obrazów odpowiednio.

--outbound-type parameter można ustawić na none lub na block (wersja zapoznawcza). Jeśli typ ruchu wychodzącego jest ustawiony na none, usługa AKS nie konfiguruje żadnych połączeń wychodzących dla klastra, co pozwala użytkownikowi na ich samodzielną konfigurację. Jeśli typ ruchu wychodzącego ma wartość block, wszystkie połączenia wychodzące są blokowane.

Oparte na prywatnych linkach

Utwórz izolowany klaster sieci oparty na łączach prywatnych, uruchamiając polecenie az aks create z parametrami --bootstrap-artifact-source, --enable-private-clusteri --outbound-type .

az aks create --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME}   --kubernetes-version 1.30.3 --bootstrap-artifact-source Cache --outbound-type none  --network-plugin azure --enable-private-cluster

Integracja serwera API z VNet

Utwórz sieciowo izolowany klaster przy użyciu integracji serwera API z siecią VNet, uruchamiając polecenie az aks create z parametrami --bootstrap-artifact-source, --enable-private-cluster, --enable-apiserver-vnet-integration i --outbound-type.

az aks create --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --kubernetes-version 1.30.3 --bootstrap-artifact-source Cache --outbound-type none --network-plugin azure --enable-private-cluster --enable-apiserver-vnet-integration

Zaktualizować istniejący klaster usługi AKS do typu sieciowo izolowanego

Jeśli wolisz włączyć izolację sieci w istniejącym klastrze usługi AKS zamiast tworzyć nowy klaster, użyj polecenia az aks update .

Aby włączyć funkcję izolacji sieci w istniejącym klastrze usługi AKS, najpierw uruchom następujące polecenie, aby zaktualizować bootstrap-artifact-source:

az aks update --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --bootstrap-artifact-source Cache

Następnie należy ręcznie ponownie skonfigurować wszystkie istniejące pule węzłów.

az aks upgrade --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --node-image-only

NODEPOOLS=$(az aks nodepool list \
--resource-group "${RESOURCE_GROUP}" \
--cluster-name "${AKS_NAME}" \
--query "[].name" -o tsv)
for NODEPOOL in $NODEPOOLS; do
echo "Waiting for node pool $NODEPOOL to finish upgrading..."
az aks nodepool wait \
--resource-group "${RESOURCE_GROUP}" \
--cluster-name "${AKS_NAME}" \
--name "$NODEPOOL" \
--updated
echo "Node pool $NODEPOOL upgrade succeeded."
done

Zaczekaj i upewnij się, że ponowne obrazowanie zakończy się, a następnie uruchom następujące polecenie, aby zaktualizować outbound-type.

az aks update --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --outbound-type none

Wdrażanie izolowanego klastra sieciowego przy użyciu usługi Bring Your Own ACR

Usługa AKS obsługuje użycie własnego rejestru ACR (BYO). Aby obsługiwać scenariusz usługi BYO ACR, przed utworzeniem klastra AKS należy skonfigurować prywatny punkt końcowy usługi ACR i prywatną strefę DNS.

W poniższych krokach pokazano, jak przygotować te zasoby:

• Własna sieć wirtualna i podsieci dla AKS i ACR.
• Reguły usługi ACR, reguły pamięci podręcznej usługi ACR, prywatny punkt końcowy i prywatna strefa DNS.
• Niestandardowa tożsamość płaszczyzny sterowania i tożsamość kubeletu.

Krok 1. Tworzenie sieci wirtualnej i podsieci

az group create --name ${RESOURCE_GROUP} --location ${LOCATION}

az network vnet create  --resource-group ${RESOURCE_GROUP} --name ${VNET_NAME} --address-prefixes 192.168.0.0/16

az network vnet subnet create --name ${AKS_SUBNET_NAME} --vnet-name ${VNET_NAME} --resource-group ${RESOURCE_GROUP} --address-prefixes 192.168.1.0/24

SUBNET_ID=$(az network vnet subnet show --name ${AKS_SUBNET_NAME} --vnet-name ${VNET_NAME} --resource-group ${RESOURCE_GROUP} --query 'id' --output tsv)

az network vnet subnet create --name ${ACR_SUBNET_NAME} --vnet-name ${VNET_NAME} --resource-group ${RESOURCE_GROUP} --address-prefixes 192.168.2.0/24 --private-endpoint-network-policies Disabled

Krok 2. Wyłączanie łączności wychodzącej sieci wirtualnej (opcjonalnie)

Istnieje wiele sposobów wyłączania łączności wychodzącej sieci wirtualnej.

Krok 3. Tworzenie usługi ACR i włączanie pamięci podręcznej artefaktów

1. Utwórz usługę ACR za pomocą łącza prywatnego.

   az acr create --resource-group ${RESOURCE_GROUP} --name ${REGISTRY_NAME} --sku Premium --public-network-enabled false
   
   REGISTRY_ID=$(az acr show --name ${REGISTRY_NAME} -g ${RESOURCE_GROUP}  --query 'id' --output tsv)
   

2. Utwórz regułę pamięci podręcznej usługi ACR zgodnie z poniższym poleceniem, aby umożliwić użytkownikom buforowanie obrazów kontenerów MAR i plików binarnych w nowej usłudze ACR. Zwróć uwagę, że nazwa reguły pamięci podręcznej i nazwy repozytoriów muszą być ściśle dostosowane do poniższych wskazówek.

   az acr cache create -n aks-managed-mcr -r ${REGISTRY_NAME} -g ${RESOURCE_GROUP} --source-repo "mcr.microsoft.com/*" --target-repo "aks-managed-repository/*"
   

Krok 4. Tworzenie prywatnego punktu końcowego dla usługi ACR

az network private-endpoint create --name myPrivateEndpoint --resource-group ${RESOURCE_GROUP} --vnet-name ${VNET_NAME} --subnet ${ACR_SUBNET_NAME} --private-connection-resource-id ${REGISTRY_ID} --group-id registry --connection-name myConnection

NETWORK_INTERFACE_ID=$(az network private-endpoint show --name myPrivateEndpoint --resource-group ${RESOURCE_GROUP} --query 'networkInterfaces[0].id' --output tsv)

REGISTRY_PRIVATE_IP=$(az network nic show --ids ${NETWORK_INTERFACE_ID} --query "ipConfigurations[?privateLinkConnectionProperties.requiredMemberName=='registry'].privateIPAddress" --output tsv)

DATA_ENDPOINT_PRIVATE_IP=$(az network nic show --ids ${NETWORK_INTERFACE_ID} --query "ipConfigurations[?privateLinkConnectionProperties.requiredMemberName=='registry_data_$LOCATION'].privateIPAddress" --output tsv)

Krok 5. Tworzenie prywatnej strefy DNS i dodawanie rekordów

Utwórz prywatną strefę DNS o nazwie privatelink.azurecr.io. Dodaj rekordy dla punktów końcowych: REST rejestru {REGISTRY_NAME}.azurecr.io oraz danych rejestru {REGISTRY_NAME}.{REGISTRY_LOCATION}.data.azurecr.io.

az network private-dns zone create --resource-group ${RESOURCE_GROUP} --name "privatelink.azurecr.io"

az network private-dns link vnet create --resource-group ${RESOURCE_GROUP} --zone-name "privatelink.azurecr.io" --name MyDNSLink --virtual-network ${VNET_NAME} --registration-enabled false

az network private-dns record-set a create --name ${REGISTRY_NAME} --zone-name "privatelink.azurecr.io" --resource-group ${RESOURCE_GROUP}

az network private-dns record-set a add-record --record-set-name ${REGISTRY_NAME} --zone-name "privatelink.azurecr.io" --resource-group ${RESOURCE_GROUP} --ipv4-address ${REGISTRY_PRIVATE_IP}

az network private-dns record-set a create --name ${REGISTRY_NAME}.${LOCATION}.data --zone-name "privatelink.azurecr.io" --resource-group ${RESOURCE_GROUP}

az network private-dns record-set a add-record --record-set-name ${REGISTRY_NAME}.${LOCATION}.data --zone-name "privatelink.azurecr.io" --resource-group ${RESOURCE_GROUP} --ipv4-address ${DATA_ENDPOINT_PRIVATE_IP}

Krok 6. Tworzenie płaszczyzny kontrolnej oraz tożsamości kubeletów

Tożsamość płaszczyzny sterowania

az identity create --name ${CLUSTER_IDENTITY_NAME} --resource-group ${RESOURCE_GROUP}

CLUSTER_IDENTITY_RESOURCE_ID=$(az identity show --name ${CLUSTER_IDENTITY_NAME} --resource-group ${RESOURCE_GROUP} --query 'id' -o tsv)

CLUSTER_IDENTITY_PRINCIPAL_ID=$(az identity show --name ${CLUSTER_IDENTITY_NAME} --resource-group ${RESOURCE_GROUP} --query 'principalId' -o tsv)

Tożsamość Kubelet

az identity create --name ${KUBELET_IDENTITY_NAME} --resource-group ${RESOURCE_GROUP}

KUBELET_IDENTITY_RESOURCE_ID=$(az identity show --name ${KUBELET_IDENTITY_NAME} --resource-group ${RESOURCE_GROUP} --query 'id' -o tsv)

KUBELET_IDENTITY_PRINCIPAL_ID=$(az identity show --name ${KUBELET_IDENTITY_NAME} --resource-group ${RESOURCE_GROUP} --query 'principalId' -o tsv)

Nadaj uprawnienia AcrPull dla tożsamości Kubelet

az role assignment create --role AcrPull --scope ${REGISTRY_ID} --assignee-object-id ${KUBELET_IDENTITY_PRINCIPAL_ID} --assignee-principal-type ServicePrincipal

Po skonfigurowaniu tych zasobów, możesz następnie przejść do utworzenia izolowanego klastra AKS z usługą BYO ACR.

Krok 7. Tworzenie klastra izolowanego sieci przy użyciu usługi BYO ACR

Podczas tworzenia izolowanego klastra sieciowego można wybrać jeden z następujących trybów klastra prywatnego — oparty na łączach prywatnych lub integracji z siecią wirtualną serwera API Server.

Niezależnie od wybranego trybu należy ustawić parametry --bootstrap-artifact-source i --outbound-type.

--bootstrap-artifact-source można ustawić na Direct wartość lub Cache odpowiadającą użyciu bezpośredniego rejestru Artefaktów Microsoft (MAR) (NIE izolowana sieć) i prywatnego rejestru ACR (izolowana sieć) odpowiednio do ściągania obrazów.

--outbound-type parameter można ustawić na none lub na block (wersja zapoznawcza). Jeśli typ ruchu wychodzącego jest ustawiony na none, usługa AKS nie konfiguruje żadnych połączeń wychodzących dla klastra, co pozwala użytkownikowi na ich samodzielną konfigurację. Jeśli typ ruchu wychodzącego ma wartość block, wszystkie połączenia wychodzące są blokowane.

Oparte na prywatnych linkach

Utwórz izolowany klaster sieci oparty na łączach prywatnych, który uzyskuje dostęp do usługi ACR, uruchamiając polecenie az aks create z wymaganymi parametrami.

az aks create --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --kubernetes-version 1.30.3 --vnet-subnet-id ${SUBNET_ID} --assign-identity ${CLUSTER_IDENTITY_RESOURCE_ID} --assign-kubelet-identity ${KUBELET_IDENTITY_RESOURCE_ID} --bootstrap-artifact-source Cache --bootstrap-container-registry-resource-id ${REGISTRY_ID} --outbound-type none --network-plugin azure --enable-private-cluster

Integracja serwera API z VNet

W przypadku izolowanego klastra sieciowego skonfigurowanego z integracją z siecią VNet serwera API, najpierw utwórz podsieć i przypisz właściwą rolę, korzystając z następujących poleceń:

az network vnet subnet create --name ${APISERVER_SUBNET_NAME} --vnet-name ${VNET_NAME} --resource-group ${RESOURCE_GROUP} --address-prefixes 192.168.3.0/24

export APISERVER_SUBNET_ID=$(az network vnet subnet show --resource-group ${RESOURCE_GROUP} --vnet-name ${VNET_NAME} --name ${APISERVER_SUBNET_NAME} --query id -o tsv)

az role assignment create --scope ${APISERVER_SUBNET_ID} --role "Network Contributor" --assignee-object-id ${CLUSTER_IDENTITY_PRINCIPAL_ID} --assignee-principal-type ServicePrincipal

Utwórz izolowany klaster sieciowy skonfigurowany z integracją serwera API z siecią wirtualną i uzyskaj dostęp do swojej usługi ACR, uruchamiając polecenie az aks create z wymaganymi parametrami.

az aks create --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --kubernetes-version 1.30.3 --vnet-subnet-id ${SUBNET_ID} --assign-identity ${CLUSTER_IDENTITY_RESOURCE_ID} --assign-kubelet-identity ${KUBELET_IDENTITY_RESOURCE_ID} --bootstrap-artifact-source Cache --bootstrap-container-registry-resource-id ${REGISTRY_ID} --outbound-type none --network-plugin azure --enable-apiserver-vnet-integration --apiserver-subnet-id ${APISERVER_SUBNET_ID}

Aktualizowanie istniejącego klastra usługi AKS

Jeśli wolisz włączyć izolację sieci w istniejącym klastrze usługi AKS zamiast tworzyć nowy klaster, użyj polecenia az aks update .

Podczas tworzenia prywatnego punktu końcowego i prywatnej strefy DNS dla usługi BYO ACR użyj istniejącej sieci wirtualnej i podsieci istniejącego klastra usługi AKS. Przy przypisywaniu uprawnienia AcrPull do tożsamości kubeleta, użyj istniejącej tożsamości kubeleta istniejącego klastra AKS.

Aby włączyć funkcję izolacji sieci w istniejącym klastrze usługi AKS, najpierw uruchom następujące polecenie, aby zaktualizować bootstrap-artifact-source:

az aks update --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --bootstrap-artifact-source Cache --bootstrap-container-registry-resource-id ${REGISTRY_ID}

Następnie należy ręcznie ponownie skonfigurować wszystkie istniejące pule węzłów.

az aks upgrade --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --node-image-only

NODEPOOLS=$(az aks nodepool list \
--resource-group "${RESOURCE_GROUP}" \
--cluster-name "${AKS_NAME}" \
--query "[].name" -o tsv)
for NODEPOOL in $NODEPOOLS; do
echo "Waiting for node pool $NODEPOOL to finish upgrading..."
az aks nodepool wait \
--resource-group "${RESOURCE_GROUP}" \
--cluster-name "${AKS_NAME}" \
--name "$NODEPOOL" \
--updated
echo "Node pool $NODEPOOL upgrade succeeded."
done

Zaczekaj i upewnij się, że ponowne obrazowanie zakończy się, a następnie uruchom następujące polecenie, aby zaktualizować outbound-type.

az aks update --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --outbound-type none

Aktualizowanie identyfikatora usługi ACR

Istnieje możliwość zaktualizowania prywatnego rekordu ACR używanego z izolowanym klastrem sieciowym. Aby zidentyfikować identyfikator zasobu usługi ACR, użyj polecenia az aks show.

az aks show --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME}

Aktualizowanie identyfikatora usługi ACR jest wykonywane przez uruchomienie az aks update polecenia z parametrami --bootstrap-artifact-source i --bootstrap-container-registry-resource-id .

az aks update --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --bootstrap-artifact-source Cache --bootstrap-container-registry-resource-id <New BYO ACR resource ID>

Po zaktualizowaniu identyfikatora ACR w istniejącym klastrze, należy ręcznie ponownie skonfigurować wszystkie istniejące węzły.

az aks upgrade --resource-group ${RESOURCE_GROUP} --name ${AKS_NAME} --node-image-only