Szybki start: tworzenie prywatnego klastra usługi Azure Kubernetes Service (AKS) w niestandardowej sieci wirtualnej

Tworzenie sieci wirtualnej

Utwórz sieć wirtualną przy użyciu az network vnet create polecenia . Utwórz podsieć dla serwera API i podsieć klastra za pomocą polecenia az network vnet subnet create.

W przypadku korzystania z niestandardowej sieci wirtualnej z usługą AKS Automatic należy utworzyć i delegować podsieć serwera API do Microsoft.ContainerService/managedClusters, co udziela usłudze AKS uprawnień do wstrzykiwania zasobników serwera API i wewnętrznego load balancera do tej podsieci. Nie można używać podsieci dla innych obciążeń, ale można jej używać w przypadku wielu klastrów usługi AKS znajdujących się w tej samej sieci wirtualnej. Minimalny obsługiwany rozmiar podsieci serwera interfejsu API to /28.

az network vnet create --name ${VNET_NAME} \
--resource-group ${RG_NAME} \
--location ${LOCATION} \
--address-prefixes 172.19.0.0/16

az network vnet subnet create --resource-group ${RG_NAME} \
--vnet-name ${VNET_NAME} \
--name apiServerSubnet \
--delegations Microsoft.ContainerService/managedClusters \
--address-prefixes 172.19.0.0/28

az network vnet subnet create --resource-group ${RG_NAME} \
--vnet-name ${VNET_NAME} \
--name clusterSubnet \
--address-prefixes 172.19.1.0/24

Reguły sieciowych grup zabezpieczeń

Cały ruch w sieci wirtualnej jest domyślnie dozwolony. Jeśli jednak dodano reguły sieciowej grupy zabezpieczeń w celu ograniczenia ruchu między różnymi podsieciami, upewnij się, że reguły zabezpieczeń sieciowej grupy zabezpieczeń zezwalają na następujące typy komunikacji:

Tworzenie tożsamości zarządzanej i nadawanie jej uprawnień w sieci wirtualnej

Utwórz tożsamość zarządzaną za pomocą polecenia az identity create i pobierz identyfikator podmiotu zabezpieczeń. Przypisz rolę Współautor sieci do tożsamości zarządzanej w sieci wirtualnej przy użyciu polecenia az role assignment create.

az identity create \
--resource-group ${RG_NAME} \
 --name ${IDENTITY_NAME} \
 --location ${LOCATION}

IDENTITY_PRINCIPAL_ID=$(az identity show --resource-group ${RG_NAME} --name ${IDENTITY_NAME} --query principalId -o tsv)

az role assignment create \
--scope "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}" \
--role "Network Contributor" \
--assignee ${IDENTITY_PRINCIPAL_ID}

"Tworzenie prywatnego automatycznego klastra AKS w niestandardowej sieci wirtualnej"

Aby utworzyć prywatny klaster AKS Automatic, użyj polecenia az aks create. Zwróć uwagę na użycie flagi --enable-private-cluster .

az aks create \
--resource-group ${RG_NAME} \
--name ${CLUSTER_NAME} \
--location ${LOCATION} \
--apiserver-subnet-id "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}/subnets/apiServerSubnet" \
--vnet-subnet-id "/subscriptions/${SUBSCRIPTION_ID}/resourceGroups/${RG_NAME}/providers/Microsoft.Network/virtualNetworks/${VNET_NAME}/subnets/clusterSubnet" \
--assign-identity "/subscriptions/${SUBSCRIPTION_ID}/resourcegroups/${RG_NAME}/providers/Microsoft.ManagedIdentity/userAssignedIdentities/${IDENTITY_NAME}" \
--sku automatic \
--enable-private-cluster \
--no-ssh-key

Po kilku minutach polecenie zostanie wykonane i zwróci informacje o klastrze w formacie JSON.

Łączenie z klastrem

Po utworzeniu klastra automatycznego usługi AKS jako klastra prywatnego punkt końcowy serwera interfejsu API nie ma publicznego adresu IP. Aby zarządzać serwerem interfejsu API, na przykład za pośrednictwem kubectlprogramu, musisz nawiązać połączenie za pośrednictwem maszyny, która ma dostęp do wirtualnej sieci klastra Azure. Istnieje kilka opcji nawiązywania łączności sieciowej z klastrem prywatnym:

• Utwórz maszynę wirtualną w tej samej sieci wirtualnej co automatyczny klaster AKS, używając polecenia az vm create z flagą --vnet-name.
• Użyj maszyny wirtualnej w oddzielnej sieci wirtualnej i skonfiguruj peering sieci wirtualnej.
• Użyj połączenia usługi Express Route lub sieci VPN.
• Skorzystaj z połączenia za pomocą prywatnego punktu końcowego.

Utworzenie maszyny wirtualnej w tej samej sieci wirtualnej co klaster usługi AKS jest najprostszą opcją. Usługa ExpressRoute i sieci VPN dodają koszty i wymagają dodatkowej złożoności sieci. Równoważenie sieci wirtualnych wymaga zaplanowania zakresów CIDR sieci, aby uniknąć nakładania się zakresów. Aby uzyskać więcej informacji , zobacz Opcje nawiązywania połączenia z klastrem prywatnym .

Aby zarządzać klastrem Kubernetes, użyj klienta wiersza polecenia kubernetes kubectl. kubectl jest już zainstalowany, jeśli używasz usługi Azure Cloud Shell. Aby zainstalować kubectl lokalnie, uruchom polecenie az aks install-cli . Klastry automatyczne AKS są konfigurowane z użyciem Microsoft Entra ID dla kontroli dostępu opartej na rolach (RBAC) w Kubernetes.

Podczas tworzenia klastra przy użyciu interfejsu wiersza polecenia platformy Azure użytkownik ma przypisane wbudowane role dla programu Azure Kubernetes Service RBAC Cluster Admin.

Skonfiguruj kubectl, aby połączyć się z klastrem Kubernetes przy użyciu polecenia az aks get-credentials. To polecenie pobiera poświadczenia i konfiguruje Kubernetes CLI do ich użycia.

az aks get-credentials --resource-group ${RG_NAME} --name ${CLUSTER_NAME}

Sprawdź połączenie z klastrem przy użyciu polecenia kubectl get . To polecenie zwraca listę węzłów klastra.

kubectl get nodes

Przykładowy wynik poniżej pokazuje, jak proszono Cię o zalogowanie się.

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code AAAAAAAAA to authenticate.

Po zalogowaniu się następujące przykładowe dane wyjściowe przedstawiają zarządzane pule węzłów systemu. Upewnij się, że stan węzła to Gotowe.

NAME                                STATUS   ROLES   AGE     VERSION
aks-nodepool1-13213685-vmss000000   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000001   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000002   Ready    agent   2m26s   v1.28.5

Tworzenie sieci wirtualnej

Ten plik Bicep definiuje sieć wirtualną.

@description('The location of the managed cluster resource.')
param location string = resourceGroup().location

@description('The name of the virtual network.')
param vnetName string = 'aksAutomaticVnet'

@description('The address prefix of the virtual network.')
param addressPrefix string = '172.19.0.0/16'

@description('The name of the API server subnet.')
param apiServerSubnetName string = 'apiServerSubnet'

@description('The subnet prefix of the API server subnet.')
param apiServerSubnetPrefix string = '172.19.0.0/28'

@description('The name of the cluster subnet.')
param clusterSubnetName string = 'clusterSubnet'

@description('The subnet prefix of the cluster subnet.')
param clusterSubnetPrefix string = '172.19.1.0/24'

// Virtual network with an API server subnet and a cluster subnet
resource virtualNetwork 'Microsoft.Network/virtualNetworks@2023-09-01' = {
    name: vnetName
    location: location
    properties: {
        addressSpace: {
            addressPrefixes: [ addressPrefix ]
        }
        subnets: [
            {
                name: apiServerSubnetName
                properties: {
                    addressPrefix: apiServerSubnetPrefix
                }
            }
            {
                name: clusterSubnetName
                properties: {
                    addressPrefix: clusterSubnetPrefix
                }
            }
        ]
    }
}

output apiServerSubnetId string = resourceId('Microsoft.Network/virtualNetworks/subnets', vnetName, apiServerSubnetName)
output clusterSubnetId string = resourceId('Microsoft.Network/virtualNetworks/subnets', vnetName, clusterSubnetName)

Zapisz plik Bicep virtualNetwork.bicep na komputerze lokalnym.

Wdróż plik Bicep przy użyciu interfejsu wiersza polecenia platformy Azure.

az deployment group create --resource-group <resource-group> --template-file virtualNetwork.bicep

Cały ruch w sieci wirtualnej jest domyślnie dozwolony. Jeśli jednak dodano reguły sieciowej grupy zabezpieczeń w celu ograniczenia ruchu między różnymi podsieciami, upewnij się, że reguły zabezpieczeń sieciowej grupy zabezpieczeń zezwalają na następujące typy komunikacji:

Tworzenie tożsamości zarządzanej

Ten plik Bicep definiuje tożsamość zarządzaną przypisaną użytkownikowi.

param location string = resourceGroup().location
param uamiName string = 'aksAutomaticUAMI'

resource userAssignedManagedIdentity 'Microsoft.ManagedIdentity/userAssignedIdentities@2023-01-31' = {
  name: uamiName
  location: location
}

output uamiId string = userAssignedManagedIdentity.id
output uamiPrincipalId string = userAssignedManagedIdentity.properties.principalId
output uamiClientId string = userAssignedManagedIdentity.properties.clientId

Zapisz plik Bicep uami.bicep na komputerze lokalnym.

Wdróż plik Bicep przy użyciu interfejsu wiersza polecenia platformy Azure.

az deployment group create --resource-group <resource-group> --template-file uami.bicep

Przypisz rolę współpracownika sieci dla sieci wirtualnej

Ten plik Bicep definiuje przypisania ról w sieci wirtualnej.

@description('The name of the virtual network.')
param vnetName string = 'aksAutomaticVnet'

@description('The principal ID of the user assigned managed identity.')
param uamiPrincipalId string

// Get a reference to the virtual network
resource virtualNetwork 'Microsoft.Network/virtualNetworks@2023-09-01' existing ={
  name: vnetName
}

// Assign the Network Contributor role to the user assigned managed identity on the virtual network
// '4d97b98b-1d4f-4787-a291-c67834d212e7' is the built-in Network Contributor role definition
// See: https://learn.microsoft.com/en-us/azure/role-based-access-control/built-in-roles/networking#network-contributor
resource networkContributorRoleAssignmentToVirtualNetwork 'Microsoft.Authorization/roleAssignments@2022-04-01' = {
  name: guid(uamiPrincipalId, '4d97b98b-1d4f-4787-a291-c67834d212e7', resourceGroup().id, virtualNetwork.name)
  scope: virtualNetwork
  properties: {
      roleDefinitionId: resourceId('Microsoft.Authorization/roleDefinitions', '4d97b98b-1d4f-4787-a291-c67834d212e7')
      principalId: uamiPrincipalId
  }
}

Zapisz plik roleAssignments.bicep na lokalnym komputerze.

Wdróż plik Bicep przy użyciu interfejsu wiersza polecenia platformy Azure. Musisz podać główny identyfikator tożsamości przypisanej przez użytkownika.

az deployment group create --resource-group <resource-group> --template-file roleAssignments.bicep \
--parameters uamiPrincipalId=<user assigned identity prinicipal id>

"Tworzenie prywatnego automatycznego klastra AKS w niestandardowej sieci wirtualnej"

Ten plik Bicep definiuje klaster AKS Automatic.

@description('The name of the managed cluster resource.')
param clusterName string = 'aksAutomaticCluster'

@description('The location of the managed cluster resource.')
param location string = resourceGroup().location

@description('The resource ID of the API server subnet.')
param apiServerSubnetId string

@description('The resource ID of the cluster subnet.')
param clusterSubnetId string

@description('The resource ID of the user assigned managed identity.')
param uamiId string

/// Create the private AKS Automatic cluster using the custom virtual network and user assigned managed identity
resource aks 'Microsoft.ContainerService/managedClusters@2024-03-02-preview' = {
  name: clusterName
  location: location  
  sku: {
    name: 'Automatic'
  }
  properties: {
    agentPoolProfiles: [
      {
        name: 'systempool'
        mode: 'System'
          count: 3
        vnetSubnetID: clusterSubnetId
      }
    ]
    apiServerAccessProfile: {
        subnetId: apiServerSubnetId
        enablePrivateCluster: true
    }
    networkProfile: {
      outboundType: 'loadBalancer'
    }
  }
  identity: {
    type: 'UserAssigned'
    userAssignedIdentities: {
      '${uamiId}': {}
    }
  }
}

Zapisz plik Bicep aks.bicep na komputerze lokalnym.

Wdróż plik Bicep przy użyciu interfejsu wiersza polecenia platformy Azure. Musisz podać identyfikator zasobu podsieci serwera API, identyfikator zasobu podsieci klastra i identyfikator tożsamości przypisanej użytkownika.

az deployment group create --resource-group <resource-group> --template-file aks.bicep \
--parameters apiServerSubnetId=<API server subnet resource id> \
--parameters clusterSubnetId=<cluster subnet resource id> \
--parameters uamiPrincipalId=<user assigned identity prinicipal id>

Łączenie z klastrem

Po utworzeniu klastra automatycznego usługi AKS jako klastra prywatnego punkt końcowy serwera interfejsu API nie ma publicznego adresu IP. Aby zarządzać serwerem interfejsu API, na przykład za pośrednictwem kubectlprogramu, musisz nawiązać połączenie za pośrednictwem maszyny, która ma dostęp do wirtualnej sieci klastra Azure. Istnieje kilka opcji nawiązywania łączności sieciowej z klastrem prywatnym:

• Utwórz maszynę wirtualną w tej samej sieci wirtualnej co automatyczny klaster AKS, używając polecenia az vm create z flagą --vnet-name.
• Użyj maszyny wirtualnej w oddzielnej sieci wirtualnej i skonfiguruj peering sieci wirtualnej.
• Użyj połączenia usługi Express Route lub sieci VPN.
• Skorzystaj z połączenia za pomocą prywatnego punktu końcowego.

Utworzenie maszyny wirtualnej w tej samej sieci wirtualnej co klaster usługi AKS jest najprostszą opcją. Usługa Express Route i sieci VPN dodają koszty i wymagają dodatkowej złożoności sieci. Równoważenie sieci wirtualnych wymaga zaplanowania zakresów CIDR sieci, aby uniknąć nakładania się zakresów. Aby uzyskać więcej informacji , zobacz Opcje nawiązywania połączenia z klastrem prywatnym .

Aby zarządzać klastrem Kubernetes, użyj klienta wiersza polecenia kubernetes kubectl. kubectl jest już zainstalowany, jeśli używasz usługi Azure Cloud Shell. Aby zainstalować kubectl lokalnie, uruchom polecenie az aks install-cli . Klastry automatyczne AKS są konfigurowane z użyciem Microsoft Entra ID dla kontroli dostępu opartej na rolach (RBAC) w Kubernetes.

Skonfiguruj kubectl, aby połączyć się z klastrem Kubernetes przy użyciu polecenia az aks get-credentials. To polecenie pobiera poświadczenia i konfiguruje Kubernetes CLI do ich użycia.

az aks get-credentials --resource-group <resource-group> --name <cluster-name>

Sprawdź połączenie z klastrem przy użyciu polecenia kubectl get . To polecenie zwraca listę węzłów klastra.

kubectl get nodes

Przykładowy wynik poniżej pokazuje, jak proszono Cię o zalogowanie się.

To sign in, use a web browser to open the page https://microsoft.com/devicelogin and enter the code AAAAAAAAA to authenticate.

Po zalogowaniu się następujące przykładowe dane wyjściowe przedstawiają zarządzane pule węzłów systemu. Upewnij się, że stan węzła to Gotowe.

NAME                                STATUS   ROLES   AGE     VERSION
aks-nodepool1-13213685-vmss000000   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000001   Ready    agent   2m26s   v1.28.5
aks-nodepool1-13213685-vmss000002   Ready    agent   2m26s   v1.28.5