Compartir a través de

Habilitación de la conectividad segura del clúster

En este artículo se explica cómo usar la conectividad segura de clústeres para áreas de trabajo de Azure Databricks. La conectividad segura del clúster también se conoce como sin dirección IP pública (NPIP). Los recursos de proceso sin servidor no usan conectividad segura del clúster, pero tampoco tienen direcciones IP públicas.

Introducción a la conectividad de clústeres seguros

Cuando se habilita la conectividad segura del clúster, las redes virtuales del cliente no tienen puertos abiertos ni recursos de proceso en el plano de proceso clásico no tienen direcciones IP públicas.

  • Cada clúster inicia una conexión al relé de conectividad segura del clúster en la plataforma de control durante la creación del clúster. El clúster establece esta conexión mediante el puerto 443 (HTTPS) y usa una dirección IP diferente de la que se usa para la aplicación web y la API REST.
  • Cuando el plano de control realiza tareas de administración de clústeres, estas solicitudes se envían al clúster a través de este túnel.

Nota:

Todo el tráfico de red de Azure Databricks entre la red virtual del plano de proceso clásico y el plano de control de Azure Databricks pasa por la red troncal de Microsoft, no por la red pública de Internet. Esto es así incluso si la conectividad segura del clúster está deshabilitada.

Puede habilitar la conectividad segura del clúster en una nueva área de trabajo o agregarla a un área de trabajo existente que ya usa la inserción de red virtual.

Habilitación de la conectividad segura de clústeres en una nueva área de trabajo

La conectividad segura del clúster se habilita automáticamente al crear un área de trabajo mediante Azure Portal o una plantilla de Azure Resource Manager (ARM).

  • Azure Portal: al aprovisionar el área de trabajo, en la pestaña Redes , implementación del área de trabajo de Azure Databricks con conectividad de clúster seguro (sin dirección IP pública) se establece de forma predeterminada en Sí.

    Para obtener instrucciones detalladas sobre cómo usar Azure Portal para crear un área de trabajo, consulte Uso del portal para crear un área de trabajo de Azure Databricks.

  • El parámetro enableNoPublicIp del recurso Microsoft.Databricks/workspaces se establece en true de forma predeterminada a partir de la versión 2024-05-01 y posteriores. Si el enableNoPublicIp parámetro no se incluye explícitamente en la plantilla, se comportará como si se hubiera establecido en true. Puede invalidar explícitamente este valor predeterminado estableciendo enableNoPublicIp en false en la plantilla.

    Para obtener instrucciones detalladas sobre el uso de una plantilla de ARM para crear un área de trabajo, consulte Implementación de un área de trabajo con una plantilla de ARM. Para las plantillas de ARM que usan inyección de VNet, consulte Implementar Azure Databricks en su red virtual de Azure (inyección de VNet).

Agregar conectividad de clúster segura a un área de trabajo existente

Puede habilitar la conectividad segura de clústeres en un área de trabajo existente mediante Azure Portal, una plantilla de ARM o azurerm la versión 3.41.0+del proveedor de Terraform. La actualización requiere que el área de trabajo use la Inyección de VNet.

Importante

Si usa un firewall u otras configuraciones de red para controlar la entrada o salida desde el plano de proceso clásico, es posible que tenga que actualizar las reglas del firewall o del grupo de seguridad de red al habilitar la conectividad segura del clúster para que los cambios surtan efecto. Por ejemplo, mediante la conectividad segura del clúster, hay una conexión saliente adicional al plano de control y las conexiones entrantes del plano de control ya no se usan.

Paso 1: Detener todos los recursos de proceso

Detenga todos los recursos de proceso clásicos, como clústeres, grupos o almacenes de SQL clásicos. Databricks recomienda planear el momento de la actualización en función del tiempo de inactividad.

Paso 2: Actualizar el área de trabajo

Puede actualizar el área de trabajo mediante Azure Portal, una plantilla de ARM o Terraform.

Uso de Azure Portal

  1. Vaya al área de trabajo de Azure Databricks en Azure Portal.
  2. En el panel de navegación izquierdo, en Configuración, haga clic en Redes.
  3. En la pestaña Acceso a la red , establezca Implementación del área de trabajo de Azure Databricks con conectividad de clúster segura (sin ip pública) en Habilitado.
  4. Haga clic en Save(Guardar).

La actualización de la red puede tardar más de 15 minutos en completarse.

Aplicar una plantilla ARM actualizada mediante el Azure portal

Use una plantilla de ARM para establecer el enableNoPublicIp parámetro en True (true).

Nota:

Si el grupo de recursos administrado tiene un nombre personalizado, debe modificar la plantilla en consecuencia. Póngase en contacto con el equipo de la cuenta de Azure Databricks para obtener más información.

  1. Copie el siguiente código JSON de la plantilla de ARM de actualización:

    {
  "$schema": "https://schema.management.azure.com/schemas/2019-04-01/deploymentTemplate.json#",
  "contentVersion": "1.0.0.0",
  "parameters": {
    "location": {
      "defaultValue": "[resourceGroup().location]",
      "type": "String",
      "metadata": {
        "description": "Location for all resources."
      }
    },
    "workspaceName": {
      "type": "String",
      "metadata": {
        "description": "The name of the Azure Databricks workspace to create."
      }
    },
    "apiVersion": {
      "defaultValue": "2023-02-01",
      "allowedValues": ["2018-04-01", "2020-02-15", "2022-04-01-preview", "2023-02-01"],
      "type": "String",
      "metadata": {
        "description": "2018-03-15 for 'full region isolation control plane' and 2020-02-15 for 'FedRAMP certified' regions"
      }
    },
    "enableNoPublicIp": {
      "defaultValue": true,
      "type": "Bool"
    },
    "pricingTier": {
      "defaultValue": "premium",
      "allowedValues": ["premium", "standard", "trial"],
      "type": "String",
      "metadata": {
        "description": "The pricing tier of workspace."
      }
    },
    "publicNetworkAccess": {
      "type": "string",
      "defaultValue": "Enabled",
      "allowedValues": ["Enabled", "Disabled"],
      "metadata": {
        "description": "Indicates whether public network access is allowed to the workspace - possible values are Enabled or Disabled."
      }
    },
    "requiredNsgRules": {
      "type": "string",
      "defaultValue": "AllRules",
      "allowedValues": ["AllRules", "NoAzureDatabricksRules"],
      "metadata": {
        "description": "Indicates whether to retain or remove the AzureDatabricks outbound NSG rule - possible values are AllRules or NoAzureDatabricksRules."
      }
    }
  },
  "variables": {
    "managedResourceGroupName": "[concat('databricks-rg-', parameters('workspaceName'), '-', uniqueString(parameters('workspaceName'), resourceGroup().id))]",
    "managedResourceGroupId": "[subscriptionResourceId('Microsoft.Resources/resourceGroups', variables('managedResourceGroupName'))]"
  },
  "resources": [
    {
      "type": "Microsoft.Databricks/workspaces",
      "apiVersion": "[parameters('apiVersion')]",
      "name": "[parameters('workspaceName')]",
      "location": "[parameters('location')]",
      "sku": {
        "name": "[parameters('pricingTier')]"
      },
      "properties": {
        "ManagedResourceGroupId": "[variables('managedResourceGroupId')]",
        "publicNetworkAccess": "[parameters('publicNetworkAccess')]",
        "requiredNsgRules": "[parameters('requiredNsgRules')]",
        "parameters": {
          "enableNoPublicIp": {
            "value": "[parameters('enableNoPublicIp')]"
          }
        }
      }
    }
  ]
}

    1. Vaya a la página Implementación personalizada de Azure Portal.

    2. Haga clic en Cree su propia plantilla en el editor.

    3. Pegue el código JSON de la plantilla que copió.

    4. Haga clic en Save(Guardar).

    5. Rellene los parámetros.

    6. Para actualizar un área de trabajo existente, use los mismos parámetros que usó para crear el área de trabajo, excepto para enableNoPublicIp, que debe establecer en true. Establezca la suscripción, la región, el nombre del área de trabajo, los nombres de subred y el identificador de recurso de la red virtual existente.

      Importante

      Tanto el nombre del grupo de recursos como el nombre del área de trabajo y los nombres de las subredes son idénticos a los de su área de trabajo existente, de modo que este comando actualiza el área de trabajo existente en lugar de crear una nueva.

    7. Haga clic en Revisar y crear.

    8. Si no hay ningún problema de validación, haga clic en Crear.

    La actualización de la red puede tardar más de 15 minutos en completarse.

Aplicar una actualización mediante Terraform

En el caso de las áreas de trabajo creadas con Terraform, puede actualizar el área de trabajo sin volver a crearla.

Importante

Debe usar la versión del terraform-provider-azurerm 3.41.0 o posterior, por lo que debe actualizar la versión del proveedor de Terraform según sea necesario. Las versiones anteriores intentan volver a crear el área de trabajo si cambia alguna de estas opciones de configuración.

Cambie la siguiente configuración del área de trabajo:

  • no_public_ip en el bloquecustom_parameters se puede cambiar de false a true.

La actualización de la red puede tardar más de 15 minutos en completarse.

Paso 3: Validar la actualización

Una vez que el área de trabajo está en estado activo, se completa el trabajo de actualización. Compruebe que se ha aplicado la actualización:

  1. Abra Azure Databricks en el explorador web.

  2. Inicie uno de los clústeres del área de trabajo y espere hasta que el clúster esté completamente iniciado.

  3. Vaya a su instancia de área de trabajo en Azure Portal.

  4. Haga clic en el identificador azul situado junto a la etiqueta de campo Grupo de recursos administrado.

  5. En ese grupo, busque las máquinas virtuales del clúster y haga clic en una de ellas.

  6. En la configuración de la máquina virtual, en Propiedades, busque los campos del área Redes.

  7. Confirme que el campo Dirección IP pública está vacío.

    Si se rellena, la máquina virtual tiene una dirección IP pública, lo que significa que se produjo un error en la actualización.

Reversión temporal de la actualización a la conectividad segura del clúster

Si algo va mal durante la implementación, puede invertir temporalmente el proceso estableciendo enableNoPublicIp a false. Sin embargo, la deshabilitación de la conectividad segura del clúster solo se admite como reversión temporal antes de continuar con la actualización más adelante. Si esto es temporalmente necesario, siga las instrucciones anteriores para la actualización, pero establezca enableNoPublicIp a false en lugar de true.

Salida de las subredes del área de trabajo

Al habilitar la conectividad segura del clúster, ambas subredes del área de trabajo son subredes privadas porque los nodos de clúster no tienen direcciones IP públicas.

Los detalles de implementación del egreso de red varían según si utiliza la red virtual predeterminada (administrada) o si recurre a la inyección de VNet para proporcionar su propia red virtual en la cual desplegar el área de trabajo.

Importante

Se puede incurrir en costos adicionales debido al aumento del tráfico de salida si se usa la conectividad segura de clústeres. Para la implementación más segura, Microsoft y Databricks recomiendan encarecidamente que habilite la conectividad segura del clúster.

Salida con una red virtual predeterminada (administrada)

Si usa la conectividad segura del clúster con la red virtual predeterminada que crea Azure Databricks, Azure Databricks crea automáticamente una puerta de enlace NAT para el tráfico saliente desde las subredes del área de trabajo a la red troncal de Azure y a la red pública. La puerta de enlace NAT se crea dentro del grupo de recursos que Azure Databricks administra. No puede modificar este grupo de recursos ni ningún recurso aprovisionado en él. Esta puerta de enlace NAT incurre en costos adicionales.

Salida con inyección VNet

Si habilita la conectividad segura del clúster en el espacio de trabajo que usa la inyección de VNet, Databricks recomienda que el espacio de trabajo tenga una dirección IP pública de salida estable. Las direcciones IP públicas de salida estables son útiles porque puede agregarlas a listas de permitidos externas. Por ejemplo, para conectarse desde Azure Databricks a Salesforce con una dirección IP de salida estable.

Advertencia

Microsoft anunció que después del 31 de marzo de 2026, las nuevas redes virtuales tendrán como valor predeterminado configuraciones privadas sin acceso saliente a Internet. Esto requiere métodos de conectividad de salida explícitos para llegar a puntos de conexión públicos y servicios de Microsoft. Consulte este anuncio para obtener más detalles. Este cambio no afecta a las áreas de trabajo existentes. Sin embargo, las nuevas áreas de trabajo de Azure Databricks implementadas después de esta fecha requerirán un método de salida seguro, como una puerta de enlace NAT, para garantizar una funcionalidad de clúster adecuada.

Para proporcionar conectividad a Internet para las implementaciones, use una puerta de enlace nat de Azure. Configure la puerta de enlace en ambas subredes del área de trabajo para asegurarse de que todo el tráfico saliente se enruta a través de ella con una dirección IP pública de salida estable. Esto proporciona conectividad a Internet saliente coherente para los clústeres y le permite modificar la configuración de las necesidades de salida personalizadas. Puede configurar la puerta de enlace NAT mediante una plantilla de Azure o desde Azure Portal.

Advertencia

No use un equilibrador de carga de salida con un área de trabajo que tenga habilitada la conectividad segura de clústeres. En los sistemas de producción, un equilibrador de carga de salida puede provocar el riesgo de agotar los puertos.

Procedimientos recomendados de configuración del firewall

Incluya siempre en la lista de permitidos los nombres de dominio proporcionados (FQDN) para los puntos de conexión de retransmisión SCC en lugar de direcciones IP individuales. Las direcciones IP detrás de estos dominios cambian periódicamente debido a actualizaciones de infraestructura.

Los clientes que permiten incluir direcciones IP específicas pueden experimentar interrupciones en el servicio cuando se producen cambios en la infraestructura. Si debe usar direcciones IP, debe recuperar periódicamente nuestras direcciones IP más recientes y mantener actualizadas las configuraciones del firewall.

  • Last updated on