Conexión a una ubicación externa raíz de DBFS (heredada)

En esta página se describe cómo conectarse a una ubicación externa de almacenamiento externo del sistema de archivos de Databricks (DBFS ). Después de conectarse, puede controlar el acceso a los objetos del almacenamiento raíz de DBFS mediante el catálogo de Unity.

Aunque Databricks recomienda no almacenar datos en el almacenamiento raíz de DBFS, es posible que su área de trabajo lo haga debido a prácticas heredadas. Por ejemplo, el metastore de Azure Databricks Hive heredado y local del área de trabajo podría tener datos almacenados en la raíz de DBFS. Siga esta guía para conectarse a la raíz de DBFS mediante la creación primero de un objeto de credencial de almacenamiento que permita el acceso a la raíz de DBFS y, a continuación, un objeto de ubicación externo que defina la ruta de acceso a la raíz de DBFS. Estos objetos le permiten conectarse a su metastore de Hive heredado para que el equipo pueda trabajar con las tablas de metastore de Hive mediante el catálogo de Unity. Consulte Federación del metastore de Hive: habilite Unity Catalog para controlar las tablas registradas en un metastore de Hive y Habilitar la federación del metastore de Hive en un metastore heredado del área de trabajo.

Antes de empezar

Para crear una ubicación externa para la raíz de DBFS, debe tener una credencial de almacenamiento definida en el Catálogo de Unity que proporcione acceso a la ubicación de almacenamiento en la nube de la raíz de DBFS. Si aún no tiene uno, el sistema puede crear uno automáticamente durante el proceso de creación de la ubicación externa.

Requisitos de permisos:

• Debe tener los privilegios CREATE STORAGE CREDENTIAL y CREATE EXTERNAL LOCATION en el metastore. Los administradores de metastore tienen estos privilegios de forma predeterminada.

  Note

  Si ya existe una credencial de almacenamiento para la ubicación de almacenamiento de la raíz de DBFS, el usuario que crea la ubicación externa no necesita CREATE STORAGE CREDENTIAL, pero sí CREATE EXTERNAL LOCATION en la credencial de almacenamiento y en el metastore.

• Debe ser administrador del área de trabajo para que el sistema cree la credencial de almacenamiento durante la creación de la ubicación externa.

  No es necesario ser administrador del área de trabajo si ya existe una credencial de almacenamiento que proporciona acceso a la ubicación de almacenamiento raíz de DBFS y tiene CREATE EXTERNAL LOCATION tanto en la credencial de almacenamiento como en el metastore.

Creación de la ubicación externa

Puede usar el Explorador de catálogos para crear una ubicación externa para la raíz de DBFS.

1. En la barra lateral, haga clic en Catálogo.

2. Haga clic en Datos >externos y en Crear ubicación externa.

3. Escriba un nombre de ubicación externa.

4. En Tipo de almacenamiento, seleccione Raíz de DBFS.

   Los campos URL y subpath se rellenan con la ruta de acceso de almacenamiento en la nube a la raíz de DBFS.

   Important

   Al crear una ubicación externa para la raíz de DBFS, debe usar la subruta a la ubicación raíz de DBFS, no la ruta de acceso a todo el cubo. La dirección URL y la subruta se rellenan previamente con user/hive/warehouse, que es la ubicación de almacenamiento predeterminada para las tablas de metastore de Hive. Si desea un control de acceso más específico a los datos de la raíz de DBFS, puede crear ubicaciones externas independientes para subdirecciones dentro de la raíz de DBFS.

   Warning

   La raíz de DBFS puede almacenarse en Azure Blob Storage en lugar de Azure Data Lake Storage. Se tiene acceso a estas ubicaciones mediante el wasb controlador , que no permite controles de directorio ni de nivel de archivo. Por lo tanto, el catálogo de Unity solo puede aplicar el control de acceso en el nivel de contenedor, lo que significa que los usuarios con acceso a esta ubicación externa pueden acceder potencialmente a otros datos del mismo contenedor si usan recursos de proceso con el modo de acceso dedicado (anteriormente modo de acceso de usuario único). Para evitar esto, aplique el uso de recursos de proceso del modo de acceso estándar (anteriormente modo de acceso compartido), almacenes de SQL o proceso sin servidor.

5. Seleccione una credencial de almacenamiento que conceda acceso a la ubicación de almacenamiento en la nube raíz de DBFS o, si no se ha definido ninguna, haga clic en + Crear nueva credencial de almacenamiento.

   Al guardar la ubicación externa, se crea automáticamente una credencial de almacenamiento.

6. (Opcional) Agregue un comentario.

7. (Opcional) Haga clic en Opciones avanzadas y habilite el modo de respaldo.

   El modo de respaldo está destinado para escenarios de migración de cargas de trabajo heredadas. Consulta Habilitación del modo de reserva en ubicaciones externas.

8. Haga clic en Crear.

9. Ve a la pestaña Permisos para conceder permiso a fin de usar la ubicación externa.

   1. Haga clic en Conceder.
   2. Seleccione usuarios, grupos o principales de servicio en el campo Principales y seleccione el privilegio que desea conceder.
   3. Haga clic en Conceder.

10. (Opcional) Establezca las áreas de trabajo que pueden acceder a esta ubicación externa.

    De forma predeterminada, a los usuarios de cualquier área de trabajo que use este metastore de catálogo de Unity se les puede conceder acceso a los datos de esta ubicación. Puede limitar ese acceso a áreas de trabajo específicas. Databricks recomienda limitar el acceso al área de trabajo en la que está la raíz de DBFS.

    Vea Vincular una ubicación externa a uno o más espacios de trabajo.