Configurar Azure Database para PostgreSQL en una actividad de copia

En este artículo se describe cómo usar la actividad de copia en una canalización para copiar datos desde y hacia Azure Database for PostgreSQL.

Configuración admitida

Para la configuración de cada pestaña en la actividad de copia, vaya a las secciones siguientes respectivamente.

• General
• Fuente
• Destino
• Cartografía
• Configuración

General

Consulte las instruccionesgenerales para configurar la pestaña de parámetros General.

Fuente

Vaya a la pestaña Origen para configurar el origen de la actividad de copia. Consulte el siguiente contenido para obtener la configuración detallada.

Las siguientes tres propiedades son necesarias:

• Conexión: seleccione una conexión de Azure Database for PostgreSQL en la lista de conexiones. Si no existe ninguna conexión, cree una nueva conexión de Azure Database for PostgreSQL.

• Usar consulta: seleccione Tabla para leer datos de la tabla especificada o seleccione Consulta para leer datos mediante consultas.

  • Si selecciona Tabla:

    • Tabla: seleccione la tabla de la lista desplegable o seleccione Introducir manualmente para introducirla manualmente y leer los datos.

      

  • Si selecciona Consulta:

    • Consulta: especifique la consulta SQL personalizada para leer datos. Por ejemplo: SELECT * FROM mytable o SELECT * FROM "MyTable".

      Nota:

      En PostgreSQL, el nombre de entidad se trata como sin distinción entre mayúsculas y minúsculas si no está entre comillas.

      

• Versión: la versión que especifique. Se recomienda actualizar a la versión más reciente para aprovechar las mejoras más recientes. Al seleccionar la versión 2.0, el conector usa el modo de requerir SSL si encripta la conexión. Para obtener más información sobre el modo SSL, vaya a este artículo.

En Avanzado, puede especificar los campos siguientes:

• tiempo de espera de consulta (minutos): especifique el tiempo de espera antes de terminar el intento de ejecutar un comando y generar un error; el valor predeterminado es 120 minutos. Si el parámetro se establece para esta propiedad, los valores permitidos son intervalos de tiempo, como "02:00:00" (120 minutos). Para obtener más información, vea CommandTimeout.

• Opción de partición: especifica las opciones de creación de particiones de datos que se usan para cargar datos de Azure Database for PostgreSQL. Cuando se habilita una opción de partición (es decir, no Ninguno), el grado de paralelismo para cargar datos simultáneamente desde una instancia de Azure Database for PostgreSQL se controla mediante el grado de paralelismo de copia en la pestaña Configuración de la actividad de copia.

  Si selecciona Ninguno, decide no usar la partición.

  Si selecciona Particiones físicas de la tabla:

  • Nombres de partición: especifique la lista de particiones físicas que se deben copiar.

    Si usa una consulta para recuperar los datos de origen, vincula ?AdfTabularPartitionName en la cláusula WHERE. Para obtener un ejemplo, consulte la sección Copia en paralelo desde Azure Database for PostgreSQL .

    

  Si selecciona Rango dinámico:

  • Nombre de columna de partición: especifique el nombre de la columna de origen de tipo entero o fecha/fecha y hora (int, smallint, bigint, date, timestamp without time zone, timestamp with time zone o time without time zone) que usará la partición por rangos para la copia paralela. Si no se especifica, la clave principal de la tabla se detecta automáticamente y se usa como columna de partición.

    Si usa una consulta para recuperar los datos de origen, vincula ?AdfRangePartitionColumnName en la cláusula WHERE. Para ver un ejemplo, consulte la sección Copia en paralelo desde Azure Database for PostgreSQL.

  • Límite superior de partición: especifique el valor máximo de la columna de partición para copiar los datos.

    Si usa una consulta para recuperar los datos de origen, vincula ?AdfRangePartitionUpbound en la cláusula WHERE. Para ver un ejemplo, consulte la sección Copia en paralelo desde Azure Database for PostgreSQL. .

  • Límite inferior de partición: especifique el valor mínimo de la columna de partición para copiar los datos.

    Si usa una consulta para recuperar los datos de origen, vincula ?AdfRangePartitionLowbound en la cláusula WHERE. Para ver un ejemplo, consulte la sección Copia en paralelo desde Azure Database for PostgreSQL.

    

• Columnas adicionales: agregue columnas de datos adicionales para almacenar la ruta de acceso relativa o el valor estático de los archivos de origen. La expresión se admite para este último.

Destino

Vaya a la pestaña Destino para configurar el destino de la actividad de copia. Consulte el siguiente contenido para obtener la configuración detallada.

Las siguientes tres propiedades son necesarias:

• Conexión: seleccione una conexión de Azure Database for PostgreSQL en la lista de conexiones. Si no existe ninguna conexión, cree una nueva conexión de Azure Database for PostgreSQL.

• Tabla: seleccione la tabla de la lista desplegable o seleccione Entrar manualmente para escribir datos.

• Versión: la versión que especifique. Se recomienda actualizar a la versión más reciente para aprovechar las mejoras más recientes. Al seleccionar la versión 2.0, el conector usa el modo de requerir SSL si encripta la conexión. Para obtener más información sobre el modo SSL, vaya a este artículo.

En Avanzado, puede especificar los campos siguientes:

• Método de escritura: seleccione el método usado para escribir datos en Azure Database for PostgreSQL. Seleccione el comando Copiar (valor predeterminado, que es más eficaz), Inserción masiva y Upsert (para la versión 2.0).

  • upsert: Elija esta opción si los datos de origen incluyen tanto inserciones como actualizaciones.
    • columnas clave: elija la columna que se usa para determinar si una fila del origen coincide con una fila del destino.

• Script de copia previa: especifique una consulta SQL para que se ejecute la actividad de copia antes de escribir datos en Azure Database for PostgreSQL en cada ejecución. Puede usar esta propiedad para limpiar los datos cargados previamente.

• Tiempo de espera de escritura de lotes: especifique el tiempo de espera para que finalice la operación de inserción por lotes antes de que se agote el tiempo de espera. El valor permitido es timespan. El valor predeterminado es 00:30:00 (30 minutos).

• Tamaño de lote de escritura: Especifique el número de filas cargadas en la base de datos de Azure para PostgreSQL por lote. El valor permitido es un entero que representa el número de filas. El valor predeterminado es 1 000 000.

Cartografía

Para configurar la pestaña Asignación, consulte Configurar las asignaciones en la pestaña Asignación.

Configuración

Para la configuración de la pestaña Configuración, vaya a Configurar los otros parámetros en la pestaña configuración.

Copia paralela de Azure Database for PostgreSQL

En la actividad de copia, el conector de Azure Database for PostgreSQL proporciona la opción de crear particiones de datos integradas para copiar los datos en paralelo. Puede encontrar opciones de particionado de datos en la pestaña Fuente de la actividad de copia.

Al habilitar la copia con particiones, la actividad de copia ejecuta consultas en paralelo en el origen de Azure Database for PostgreSQL para cargar los datos por particiones. El grado paralelo se controla mediante el grado de paralelismo de copia en la pestaña configuración de la actividad de copia. Por ejemplo, si establece Grado de paralelismo de copia en cuatro, el servicio genera y ejecuta simultáneamente cuatro consultas en función de la configuración y la opción de partición especificadas, y cada consulta recupera una parte de los datos de su instancia de Azure Database for PostgreSQL.

Se sugiere habilitar la copia en paralelo con la creación de particiones de datos, especialmente si se cargan grandes cantidades de datos de Azure Database for PostgreSQL. A continuación se sugieren configuraciones para diferentes escenarios. Al copiar datos en el almacén de datos basado en archivos, se recomienda escribir en una carpeta como varios archivos (solo especificar el nombre de carpeta), en cuyo caso el rendimiento es mejor que escribir en un solo archivo.

Procedimientos recomendados para cargar datos con la opción de partición:

• Elija una columna distintiva como columna de partición (como clave principal o clave única) para evitar la asimetría de datos.
• Si la tabla tiene una partición integrada, use la opción de partición "Particiones físicas de tabla" para obtener un mejor rendimiento.

Resumen de tabla

La tabla siguiente contiene más información sobre la actividad de copia en Azure Database for PostgreSQL.

Información de origen

Información de destino

Contenido relacionado

• Introducción al conector de Azure Database for PostgreSQL