Transferencia de datos para grandes conjuntos de datos con ancho de banda de red moderado a elevado

En este artículo se proporciona información general sobre las soluciones de transferencia de datos cuando tiene ancho de banda de red moderado a alto en su entorno y planea transferir grandes conjuntos de datos. En el artículo también se describen las opciones de transferencia de datos recomendadas y la matriz de funcionalidad de clave correspondiente para este escenario.

Para comprender una introducción a todas las opciones de transferencia de datos disponibles, vaya a Elección de una solución de transferencia de datos de Azure.

Descripción del escenario

Los conjuntos de datos grandes hacen referencia a tamaños de datos en el orden de los BB a los PB. El ancho de banda de red moderado a alto hace referencia a 100 Mbps a 10 Gbps.

Opciones recomendadas

Las opciones recomendadas en este escenario dependen de si tiene un ancho de banda de red moderado o elevado.

Ancho de banda de red moderado (100 Mbps - 1 Gbps)

Con un ancho de banda de red moderado, necesita planear el tiempo para la transferencia de datos a través de la red.

Use la tabla siguiente para calcular el tiempo y en función de eso, elija entre una transferencia sin conexión o a través de la transferencia de red. En la tabla se muestra el tiempo previsto para la transferencia de datos de red, para varios anchos de banda de red disponibles (suponiendo un uso de 90%).

• Si se proyecta que la transferencia de red sea demasiado lenta, debe usar un dispositivo físico. Las opciones recomendadas en este caso son los dispositivos de transferencia sin conexión de la familia Azure Data Box o Azure Import/Export mediante sus propios discos.

  • Familia de Azure Data Box para transferencias sin conexión : use dispositivos de dispositivos Data Box proporcionados por Microsoft para mover grandes cantidades de datos a Azure cuando esté limitado por tiempo, disponibilidad de red o costos. Copie los datos locales con herramientas como Robocopy. Según el tamaño de los datos previstos para la transferencia, puede elegir entre Data Box Disk, Data Box o Data Box Heavy.
  • Azure Import/Export : use el servicio Azure Import/Export mediante el envío de sus propias unidades de disco para importar de forma segura grandes cantidades de datos a Azure Blob Storage y Azure Files. También se puede usar este servicio para transferir datos desde Azure Blob Storage hasta las unidades de disco y enviarlas al sitio local.

• Si se proyecta que la transferencia de red sea razonable, puede usar cualquiera de las siguientes herramientas detalladas en Ancho de banda de red alto.

Ancho de banda de red elevado (1 Gbps - 100 Gbps)

Si el ancho de banda de red disponible es alto, use una de las siguientes herramientas.

• AzCopy : use esta herramienta de línea de comandos para copiar fácilmente datos hacia y desde Azure Blobs, Archivos y Table Storage con un rendimiento óptimo. AzCopy admite la simultaneidad y el paralelismo, y permite reanudar operaciones de copia cuando si se interrumpen.
• API o SDK de REST de Azure Storage : al compilar una aplicación, puede desarrollar la aplicación en las API REST de Azure Storage y usar los SDK de Azure que se ofrecen en varios lenguajes.
• Familia de Azure Data Box para transferencias en línea : Azure Stack Edge y Data Box Gateway son dispositivos de red en línea que pueden mover datos hacia y fuera de Azure. Use el dispositivo físico de Azure Stack Edge cuando haya una necesidad simultánea de ingesta continua y preprocesamiento de los datos antes de cargarlos. Data Box Gateway es una versión virtual del dispositivo con las mismas funcionalidades de transferencia de datos. En cada caso, es el dispositivo quien se encarga de administrar la transferencia de datos.
• Azure Data Factory : Data Factory debe usarse para escalar horizontalmente una operación de transferencia y, si hay necesidad de funcionalidades de orquestación y supervisión de nivel empresarial. Use Data Factory para transferir archivos regularmente entre varios servicios de Azure, en las instalaciones o mediante una combinación de ambos. Con Data Factory puede crear y programar flujos de trabajo basados en datos (llamados canalizaciones) que ingieren datos de distintos almacenes de datos y automatizar el movimiento de datos y la transformación de datos.

Comparación de funcionalidades clave

En las tablas siguientes se resumen las diferencias en las funcionalidades clave de las opciones recomendadas.

Ancho de banda de red moderado

Si usa la transferencia de datos sin conexión, use la tabla siguiente para comprender las diferencias en las funcionalidades clave.

* Data Box Disk no admite recursos compartidos de archivos grandes y no conserva los metadatos del archivo.

Si usa la transferencia de datos en línea, use la tabla de la sección siguiente para un ancho de banda de red elevado.

Ancho de banda de red elevado

Pasos siguientes

• Obtenga información sobre cómo transferir datos con Import/Export.

• Comprender cómo:

  • Transferir datos con Data Box Disk.
  • Transferir datos con Data Box.
  • Transferir datos con AzCopy.
  • Transferir datos con Data Box Gateway.
  • Transforme los datos con Azure Stack Edge antes de enviarlos a Azure.

• Aprenda a transferir datos con Azure Data Factory.

• Use las API REST para transferir datos:

  • En .NET
  • En Java