Tutorial: Ejecución de código desde PyCharm en el proceso clásico

Databricks Connect le permite conectar entornos de desarrollo integrados (IDEs) populares, como PyCharm, servidores de cuadernos y otras aplicaciones personalizadas al servicio de computación de Azure Databricks. Consulte ¿Qué es Databricks Connect?

En este artículo se muestra cómo empezar a trabajar rápidamente con Databricks Connect para Python mediante PyCharm. Creará un proyecto en PyCharm, instalará Databricks Connect para Databricks Runtime 13.3 LTS y versiones posteriores, y ejecutará código sencillo en el proceso clásico en el área de trabajo de Databricks desde PyCharm.

Requisitos

Para completar este tutorial, debe cumplir los siguientes requisitos:

• El área de trabajo, el entorno local y el proceso cumplen los requisitos de Databricks Connect para Python. Consulte Requisitos de uso de Databricks Connect.
• Tiene PyCharm instalado. Este tutorial se ha probado con PyCharm Community Edition 2023.3.5. Si usa una versión o edición diferente de PyCharm, las instrucciones siguientes pueden variar.
• Si está utilizando cómputo clásico, necesitará el ID del clúster. Para obtener el identificador del clúster, en el área de trabajo, haga clic en Proceso en la barra lateral y, a continuación, haga clic en el nombre del clúster. En la barra de direcciones del explorador web, copie la cadena de caracteres entre clusters y configuration en la dirección URL.

Paso 1: Configuración de la autenticación de Azure Databricks

En este tutorial se usa la autenticación de usuario a máquina (U2M) de OAuth y un perfil de configuración de Azure Databricks para autenticarse en el área de trabajo de Azure Databricks. Para usar un tipo de autenticación diferente, consulte Configuración de propiedades de conexión.

La configuración de la autenticación U2M de OAuth requiere la CLI de Databricks. Para información sobre cómo instalar la CLI de Databricks, consulte Instalación o actualización de la CLI de Databricks.

Inicie la autenticación U2M de OAuth, como se indica a continuación:

1. Use el CLI de Databricks para iniciar la administración de tokens de OAuth localmente mediante la ejecución del siguiente comando para cada área de trabajo de destino.

   En el comando siguiente, reemplace <workspace-url> por la dirección URL de Azure Databricks por área de trabajo, por ejemplo, https://adb-1234567890123456.7.azuredatabricks.net.

   databricks auth login --configure-cluster --host <workspace-url>
   

   Sugerencia

   Para usar el proceso sin servidor con Databricks Connect, consulte Configuración de una conexión a proceso sin servidor.

2. La CLI de Databricks le pide que guarde la información que especificó como un perfil de configuración de Azure Databricks. Presione Enter para aceptar el nombre del perfil sugerido o escriba el nombre de un perfil nuevo o existente. Cualquier perfil existente con el mismo nombre se sobrescribe con la información que ha ingresado. Puede usar perfiles para cambiar rápidamente el contexto de autenticación entre varias áreas de trabajo.

   Para obtener una lista de los perfiles existentes, en una terminal o una línea de comandos por separado, use la CLI de Databricks para ejecutar el comando databricks auth profiles. Para ver la configuración existente de un perfil específico, ejecute el comando databricks auth env --profile <profile-name>.

3. En el explorador web, complete las instrucciones en pantalla para iniciar sesión en el área de trabajo de Azure Databricks.

4. En la lista de clústeres disponibles que aparecen en el terminal o el símbolo del sistema, use las teclas de flecha arriba y flecha abajo para seleccionar el clúster de Azure Databricks de destino en el área de trabajo y a continuación, presione Enter. También puede escribir cualquier parte del nombre de visualización del clúster para filtrar la lista de clústeres disponibles.

5. Para ver el valor actual del token de OAuth de un perfil y la próxima marca de tiempo de expiración del token, ejecute uno de los siguientes comandos:

   • databricks auth token --host <workspace-url>
   • databricks auth token -p <profile-name>
   • databricks auth token --host <workspace-url> -p <profile-name>

   Si tiene varios perfiles con el mismo valor de --host, es posible que tenga que especificar las opciones --host y -p para ayudar a la CLI de Databricks a encontrar la información correcta del token de OAuth coincidente.

Paso 2: Crear el proyecto

1. Inicie PyCharm.
2. En el menú principal, haga clic en Archivo > Nuevo proyecto.
3. En el cuadro de diálogoNuevo proyecto, haga clic en Pure Python.
4. En Ubicación, haga clic en el icono de carpeta y complete las instrucciones en pantalla para especificar la ruta de acceso al nuevo proyecto de Python.
5. Deje crear un script de bienvenida de main.py seleccionado.
6. En Tipo de intérprete, haga clic en Proyecto venv.
7. Expanda Versión de Python, y use el icono de carpeta o la lista desplegable para especificar la ruta de acceso al intérprete de Python de los requisitos anteriores.
8. Haga clic en Crear.

Paso 3: Agregar el paquete de Databricks Connect

1. En el menú principal de PyCharm, haga clic en Ver > ventanas de herramientas > Paquetes de Python.
2. En el cuadro de búsqueda, escriba databricks-connect.
3. En la lista repositorio de PyPI, haga clic en databricks-connect.
4. En la lista desplegable más reciente del panel de resultados, seleccione la versión que coincida con la versión de Databricks Runtime del clúster. Por ejemplo, si el clúster tiene instalado Databricks Runtime 14.3, seleccione 14.3.1.
5. Haga clic en Instalar paquete.
6. Una vez instalado el paquete, puede cerrar la ventana Paquetes de Python.

Paso 4: Agregar código

1. En la ventana de la herramienta Proyecto , haga clic con el botón derecho en la carpeta raíz del proyecto y haga clic en Nuevo > archivo de Python.

2. Escriba main.py y haga doble clic en archivo de Python.

3. Escriba el código siguiente en el archivo y, a continuación, guarde el archivo, en función del nombre del perfil de configuración.

   Si el perfil de configuración del paso 1 se denomina DEFAULT, escriba el código siguiente en el archivo y guarde el archivo:

   from databricks.connect import DatabricksSession
   
   spark = DatabricksSession.builder.getOrCreate()
   
   df = spark.read.table("samples.nyctaxi.trips")
   df.show(5)
   

   Si el perfil de configuración del paso 1 no se denomina DEFAULT, escriba el código siguiente en el archivo en su lugar. Reemplace el marcador de posición <profile-name> por el nombre del perfil de configuración del paso 1 y guarde el archivo:

   from databricks.connect import DatabricksSession
   
   spark = DatabricksSession.builder.profile("<profile-name>").getOrCreate()
   
   df = spark.read.table("samples.nyctaxi.trips")
   df.show(5)
   

Paso 5: ejecutar el código

1. Inicie el clúster de destino en el área de trabajo remota de Azure Databricks.
2. Una vez iniciado el clúster, en el menú principal, haga clic en Ejecutar > ejecutar "main".
3. En la ventana de herramientas Ejecutar (Ver > Ventanas de herramientas > Ejecutar), en el panel principal de la pestaña Ejecutar, aparecen las primeras 5 filas de la samples.nyctaxi.trips.

Paso 6: Depurar el código

1. Con el clúster en ejecución, en el código anterior, haga clic en el margen junto a df.show(5) para establecer un punto de interrupción.
2. En el menú principal, haga clic en Ejecutar > Depuración 'main'.
3. En la ventana de herramientas Debug (Ver > Ventanas de herramientas > Debug), en el panel de la pestaña Depurador de Variables, expanda los nodos de las variables df y spark para examinar información sobre las variables del código df y spark.
4. En la barra lateral de la ventana de la herramienta Depurar , haga clic en el icono de flecha verde (Reanudar programa).
5. En la pestaña Depurador del panel Consola, aparecen las 5 primeras filas de samples.nyctaxi.trips.