Configuración del entorno interactivo de PySpark para Visual Studio Code

Los pasos siguientes muestran cómo configurar el entorno interactivo de PySpark en VS Code. Este paso es solo para usuarios que no son de Windows.

Usamos el comando python/pip para crear un entorno virtual en la ruta de acceso principal. Si quiere usar otra versión, deberá cambiar la versión predeterminada del comando python/pip manualmente. Para más información, consulte update-alternatives.

1. Instale Python y pip.

   • Instale Python desde https://www.python.org/downloads/.

   • Instale pip desde https://pip.pypa.io/en/stable/installing (si no se instaló desde la instalación de Python).

   • Si quiere, use los comandos python --version y pip --version para validar que Python y pip estén correctamente instalados, respectivamente.

     Nota

     Se recomienda instalar Python manualmente, en lugar de usar la versión predeterminada de macOS.

2. Instale virtualenv con el comando siguiente.

   pip install virtualenv
   

Otros paquetes

En Linux, si aparece el mensaje de error siguiente, ejecute los dos comandos siguientes para instalar los paquetes necesarios.

sudo apt-get install libkrb5-dev

sudo apt-get install python-dev

Reinicie VS Code y vuelva al editor de VS Code y ejecute el comando Spark: PySPark Interactive.

Pasos siguientes

Demostración

• HDInsight para VS Code: Vídeo

Herramientas y extensiones

• Uso de Herramientas de Azure HDInsight para Visual Studio Code
• Uso de Azure Toolkit for IntelliJ para crear y enviar aplicaciones de Scala para Apache Spark
• Instalación de un cuaderno de Jupyter Notebook en el equipo y conexión al clúster de Apache Spark en HDInsight de Azure