Limitations avec Databricks Connect pour Python

Cet article répertorie les limitations avec Databricks Connect pour Python. Databricks Connect vous permet de connecter des environnements de développement intégré (IDE) populaires, des serveurs notebook et des applications personnalisées aux clusters Azure Databricks. Consultez Qu’est-ce que Databricks Connect ?. Pour accéder à la version Scala de cet article, consultez Limitations avec Databricks Connect pour Scala.

Disponibilité des fonctionnalités

Non disponible sur Databricks Connect pour Databricks Runtime 13.3 LTS et versions antérieures :

• Diffuser en continu foreachBatch
• Création de DataFrames de plus de 128 Mo
• Requêtes longues sur 3 600 secondes

Non disponible sur Databricks Connect pour Databricks Runtime 15.3 et ci-dessous :

• ApplyinPandas() et Cogroup() avec le calcul avec le mode d’accès standard

Non disponible sur Databricks Connect pour Databricks Runtime 16.3 et ci-dessous :

• Sur le calcul serverless, les fonctions définies par l’utilisateur ne peuvent pas inclure de bibliothèques personnalisées.

Non disponible :

• dataframe.display() Interface de Programmation d'Applications (API)
• Databricks Utilities : credentials, library, notebook workflow, widgets
• Contexte Spark
• RDD
• Bibliothèques qui utilisent des RDD, un contexte Spark ou accèdent à la JVM Spark sous-jacente, telle que Mosaïque géospatiale, GraphFrames ou GreatExpectations
• CREATE TABLE <table-name> AS SELECT (à la place, utilisez spark.sql("SELECT ...").write.saveAsTable("table"))
• Modification du niveau de journal log4j via SparkContext
• L’entraînement ML distribué n’est pas pris en charge.
• Synchronisation de l’environnement de développement local avec le cluster distant