Standaardvereisten en -beperkingen

Deze pagina bevat een lijst met vereisten en beperkingen voor standaard berekenen. Als u klassieke berekeningen gebruikt, raadt Databricks aan om de standaardtoegangsmodus te gebruiken, tenzij uw workload afhankelijk is van een van de onderstaande beperkingen.

Huidige standaard compute-beperkingen

De volgende secties bevatten beperkingen voor standaard berekenen op basis van de meest recente Databricks Runtime-versie. Zie Runtime-afhankelijke beperkingen voor beperkingen die van toepassing zijn op oudere Databricks Runtime-versies.

Als deze functies vereist zijn voor uw workload, gebruikt u in plaats daarvan toegewezen rekenkracht .

Algemene standaard compute-beperkingen

• Databricks Runtime voor ML wordt niet ondersteund. Installeer in plaats daarvan een ML-bibliotheek die niet is gebundeld met Databricks Runtime als een bibliotheek met rekenbereik.
• Rekenkracht met GPU wordt niet ondersteund.
• Taaktaken voor Spark-submit worden niet ondersteund. Gebruik in plaats daarvan een JAR-taak.
• DBUtils en andere clients kunnen alleen lezen uit cloudopslag met behulp van een externe locatie.
• Aangepaste containers worden niet ondersteund.
• DBFS-root en aankoppelingen bieden geen ondersteuning voor FUSE.

Taalbeperkingen

• R wordt niet ondersteund.

Beperkingen voor Spark-API

• Spark-context (sc), spark.sparkContexten sqlContext worden niet ondersteund voor Scala:
  • Azure Databricks raadt het gebruik van de spark variabele aan om te communiceren met het SparkSession exemplaar.
  • De volgende sc functies worden ook niet ondersteund: emptyRDD, range, init_batched_serializer, parallelize, , pickleFiletextFilewholeTextFilesbinaryFilesbinaryRecordssequenceFilenewAPIHadoopFilenewAPIHadoopRDDhadoopFilehadoopRDDunionrunJobsetSystemPropertyuiWebUrlstop, setJobGroup, , . setLocalPropertygetConf
• De Spark-configuratie eigenschap spark.executor.extraJavaOptions wordt niet ondersteund.
• Wanneer u een DataFrame maakt op basis van lokale gegevens met behulp spark.createDataFramevan, mag de rijgrootte niet groter zijn dan 128 MB.
• RDD-API's worden niet ondersteund.
• Spark Connect, dat wordt gebruikt in recentere versies van Databricks Runtime, leidt analyse en naamomzetting uit tot uitvoeringstijd, waardoor het gedrag van uw code kan worden gewijzigd. Zie Spark Connect vergelijken met Spark Classic.

UDF-beperkingen

• Hive UDFs worden niet ondersteund. Gebruik in plaats daarvan UDF's in Unity Catalog.
• Scala UDF's kunnen niet worden gebruikt in functies met een hogere volgorde.

Streamingbeperkingen

• U kunt de indelingen statestore en state-metadata niet gebruiken om statusinformatie op te vragen voor stateful streamingquery's.
• Het werken met socket bronnen wordt niet ondersteund.
• De sourceArchiveDir moet zich op dezelfde externe locatie bevinden als de bron wanneer u option("cleanSource", "archive") gebruikt met een gegevensbron die wordt beheerd door Unity Catalog.
• Voor Kafka-bronnen en -sinks worden de volgende opties niet ondersteund:
  • kafka.sasl.client.callback.handler.class
  • kafka.sasl.login.callback.handler.class
  • kafka.sasl.login.class
  • kafka.partition.assignment.strategy

Beperkingen voor netwerk- en bestandssysteem

• Standaard compute voert opdrachten uit als een gebruiker met beperkte bevoegdheden die geen toegang heeft tot gevoelige onderdelen van het bestandssysteem.
• POSIX-paden (/) voor DBFS worden niet ondersteund.
• Alleen werkruimtebeheerders en gebruikers met enige bestandmachten kunnen rechtstreeks communiceren met bestanden via DBFS.

• U kunt geen verbinding maken met de instantiemetagegevensservice of Azure WireServer.

Beperkingen van Scala-kernel

De volgende beperkingen zijn van toepassing bij het gebruik van de scala-kernel op standaard compute:

• Bepaalde klassen kunnen niet in uw code worden gebruikt als ze conflicteren met de interne almond-kernelbibliotheek, met name Input. Zie amandelimporten voor een lijst met de gedefinieerde amandelimporten.
• Loggen rechtstreeks naar log4j wordt niet ondersteund.
• In de gebruikersinterface wordt de vervolgkeuzelijst voor het dataframeschema niet ondersteund.
• Als uw driver OOM bereikt, wordt de Scala REPL niet afgesloten.
• //connector/sql-aws-connectors:sql-aws-connectors bevindt zich niet in het bazel-doel van Scala REPL, gebruik resultaten in ClassNotFoundException.
• De Scala-kernel is niet compatibel met SQLImplicits.

Runtimeafhankelijke beperkingen

De volgende beperkingen zijn opgelost via runtime-updates, maar zijn mogelijk nog steeds van toepassing op uw workload als u een oudere runtime gebruikt.

Taalondersteuning

Spark-API-ondersteuning

UDF-ondersteuning

Streaming-ondersteuning

Daarnaast worden voor Python foreachBatch de volgende gedragswijzigingen aangebracht in Databricks Runtime 14.0 en hoger:

• print() commando's schrijven uitvoer naar de stuurprogrammalogboeken.
• U hebt geen toegang tot de dbutils.widgets submodule in de functie.
• Bestanden, modules of objecten waarnaar in de functie wordt verwezen, moeten serialiseren en beschikbaar zijn in Spark.

Ondersteuning voor netwerk- en bestandssysteem