Databricks Runtime 17.1

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 17.1, unterstützt von Apache Spark 4.0.0.

Azure Databricks hat diese Version im August 2025 veröffentlicht.

Neue Features und Verbesserungen

• Erweiterte räumliche SQL-Ausdrücke und GEOMETRY- und GEOGRAPHY-Datentypen
• Rekursive allgemeine Tabellenausdrücke (GA)
• Unity Catalog Python User-Defined Table Functions (UDTFs)
• Unterstützung für die Standardsortierung auf Schema- und Katalogebene
• Ausführungsumgebung für die Freigegebene Isolation für Python-UDFs im Batch-Unity-Katalog
• Bessere Behandlung von JSON-Optionen mit VARIANT
• display() unterstützt den Streaming-Real-Time-Modus
• Rate Source unterstützt den Streaming-Real-Time-Modus
• Ereigniszeitgeber, die für zeitbasierte Fenster unterstützt werden
• Scalar Python UDFs unterstützen Dienstanmeldeinformationen
• Verbesserte Schemaauflistung
• Verbesserte Zuordnung von Zeichenfolgenspalten in Redshift-Schreibvorgängen
• Unterstützung für DDL, SHOW und DESCRIBE für zugriffsgesteuerte Tabellen
• Verringerte Speicherauslastung für breite Schemas in Photon Writer
• Unterstützung für TIMESTAMP OHNE ZEITZONENsyntax

Erweiterte räumliche SQL-Ausdrücke und GEOMETRY- und GEOGRAPHY-Datentypen

Sie können jetzt geospatiale Daten in integrierten GEOMETRY Und GEOGRAPHY Spalten speichern, um die Leistung räumlicher Abfragen zu verbessern. Diese Version fügt mehr als 80 neue räumliche SQL-Ausdrücke hinzu, einschließlich Funktionen zum Importieren, Exportieren, Messen, Konstruieren, Bearbeiten, Validieren, Transformieren und Bestimmen von topologischen Beziehungen mit räumlichen Verknüpfungen. Siehe ST-Geospatialfunktionen, GEOGRAPHY -Typ und GEOMETRY -Typ.

Rekursive allgemeine Tabellenausdrücke (GA)

Rekursive allgemeine Tabellenausdrücke (rCTEs) sind jetzt allgemein verfügbar. Verwenden Sie rCTEs, um hierarchische Daten mit einem selbstverweisenden CTE zu navigieren und mit UNION ALL rekursive Beziehungen zu verfolgen.

Unity Catalog Python benutzerdefinierte Tabellenfunktionen (UDTFs)

Sie können jetzt Python UDTFs im Unity-Katalog für zentrale Governance und wiederverwendbare Logik in SQL-Abfragen registrieren. Siehe Python benutzerdefinierte Tabellenfunktionen (UDTFs) im Unity-Katalog.

Unterstützung für die Standardsortierung auf Schema- und Katalogebene

Sie können jetzt eine Standardsortierung für Schemas und Kataloge in Databricks Runtime 17.1 festlegen. Auf diese Weise können Sie eine Sortierung definieren, die für alle Objekte gilt, die im Schema oder Katalog erstellt wurden, um ein konsistentes Sortierungsverhalten für Ihre Daten sicherzustellen.

Ausführungsumgebung für die Freigegebene Isolation für Python-UDFs im Batch-Unity-Katalog

Batch Unity Catalog Python UDFs mit demselben Besitzer können jetzt standardmäßig eine Isolationsumgebung freigeben. Dies kann die Leistung verbessern und die Speicherauslastung verringern, indem die Anzahl separater Umgebungen reduziert wird, die gestartet werden müssen.

Um sicherzustellen, dass eine UDF immer in einer vollständig isolierten Umgebung ausgeführt wird, fügen Sie die STRICT ISOLATION Merkmalsklausel hinzu. Siehe Umgebungsisolation.

Bessere Behandlung von JSON-Optionen mit VARIANT

Die from_json und to_json Funktionen wenden jetzt json-Optionen beim Arbeiten mit Schemas der obersten Ebene VARIANT ordnungsgemäß an. Dadurch wird ein konsistentes Verhalten mit anderen unterstützten Datentypen sichergestellt.

display() unterstützt den Streaming-Real-Time-Modus

Sie können die display() Funktion mit Streamingabfragen verwenden, die einen Echtzeittrigger verwenden. In diesem Modus verwendet display() automatisch den Ausgabemodus update und vermeidet das Hinzufügen einer LIMIT-Klausel, die mit update nicht unterstützt wird. Das Anzeigeaktualisierungsintervall wird auch von der Batchdauer entkoppelt, um die Reaktionsfähigkeit in Echtzeit zu verbessern.

Ratenquelle unterstützt Streaming-Echtzeitmodus

Die Ratequelle im strukturierten Streaming funktioniert jetzt mit Echtzeittriggern und ermöglicht die kontinuierliche Generierung von Daten für Streamingpipelines mithilfe des Streaming-Real-Time-Modus.

Ereigniszeitgeber für zeitbasierte Fenster werden unterstützt

Azure Databricks unterstützt ereigniszeitbasierte Trigger für zeitbasierte Fenstervorgänge im Streaming-Real-Time-Modus. Dies ermöglicht eine genauere Behandlung von verspäteten Daten und Wasserzeichen in Echtzeit-Streamingabfragen.

Scalar Python UDFs unterstützen Dienstanmeldeinformationen

Skalare Python UDFs können Unity Catalog Service-Anmeldeinformationen verwenden, um sicher auf externe Clouddienste zuzugreifen. Dies ist nützlich, um Vorgänge wie cloudbasierte Tokenisierung, Verschlüsselung oder geheime Verwaltung direkt in Ihre Datentransformationen zu integrieren.

Verbesserte Schemaauflistung

Der Snowflake-Connector verwendet die INFORMATION_SCHEMA Tabelle anstelle des Befehls zum Auflisten von SHOW SCHEMAS Schemas. Diese Änderung entfernt die 10.000-Schemagrenze des vorherigen Ansatzes und verbessert die Unterstützung für Datenbanken mit einer großen Anzahl von Schemas.

Verbesserte Zuordnung von Zeichenfolgenspalten in Redshift-Schreibvorgängen

Beim Schreiben von Tabellen in Redshift mithilfe von spark.write werden Zeichenfolgenspalten ohne explizite Länge zu VARCHAR(MAX) anstelle von TEXT zugeordnet. Dadurch wird das Redshift-Standardverhalten, TEXT als VARCHAR(256) zu interpretieren, vermieden, was beim Schreiben längerer Zeichenfolgen zu Fehlern führen kann.

Unterstützung für DDL, SHOW und DESCRIBE für zugriffsgesteuerte Tabellen

SQL-Befehle wie DDL, SHOWund DESCRIBE führen Sie jetzt mit dedizierten Clustern auf differenzierten zugriffsgesteuerten Tabellen aus. Bei Bedarf, um Zugriffssteuerungen zu erzwingen, leitet Azure Databricks diese Befehle über serverlose Berechnung weiter, genau wie bei Lesevorgängen, Zusammenführungen und Anfügevorgängen. Weitere Informationen finden Sie unter "Support für DDL", "SHOW", "DESCRIBE" und andere Befehle.

Verringerte Speicherauslastung für breite Schemas in Photon Writer

Verbesserungen am Photon-Modul wurden vorgenommen, die die Speicherauslastung für breite Schemas erheblich reduzieren und Szenarien behandeln, die zuvor zu Nichtspeicherfehlern geführt haben.

Unterstützung für TIMESTAMP OHNE ZEITZONENsyntax

Sie können jetzt TIMESTAMP WITHOUT TIME ZONE anstelle von TIMESTAMP_NTZ. Diese Änderung verbessert die Kompatibilität mit sql Standard.

Verhaltensänderungen

• Problem mit der Korrelation von Unterabfragen behoben
• Zeitstempel-NTZ-Literale werden nicht mehr nach unten verschoben
• Fehler, der für ungültige CHECK Einschränkungen ausgelöst wird
• Pulsar connector macht Bouncy Castle nicht mehr verfügbar
• Auto Loader verwendet standardmäßig Dateiereignisse, falls verfügbar
• Interne Tabelleneigenschaften gefiltert aus SHOW CREATE TABLE
• Strengere Regeln für Stream-Stream-Verknüpfungen im Anfügemodus
• Teradata-Connector behebt Vergleich zwischen Groß-/Kleinschreibung und Zeichenfolgen

Problem mit der Korrelation von Unterabfragen behoben

Azure Databricks korreliert nicht mehr fälschlicherweise semantisch gleiche Aggregatausdrücke zwischen einer Unterabfrage und ihrer äußeren Abfrage. Bisher könnte dies zu falschen Abfrageergebnissen führen.

Zeitstempel-NTZ-Literale werden nicht mehr nach unten gepusht

Sowohl für den Snowflake Connector als auch für die Snowflake Lakehouse Federation, TIMESTAMP_NTZ (Zeitstempel ohne Zeitzone) Literale werden nicht mehr an Snowflake weitergegeben. Diese Änderung verhindert Abfragefehler, die durch die inkompatible Zeitstempelbehandlung verursacht werden, und verbessert die Zuverlässigkeit für betroffene Abfragen.

Fehler, der für ungültige CHECK Einschränkungen ausgelöst wird

Azure Databricks löst jetzt einen AnalysisException Auslöser aus, wenn ein CHECK Einschränkungsausdruck während der Einschränkungsüberprüfung nicht aufgelöst werden kann.

Pulsar connector macht Bouncy Castle nicht mehr verfügbar

Die Bouncy Castle Bibliothek ist jetzt in der Pulsar-Verbindung schattiert, um Klassenpfadkonflikte zu verhindern. Daher können Spark-Aufträge nicht mehr über den Connector auf Klassen zugreifen org.bouncycastle.* . Wenn Ihr Anwendungscode von Bouncy Castle abhängt, installieren Sie die Bibliothek manuell auf Ihrem Cluster.

Auto Loader verwendet standardmäßig Dateiereignisse, falls verfügbar

Auto Loader verwendet Dateiereignisse anstelle der Verzeichnisauflistung, wenn der Ladepfad ein externer Speicherort mit aktivierten Dateiereignissen ist. Der Standardwert useManagedFileEvents ist jetzt if_available (war false). Dies kann die Aufnahmeleistung verbessern und eine Warnung protokolliert, wenn Dateiereignisse noch nicht aktiviert sind.

Interne Tabelleneigenschaften gefiltert aus SHOW CREATE TABLE

SHOW CREATE TABLE enthält keine internen Eigenschaften mehr, die nicht manuell festgelegt oder an diese übergeben CREATE TABLEwerden können. Dies reduziert Verwirrung und richtet die Ausgabe an benutzerdefinierten Optionen aus.

Strengere Regeln für Stream-Stream-Verknüpfungen im Anfügemodus

Azure Databricks verbietet jetzt Streamingabfragen im Anfügemodus, die eine Streamstream-Verknüpfung gefolgt von der Fensteraggregation verwenden, es sei denn, Wasserzeichen sind auf beiden Seiten definiert. Abfragen ohne ordnungsgemäße Wasserzeichen können nicht endend ergebnisse erzeugen, wobei die Anfügemodusgarantien verletzt werden.

Teradata-Connector behebt Vergleich zwischen Groß-/Kleinschreibung und Zeichenfolgen

Der Teradata-Connector wird TMODE=ANSIjetzt standardmäßig auf das Vergleichsverhalten von Zeichenfolgen mit Azure Databricks ausgerichtet, indem die Groß-/Kleinschreibung beachtet wird. Diese Änderung ist konfigurierbar und wirkt sich nicht auf vorhandene Benutzer aus, es sei denn, sie melden sich an.

Verbesserungen der Bibliothek

• Aktualisierte Python-Bibliotheken:

  • google-auth von 2.40.1 bis 2.40.0
  • mlflow-skinny von 3.0.0 bis 3.0.1
  • opentelemetry-api von 1.33.0 bis 1.32.1
  • opentelemetry-sdk von 1.33.0 bis 1.32.1
  • opentelemetry-semantic-conventions von Version 0.54b0 zu Version 0.53b1
  • Verpackung von 24.1 bis 24.2
  • Pip von 24.2 bis 25.0.1

• Aktualisierte R-Bibliotheken:

• cli von 3.6.4 bis 3.6.5

• curl von 6.2.1 bis 6.4.0

• Generika von 0.1.3 zu 0.1.4

• Globals von 0.16.3 auf 0.18.0

• openssl von 2.3.2 bis 2.3.3

• Säule von 1.10.1 bis 1.11.0

• rlang von 1.1.5 bis 1.1.6

• sparklyr von 1.9.0 bis 1.9.1

• stringi von 1.8.4 bis 1.8.7

• Tibble von 3.2.1 bis 3.3.0

• utf8 von 1.2.4 bis 1.2.6

• Aktualisierte Java-Bibliotheken:

  • software.amazon.cryptools.AmazonCorrettoCryptoProvider von 2.4.1-linux-x86_64 bis 2.5.0-linux-x86_64

Apache Spark

Databricks Runtime 17.1 umfasst Apache Spark 4.0.0. Diese Version enthält alle Spark-Fixes und Verbesserungen, die in Version 17.0 enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• SPARK-52721 Korrektur des Nachrichtenparameters für CANNOT_PARSE_DATATYPE
• SPARK-51919 Überschreiben der statisch registrierten Python-Datenquelle zulassen
• SPARK-52632 Wiederherstellen: Ziemliche Anzeige V2-Schreibplanknoten
• SPARK-52715 Schöne SQL-Zeichenfolge von TIME - DAY-TIME INTERVALL
• SPARK-51268 Strukturnode sperren frei machen
• SPARK-52701 Korrigiere die Erweiterung des float32-Typs in Modulo mit Bool unter ANSI
• SPARK-52563 Beheben eines Fehlers bei der Variablenbenennung in _assert_pandas_almost_equal
• SPARK-52541 Programmierhandbuch für deklarative Pipelines hinzufügen
• SPARK-51695 Beheben von Testfehlern durch CHECK-Syntaxänderung CONSTRAINT
• SPARK-52666 Benutzerdefinierten Typ dem richtigen MutableValue in SpecificInternalRow zuordnen
• SPARK-52660 Hinzufügen des Zeittyps zu CodeGenerator#javaClass
• SPARK-52693 ANSI-Tageszeitintervalle (+/– ) im Verhältnis zu TIME unterstützen
• SPARK-52705 Refaktorisierung der deterministischen Prüfung für Gruppierungsausdrücke
• SPARK-52699 Unterstützung für das Aggregieren des TIME-Typs im interpretierten Modus
• SPARK-52503 Beheben des Fehlers beim Löschen, wenn die Eingabespalte nicht vorhanden ist
• SPARK-52535 Verbesserung der Lesbarkeit des Codes der Regel ApplyColumnarRulesAndInsertTransitions
• SPARK-52551 Hinzufügen eines neuen v2-Prädikats BOOLEAN_EXPRESSION
• SPARK-52698 Zurücksetzen: Verbessern von Typhinweisen für das Datenquellenmodul
• SPARK-52684CACHE TABLE-Befehle bei Ausführungsfehlern unteilbar machen
• SPARK-52671 RowEncoder sucht kein aufgelöstes UDT
• SPARK-52670 HiveResult mit UserDefinedType#stringifyValue kompatibel machen
• SPARK-52692 Unterstützen des Zwischenspeicherns des TIME-Typs
• SPARK-51516 Unterstützung für TIME durch den Thrift-Server
• SPARK-52674 Bereinigen der Verwendung veralteter APIs im Zusammenhang mit RandomStringUtils
• SPARK-51428 Zuweisen von Aliasen für zusammengeführte Ausdrucksbäume deterministisch
• SPARK-52672 Ersetzen Sie Sort-/Having-Ausdrücke nicht durch Aliase, wenn ein Ausdruck in "Aggregate" vorhanden ist.
• SPARK-52618 Umwandlung von TIME(n) in TIME(m)
• SPARK-52656 current_time() korrigieren
• SPARK-52630 Reorganisieren Sie den Code und die Verzeichnisse von Streaming-Operatoren und Zustand-Mgmt
• SPARK-52649 Kürzen von Aliasen vor dem Abgleichen von Sort/Having/Filter-Ausdrücken in buildAggExprList
• SPARK-52578 Hinzufügen von Metriken für Zeilen zum Nachverfolgen von Fall und Aktion in MergeRowsExec
• SPARK-49428 Scala-Client von Connector zu SQL verschieben
• SPARK-52494 Unterstützung der Syntax des Doppelpunktzeichenoperators für den Zugriff auf Variant-Felder
• SPARK-52642 Verwenden Sie daemonWorkers.get(worker), um unerwartete Diskrepanzen zwischen idleWorkers und daemonWorkers zu vermeiden.
• SPARK-52570 Dividieren durch Null für numerisches rmod mit aktiviertem ANSI ermöglichen
• SPARK-52633 Deduplicate einzelne untergeordnete Union-Ausgabe vor DeduplicateRelations
• SPARK-52600 Verschieben Sie CompletionIterator zu common/utils
• SPARK-52626 Gruppieren nach Zeittyp zulassen
• SPARK-52395 Reduzierungsauftrag sofort scheitern lassen, wenn die Abrufanforderung von Prism fehlschlägt.
• SPARK-52596 Versuchen Sie, TIMESTAMP_NTZ von DATUM und UHRZEIT zu erstellen
• SPARK-52595 Umbenennen des TimeAdd-Ausdrucks in TimestampAddInterval
• SPARK-52586 Einführung in AnyTimeType
• SPARK-52583 Hinzufügen der Entwickler-API für Zeichenfolgenwerte in UserDefinedType
• SPARK-52354 Typenzwang zu UnionLoop hinzufügen
• SPARK-52579 Regelmäßiges Traceback-Dump für Python-Worker festlegen.
• SPARK-52456 Verringern des Mindestgrenzwerts von spark.eventLog.rolling.maxFileSize
• SPARK-52536 Festlegen von AsyncProfilerLoader extractionDir auf spark local dir
• SPARK-52405 Erweitern von V2JDBCTest zum Testen mehrerer Partitionslesewerte
• SPARK-52303 Höherstufen von ExternalCommandRunner auf "Stable"
• SPARK-52572 CAST_INVALID_INPUT von DataFrame.isin im ANSI-Modus vermeiden
• SPARK-52349 Aktivieren von booleschen Divisionstests mit aktivierter ANSI
• SPARK-52402 Beheben von Divid-by-Zero-Fehlern in Kendall- und Pearson-Korrelation im ANSI-Modus
• SPARK-52356 Division durch Null für boolesches mod/rmod mit aktiviertem ANSI ermöglichen
• SPARK-52288 Vermeiden sie INVALID_ARRAY_INDEX in split/rsplit, wenn der ANSI-Modus aktiviert ist
• SPARK-52557 CAST_INVALID_INPUT von to_numeric(errors='coerce') im ANSI-Modus vermeiden
• SPARK-52440 Zusätzliches Hinzufügen von Python-Installationen für deklarative Pipelines
• SPARK-52569 Beheben der Klassen cast-Ausnahme in SecondsOfTimeWithFraction
• SPARK-52540 Erstellen von TIMESTAMP_NTZ aus Datum und Uhrzeit
• SPARK-52539 Einführung von Sitzungshaken
• SPARK-52554 Vermeiden mehrerer Roundtrips für die Konfigurationsprüfung in Spark Connect
• SPARK-52553 Korrigieren von NumberFormatException beim Lesen des v1-Änderungsprotokolls
• SPARK-52534 MLCache und MLHandler threadsicher machen
• SPARK-52460 Speichern interner TIME-Werte als Nanosekunden
• SPARK-52482 ZStandard-Unterstützung für Dateidatenquellenleser
• SPARK-52531 OuterReference im Unterabfrageaggregat ist fälschlicherweise an das äußere Abfrageaggregat gebunden.
• SPARK-52339 Beheben des Vergleichs von InMemoryFileIndex-Instanzen
• SPARK-52418 Fügen Sie der QuantilHeap-Variable eine NoElements-Zustandsvariable hinzu, um sich wiederholende Berechnungen von isEmpty() zu vermeiden.
• SPARK-52537 Stacktraceausgabe bei Fehler beim Erstellen eines temporären Verzeichnisses
• SPARK-52462 Erzwingen von Typenzwang vor der Deduplizierung der Kinderausgabe in Union
• SPARK-52528 Aktivieren der Funktion "Teilen durch Null" für numerische Mods mit aktiviertem ANSI
• SPARK-52458 Unterstützung von spark.eventLog.excludedPatterns
• SPARK-52493 Unterstützung von Timestamp ohne Zeitzone
• SPARK-51563 Unterstützung des voll qualifizierten Typnamens TIME(n) WITHOUT TIME ZONE
• SPARK-52450 Verbessern der Leistung von Schema deepcopy
• SPARK-52519 Dividieren durch Null für numerisches floordiv mit aktiviertem ANSI ermöglichen
• SPARK-52489 Verbieten doppelter SQLEXCEPTION- und NOT FOUND-Handler innerhalb des SQL-Skripts
• SPARK-52488 Alias entfernen, bevor äußere Referenzen unter HAVING eingehüllt werden.
• SPARK-52383 Verbessern von Fehlern in SparkConnectPlanner
• SPARK-52335 Vereinheitlichen des Fehlers für die ungültige Bucketanzahl für Connect und Classic
• SPARK-52337 InvalidPlanInput zu einem benutzerorientierten Fehler machen
• SPARK-52312 V2WriteCommand beim Zwischenspeichern von DataFrame ignorieren
• SPARK-52487 Phasenübermittelte Zeit und Dauer zu StagePage-Detail hinzufügen
• SPARK-52433 Vereinheitlichung der String-Zwangsverarbeitung in createDataFrame
• SPARK-52427 Von einem Projekt abgedeckte Aggregatausdrucksliste normalisieren
• SPARK-51745 Zustandsautomat für RocksDBStateStore erzwingen
• SPARK-52447 Verschieben Sie die Normalisierung von GetViewColumnByNameAndOrdinal zur SessionCatalogSuite
• SPARK-52397 Idempotente ExecutePlan: Zweiter ExecutePlan mit derselben operationId und Plan wird wieder angefügt
• SPARK-52355 Ableiten des VariantVal-Objekttyps als VariantType beim Erstellen eines DataFrame
• SPARK-52425 Extrahiere Wert zur Wiederverwendung in einer Einzelpass-Implementierung refaktorisieren.
• SPARK-52249 Aktivieren der Dividierung durch Null für numerische Truediv-Werte mit aktivierter ANSI-Funktion
• SPARK-52228 Integrieren von Zustandsinteraktionsmikrobenchmark in Quicksilver (TCP)
• SPARK-48356 Verbesserung des Spaltenschemas der FOR-Anweisung
• SPARK-48353 Verbesserungen der Ausnahmenverarbeitung
• SPARK-52060 Erstellen eines OneRowRelationExec-Knotens
• SPARK-52391 TransformWithStateExec-Funktionen/Vars in Basisklasse für Scala und Python umgestalten
• SPARK-52218 Aktuelle Datetime-Funktionen wieder auswertbar machen
• SPARK-52350 Linkkorrektur für SS-Programmierhandbuch in Version 4.0
• SPARK-52385 TempResolvedColumns aus dem InheritAnalysisRules-Namen entfernen
• SPARK-52392 Neue Single Pass Analyzer-Funktionalität
• SPARK-52243 Hinzufügen der NERF-Unterstützung für schemabezogene InvalidPlanInput-Fehler
• SPARK-52338 Standardsortierung von Schema zu Ansicht erben
• SPARK-52307 Unterstützung für skalaren Arrow-Iterator-UDF
• SPARK-52300 Sql UDTVF-Auflösung verwenden konsistente Konfigurationen mit Ansichtsauflösung
• SPARK-52219 Unterstützung für die Sortierung auf Schemaebene für Tabellen
• SPARK-52272 V2SessionCatalog ändert das Schema im Hive-Katalog nicht
• SPARK-51890 Parameter zur logischen Planansicht hinzufügen options
• SPARK-51936 ReplaceTableAsSelect sollte neue Tabelle anstelle des Anfügens überschreiben.
• SPARK-51302 Spark Connect unterstützt die Verwendung von JDBC und sollte die DataFrameReader-API verwenden.
• SPARK-50137 Vermeiden eines Fallbacks auf inkompatible Methoden für die Tabellenerstellung
• SPARK-52184 JDBC-Syntaxfehler des externen Moduls mit einer einheitlichen Ausnahme kapseln
• SPARK-47618 Verwenden von Magic Committer für alle S3-Buckets standardmäßig
• SPARK-52305 Verfeinerung des Docstrings für isnotnull, equal_null, nullif, nullifzero, nvl, nvl2, zeroifnull
• SPARK-52174 Aktivieren Sie "spark.checkpoint.compress" standardmäßig
• SPARK-52224 Einführen von pyyaml als Abhängigkeit für den Python-Client
• SPARK-52233 map_zip_with für Fließkommatypen korrigieren
• SPARK-52036 SQLConfHelper-Trait zu v2.FileScan hinzufügen.
• SPARK-52159 Entfernen einer zu weit gefassten Bedingung für den MariaDB-Dialekt
• SPARK-50104 Unterstützung für SparkSession.executeCommand in Connect
• SPARK-52240 Korrigierte Zeilenindexverwendung beim Explodieren von gepackten Arrays im vektorisierten Reader
• SPARK-52153 from_json und to_json mit Variante korrigieren
• SPARK-48618 Test auf Nichtexistenz für dreiteilige und zweiteilige Namen verbessen
• SPARK-52216 InvalidCommandInput zu einem benutzerorientierten Fehler machen
• SPARK-52299 Ersetzen veralteter JsonNode.fields
• SPARK-52287 Verbessern Sie SparkContext, um o.a.s.internal.io.cloud.* Einstellung nicht aufzufüllen, falls nicht vorhanden.
• SPARK-51430 PySpark-Kontextprotokollierung daran hindern, Protokolle an die Standardausgabe weiterzuleiten
• SPARK-52278 Skalare Arrow-UDF-Unterstützung benannter Argumente
• SPARK-52026 Blockieren der Pandas-API auf Spark im ANSI-Modus standardmäßig
• SPARK-52171 Implementierung des StateDataSource-Joins für Status v3
• SPARK-52159 Ordnungsgemäße Handhabung der Überprüfung der Tabellenexistenz für JDBC-Dialekte
• SPARK-52158 Hinzufügen eines InvalidInputErrors-Objekts zum Zentralisieren von Fehlern in SparkConnectPlanner
• SPARK-52195 Problem des Verschwindens der Spalte für den anfänglichen Zustand für Python TWS beheben
• SPARK-52211 Strip $ Suffix aus SparkConnectServer INFO-Protokoll
• SPARK-52239 Registrierung eines Arrow-UDF unterstützen
• SPARK-52215 Implementieren von Skalarpfeil-UDF
• SPARK-52188 Fix für StateDataSource, bei dem StreamExecution.RUN_ID_KEY nicht festgelegt ist
• SPARK-52189 Neue goldene Dateitests für NATURAL JOIN mit GROUP BY, HAVING, ORDER BY und LCAs
• SPARK-52079 Normalisieren der Reihenfolge der Attribute in inneren Projektlisten
• SPARK-52234 Beheben eines Fehlers bei Nicht-Zeichenfolgeneingaben in schema_of_csv/xml
• SPARK-52221 Umgestalten von SqlScriptingLocalVariableManager in einen generischeren Kontext-Manager
• SPARK-52181 Größenbeschränkung für Varianten auf 128MiB erhöhen
• SPARK-52217 Überspringen der Validierung äußerer Referenzen im Single-Pass-Resolver unter "Filter"
• SPARK-51260 Verschieben von V2ExpressionBuilder und PushableExpression in das Katalysatormodul
• SPARK-52156 Veralteten CREATE TEMPORARY TABLE ... USING-Anbieter unter dem Flag platzieren
• SPARK-51012 SparkStrategy aus Connect Shims entfernen
• SPARK-52109 Hinzufügen der listTableSummaries-API zur Datenquellen-V2-Tabellenkatalog-API
• SPARK-50915 Hinzufügen von "getCondition" und "deprecate getErrorClass" in PySparkException
• SPARK-52022 Hinzufügen der Standardmethode für SparkThrowable.getQueryContext
• SPARK-51147 Umgestalten von Streaming-verwandten Klassen zu einem dedizierten Streamingverzeichnis
• SPARK-52120 Übergeben der Sitzung an ConnectHelper
• SPARK-52021 Separate Operator- und Ausdrucksmuster
• SPARK-51722 Entfernen des "stop"-Ursprungs von ParseException
• SPARK-52096 Klassifizieren Sie den Kafka-Quell-Offset-Assertionsfehler neu.
• SPARK-51985 Experimentelle Aus AccumulatorSource entfernen
• SPARK-51156 Unterstützung der statischen Tokenauthentifizierung in Spark Connect
• SPARK-52157 Verwenden eines früheren berechneten Namens für OuterReference im Single-Pass-Resolver
• SPARK-52100 Aktivierung der Außerkraftsetzung der Rekursionsgrenzen in der Syntax
• SPARK-51605 Erstellen des übergeordneten Verzeichnisses vor dem Berühren der LogFile-Datei
• SPARK-52127 Quetschen Sie das Protokoll von MapState KEYS / VALUES / ITERATOR für transformWithState in PySpark
• SPARK-52040 ResolveLateralColumnAliasReference sollte die Plan-ID beibehalten
• SPARK-51638 Beheben des Abrufens gespeicherter RDD-Blöcke durch externen Shuffle-Dienst
• SPARK-51983 Vorbereiten der Testumgebung für die Pandas-API auf Spark mit aktivierter ANSI-Modus
• SPARK-52087 Kopieren von Tags und Herkunft zu AliasHelper.trimNonTopLevelAliases hinzufügen
• SPARK-51210 Add --enable-native-access=ALL-UNNAMED zu Java-Optionen für Java 24+
• SPARK-52052 Hinzufügen von .broadcast im Begleitobjekt von SerializableConfiguration
• SPARK-51823 Konfiguration zum Nicht-Beibehalten des Zustandsspeichers auf den Ausführenden hinzufügen
• SPARK-51291 Validierungsfehler bei der Laden des Statusspeichers neu klassifizieren
• SPARK-52006 Ausschluss des CollectMetricsExec-Akkumulators von Spark UI + Ereignisprotokolle + Metric Heartbeats
• SPARK-52076 Schließt ExecutePlanResponseReattachableIterator nach der Verwendung explizit
• SPARK-51428 Zuweisen von Aliasen für zusammengeführte Ausdrucksbäume deterministisch
• SPARK-52079 Normalisieren der Reihenfolge der Attribute in inneren Projektlisten
• SPARK-52033 Fehler beim Generieren von Knoten beheben, bei dem die Ausgabe des untergeordneten Knotens mehrere Kopien desselben Attributs aufweisen kann
• SPARK-51428 Zuweisen von Aliasen für zusammengeführte Ausdrucksbäume deterministisch
• SPARK-52055 Unterdrücken Sie die Ausnahme in ExecutePlanResponseReattachableIterator. del
• SPARK-51921 Verwenden eines langen Typs für TTL-Dauer in Millisekunden in transformWithState
• SPARK-50763 Hinzufügen einer Analyzerregel zum Auflösen von SQL-Tabellenfunktionen
• SPARK-51884 Hinzufügen von äußeren Bereichsattributen für SubqueryExpression
• SPARK-50762 Hinzufügen der Analyzer-Regel zum Auflösen von SQL-Skalar-UDFs
• SPARK-51814 Verwendet list(self) anstelle von StructType.fields für die alte Version compat
• SPARK-51537 Erstellen Sie das sitzungsspezifische Klassenladeprogramm basierend auf dem Standardsitzungsklassenladeprogramm des Executors.
• SPARK-50777 Entfernen redundanter no-op init/destroy-Methoden aus Filterklassen
• SPARK-51691 SerializationDebugger sollte eine Ausnahme schlucken, wenn er versucht, den Grund für ein Serialisierungsproblem zu ermitteln.
• SPARK-51386 Namen zu Fehlerbedingungen zuweisen, _LEGACY_ERROR_TEMP_3300-3302
• SPARK-50734 Hinzufügen der Katalog-API zum Erstellen und Registrieren von SQL UDFs
• SPARK-51989 Hinzufügen fehlender Filterunterklassen zu allen Listen in der Datenquelle
• SPARK-52037 Reihenfolge in internen LCA-Projektlisten sollte die Reihenfolge in der ursprünglichen Projektliste beachten
• SPARK-52007 Ausdrucks-IDs sollten nicht in Gruppierungsausdrücken vorhanden sein, wenn Gruppierungssätze verwendet werden
• SPARK-51860 Deaktivieren Sie spark.connect.grpc.debug.enabled standardmäßig.
• SPARK-47952 Support für das abrufen der absoluten Adresse und des Anschlusses des SparkConnectService-GRPC programmgesteuert beim Rennen auf Yarn
• SPARK-50906 Hinzufügen einer Nullbarkeitsprüfung, ob die Eingaben von to_avro mit dem Schema übereinstimmen
• SPARK-50581-Fixunterstützung für UDAF in Dataset.observe()
• SPARK-49946 Anfordern einer Fehlerklasse in SparkOutOfMemoryError
• SPARK-49748 Hinzufügen von "getCondition" und "deprecate getErrorClass" in SparkThrowable
• SPARK-51959 Funktionen so gestalten, dass sie keine ParentDataFrame importieren
• SPARK-51964 Attribute aus ausgeblendeter Ausgabe in ORDER BY und HAVING über einem Aggregat im Single-Pass-Analyzer richtig auflösen
• SPARK-49942 Ändern Sie errorClass zu condition in classifyException()
• SPARK-51963 Vereinfachen von IndexToString.transform
• SPARK-51946 Voreiliges Fehlschlagen beim Erstellen einer hive-inkompatiblen Datenquellentabelle mit dem Partitionsnamen "col"
• SPARK-51553 EXTRACT ändern, um TIME-Datentyp zu unterstützen
• SPARK-51891 Komprimierung des Protokolls von ListState GET / PUT / APPENDLIST für transformWithState in PySpark
• SPARK-51931 MaxBytesPerOutputBatch hinzufügen, um die Anzahl der Bytes des Pfeilausgabebatches einzuschränken
• SPARK-51441 Hinzufügen von DSv2-APIs für Einschränkungen
• SPARK-51814 Verwenden Sie RecordBatch.schema.names anstelle von column_names für die alte Pyarrow-Kompatibilität.
• SPARK-51913 JDBCTableCatalog#loadTable sollte den Fehler "Tabelle existiert nicht" korrekt auslösen.
• SPARK-51840 Wiederherstellen von Partitionsspalten in HiveExternalCatalog#alterTable
• SPARK-51414 Hinzufügen der funktion make_time()
• SPARK-49700 Vereinheitlichte Scala-Schnittstelle für Connect und Classic
• SPARK-51914 Hinzufügen von com.mysql.cj zu spark.sql.hive.metastore.sharedPrefixes
• SPARK-51827 Spark Connect in transformWithState in PySpark unterstützen
• SPARK-51901 Nicht zulassen von Generatorfunktionen in Gruppierungssätzen
• SPARK-51423 Hinzufügen der funktion current_time() für TIME-Datentyp
• SPARK-51680 Logischen Typ für TIME in Parquet Writer festlegen
• SPARK-51889 Beheben eines Fehlers für MapState clear() in Python TWS
• SPARK-51869 Erstellen einer Klassifizierung für Benutzerfehler in UDFs für Scala TransformWithState
• SPARK-51878 Verbessern Sie fillDefaultValue, indem Sie den faltbaren Standardausdruck ausführen.
• SPARK-51757 Korrigieren: LEAD/LAG-Funktionsoffset überschreitet die Fenstergruppengröße
• SPARK-51805 Get-Funktion mit unkorrektem Argument sollte eine passende Ausnahme werfen statt einer internen.
• SPARK-51900 Datentypkonflikt in Single-Pass Analyzer richtig auslösen
• SPARK-51421 Sekunden des Datentyps TIME abrufen
• SPARK-51661 Partitioniert die Entdeckung der TIME-Spaltenwerte
• SPARK-51687 Filter mit TIME-Werten an Parquet pushen
• SPARK-51419 Stunden des TIME-Datentyps abrufen
• SPARK-51881 AvroOptions vergleichbar machen
• SPARK-51861 Entfernen duplizierter/unnötiger Informationen von InMemoryRelation Plandetail
• SPARK-51814 Einführung einer neuen API transformWithState in PySpark
• SPARK-51779 Verwenden von virtuellen Spaltenfamilien für Stream-Stream-Verknüpfungen
• SPARK-51649 Dynamische Schreib-/Lesevorgänge von TIME-Partitionen
• SPARK-51634 TIME in Spaltenvektoren außerhalb des Heaps unterstützen
• SPARK-51877 Funktionen "chr", "random" und "uuid" hinzufügen
• SPARK-51610 Unterstützung des TIME-Datentyps in der Parkettdatenquelle
• SPARK-51420 Minuten aus TIME-Datentyp abrufen
• SPARK-51822 Auslösen eines klassifizierten Fehlers, wenn nicht zulässige Funktionen während StatefulProcessor.init() aufgerufen werden
• SPARK-51868 Verschieben der Typkoersionsüberprüfung in ein separates Objekt
• SPARK-49747 Migration von connect/ Dateien zur strukturierten Protokollierung

Azure Databricks ODBC/JDBC-TREIBERunterstützung

Azure Databricks unterstützt in den letzten 2 Jahren veröffentlichte ODBC/JDBC-Treiber. Laden Sie die kürzlich veröffentlichten Treiber herunter, und führen Sie ein Upgrade durch (ODBC herunterladen, JDBC herunterladen).

Wartungsupdates

Siehe Azure Databricks Runtime 17.1 Wartungsupdates.

Systemumgebung

• Betriebssystem: Ubuntu 24.04.2 LTS
• Java: Zulu17.58+21-CA
• Skala: 2.13.16
• Python: 3.12.3
• R: 4.4.2
• Delta Lake: 4.0.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Posit Package Manager CRAN-Momentaufnahme am 2025-03-20installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.13-Clusterversion)