Databricks Runtime 13.1 (サポート期間終了)

次のリリース ノートには、Apache Spark 3.4.0 で稼働する Databricks Runtime 13.1 に関する情報が記載されています。

Databricks は、2023 年 5 月にこのバージョンをリリースしました。

新機能と機能強化

• JDK 17 のクラスター サポート (パブリック プレビュー)
• ストリーミング テーブルのデータを追加、変更、または削除する
• SQL を使用して Kafka を読み取る
• 新しい SQL 組み込み関数
• クラスター スコープの Python ライブラリに対する Unity Catalog のサポート
• Unity Catalog での最適化された書き込みの既定の有効化の拡張
• 構造化ストリーミング ワークロードでのステートフル オペレーターの高度なサポート
• Unity Catalog のタグ付けはパブリック プレビュー段階です
• 構造化ストリーミングの Pub/Sub のサポート
• 構造化ストリーミングでウォーターマーク内の重複を削除する
• パーティション列が切り捨てられた Apache Iceberg テーブルからのデルタ変換サポートが拡張されました
• Delta Lake での列マッピングを使用したストリーム スキーマの変更
• START VERSION の削除
• Python で使用できる新しい H3 式

JDK 17 のクラスター サポート (パブリック プレビュー)

Databricks は、Java Development Kit (JDK) 17 のクラスター サポートを提供するようになりました。 「Databricks SDK for Java」を参照してください。

ストリーミング テーブルのデータを追加、変更、または削除する

DML ステートメントを使用して、Lakeflow Spark 宣言パイプラインによって Unity カタログに発行されたストリーミング テーブルを変更できるようになりました。 「ストリーミング テーブル内のデータを追加、変更、または削除する」および「 ターゲット ストリーミング テーブルのデータを追加、変更、または削除する」を参照してください。 DML ステートメントを使用して、Databricks SQL で作成されたストリーミング テーブルを変更することもできます。

SQL を使って Kafka を読み取る

これで、read_kafka SQL 関数を使用して Kafka データを読み取ることができます。 SQL を使用したストリーミングは、DLT または Databricks SQL のストリーミング テーブルでのみサポートされます。 テーブル値関数read_kafka参照してください。

新しい SQL 組み込み関数

次の分析関数が追加されました:

• array_prepend(array, elem) で array が前に付加した elem を返します。
• try_aes_decrypt(expr, key [, mode [, padding]]) AES 暗号化を使用して生成されたバイナリを復号化し、エラーが発生した場合は NULL を返します。
• sql_keywords() Azure Databricks SQL キーワードのテーブルを返します。

クラスター スコープの Python ライブラリに対する Unity Catalog のサポート

Unity Catalog には、ライブラリの使用に関するいくつかの制限があります。 Databricks Runtime 13.1 以降では、ワークスペース ファイルとしてアップロードされる Python ホイール ファイルなど、クラスター スコープの Python ライブラリがサポートされています。 DBFS ファイルパスを使用して参照されるライブラリは、DBFS ルート内でも、DBFS にマウントされた外部の場所でもサポートされていません。 Python 以外のライブラリはサポートされていません。 コンピュート範囲ライブラリを参照してください。

Databricks Runtime 13.0 以下では、Unity カタログ対応ワークスペースで標準アクセス モード (以前の共有アクセス モード) を使用するクラスターでは、クラスター スコープライブラリはサポートされていません。

Unity Catalog での最適化された書き込みの既定の有効化の拡張

Unity Catalog に登録されている Delta テーブルの既定の最適化された書き込みサポートは、パーティション テーブルの CTAS ステートメントと INSERT 操作を含むように拡張されました。 この動作は、SQL ウェアハウスの既定値に合わせて調整されます。 「Delta Lake on Azure Databricks の最適化された書き込み」を参照してください。

構造化ストリーミング ワークロードでのステートフル オペレーターの高度なサポート

複数のステートフル演算子を連結できるようになりました。つまり、ウィンドウ集計などの操作の出力を結合などの別のステートフル操作にフィードできます。 「ステートフル ストリーミングとは」を参照してください。

Unity Catalog のタグ付けはパブリック プレビュー段階です

シャロー クローンを使用して、既存の Unity Catalog マネージド テーブルから新しい Unity Catalog マネージド テーブルを作成できるようになりました。 「Unity Catalog テーブルのシャロー クローン」を参照してください。

構造化ストリーミングの Pub/Sub のサポート

組み込みのコネクタを使用して、構造化ストリーミングを使用して Google Pub/Sub にサブスクライブできるようになりました。 「Google Pub/Sub にサブスクライブする」を参照してください。

構造化ストリーミングでウォーターマーク内の重複を削除する

指定したウォーターマークしきい値と組み合わせて dropDuplicatesWithinWatermark を使用して、構造化ストリーミング内のレコードを重複除去できるようになりました。 「ウォーターマーク内の重複をドロップする」を参照してください。

トランケーションされたパーティション列を持つApache Icebergテーブルからのデルタ変換のサポートが拡張されました。

CLONE、CONVERT TO DELTA、およびintの型の切り捨てられた列にパーティションが定義されている Apache Iceberg テーブルで、longとstringを使用できるようになりました。 decimal 型の切り捨てられた列はサポートされていません。

Delta Lake での列マッピングを使用したストリーム スキーマの変更

スキーマ追跡の場所を指定して、列マッピングが有効になっている Delta テーブルからのストリーミングを有効にすることができます。 「列マッピングとスキーマの変更が伴うストリーミング」を参照してください。

START VERSION の削除

START VERSION で ALTER SHARE が非推奨になりました。

Python で使用できる新しい H3 式

h3_coverash3 式と h3_coverash3string 式が Python で使用できます。

バグ修正

Parquet failOnUnknownFields で型の不一致に関するデータが自動的に削除されなくなりました

Parquet ファイルが failOnUnknownFields オプションのみを使用して読み取られた場合、または failOnNewColumns スキーマ展開モードで自動ローダーを使用した場合、異なるデータ型を持つ列は失敗し、rescuedDataColumn を使用することをお勧めします。 Integer 型、Short 型、Byte 型のデータ型のいずれかが指定されている場合は、自動ローダーが正しく読み取られ、型が復旧されなくなりました。 Parquet ファイルでは、他の 2 つの型のいずれかが提案されます。

破壊的変更

CVE-2023-32697 に対処するために sqlite-jdbc バージョンを 3.42.0.0 にアップグレードする

sqlite-jdbc バージョンを 3.8.11.2 から 3.42.0.0 にアップグレードします。 バージョン 3.42.0.0 の API は、3.8.11.2 と完全に互換性がありません。 コードで sqlite-jdbc を使用する場合は、sqlite-jdbc 互換性レポートをチェックして詳細を確認してください。 13.1 に移行して sqlite を使用する場合は、バージョン 3.42.0.0 でメソッドと戻り値の型を確認します。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • facets-overview (1.0.2 から 1.0.3 へ)
  • filelock (3.10.7 から 3.12.0 へ)
  • pyarrow (7.0.0 から 8.0.0 へ)
  • tenacity (8.0.1 から 8.1.0 へ)
• アップグレードされた R ライブラリは次のとおりです。
• アップグレードされた Java ライブラリ:
  • com.github.ben-manes.caffeine.caffeine (2.3.4 から 2.9.3 へ)
  • io.delta.delta-sharing-spark_2.12 から 0.6.8 から 0.6.4
  • net.snowflake.snowflake-jdbc (3.13.29 から 3.13.22)
  • org.checkerframework.checker-qual (3.5.0 から 3.19.0 へ)
  • org.scalactic.scalactic_2.12 (3.0.8 から 3.2.15 へ)
  • org.scalatest.scalatest_2.12 (3.0.8 から 3.2.15 へ)
  • org.xerial.sqlite-jdbc (3.8.11.2 から 3.42.0.0 へ)

Apache Spark

Databricks Runtime 13.1 には、Apache Spark 3.4.0 が含まれています。 このリリースには、Databricks Runtime 13.0 (サポート期間終了) に含まれるすべての Spark の修正プログラムおよび機能強化と、Spark に対して行われた次の追加のバグ修正と機能強化が含まれています:

• [SPARK-42719] [DBRRM-199][sc-131578] 元に戻す "[SC-125225] 'MapOutputTracker#getMap...
• [SPARK-39696] [DBRRM-166][sc-130056][CORE] Revert [SC-127830]/
• [SPARK-43331] [SC-130064][connect] Spark Connect の SparkSession.interruptAll メソッドを追加する
• [SPARK-43332] [SC-130051][connect][PYTHON] SparkConnectClient 用の ChannelBuilder を拡張できるようにする
• [SPARK-43323] [SC-129966][sql][PYTHON] 例外を正しく処理するために Arrow を有効にして DataFrame.toPandas を修正する
• [SPARK-42940] [SC-129896][ss][CONNECT] ストリーミング クエリのセッション管理を改善する
• [SPARK-43032] [SC-125756] [CONNECT][ss] ストリーミング クエリ マネージャーの追加
• [SPARK-16484] [SC-129975][sql] Datasketches HllSketch のサポートを追加
• [SPARK-43260] [SC-129281][python] Spark SQL pandas の矢印の種類のエラーをエラー クラスに移行します。
• [SPARK-41766] [SC-129964][core] Executor 登録前に送信された使用停止要求を処理する
• [SPARK-43307] [SC-129971][python] PandasUDF 値エラーをエラー クラスに移行する
• [SPARK-43206] [SC-129903] [SS] [CONNECT] StreamingQuery exception() にスタック トレースが含まれる
• [SPARK-43311] [SC-129905][ss] RocksDB 状態ストア プロバイダーのメモリ管理の機能強化を追加する
• [SPARK-43237] [SC-129898][core] イベント ログで null 例外メッセージを処理する
• [SPARK-43320] [SC-129899][sql][HIVE] Hive 2.3.9 API を直接呼び出す
• [SPARK-43270] [SC-129897][python] 列を含める__dir__()にpyspark.sql.dataframe.DataFrameを実装する
• [SPARK-43183] 「[SC-128938][ss] 新しいコールバックを導入する」とした変更を元に戻す。
• [SPARK-43143] [SC-129902] [SS] [CONNECT] Scala StreamingQuery 終了待機(awaitTermination)
• [SPARK-43257] [SC-129675][sql] エラー クラス _LEGACY_ERROR_TEMP_2022を内部エラーに置き換える
• [SPARK-43198] [SC-129470][connect] 「Ammoniteクラスを初期化できませんでした…」 フィルター使用時のエラー
• [SPARK-43165] [SC-129777][sql] canWrite を DataTypeUtils に移動する
• [SPARK-43298] [SC-129729][python][ML] スカラー入力のpredict_batch_udfがバッチ サイズ 1 で失敗する
• [SPARK-43298] [SC-129700]「スカラー入力を用いる際に [PYTHON][ml] の predict_batch_udf がバッチサイズ 1 で失敗する」という変更を元に戻す。
• [SPARK-43052] [SC-129663][core] イベント ログで null ファイル名でスタックトレースを処理する
• [SPARK-43183] [SC-128938][ss] StreamingQueryListener に新しいコールバック "onQueryIdle" を導入する
• [SPARK-43209] [SC-129190][connect][PYTHON] 式エラーをエラー クラスに移行する
• [SPARK-42151] [SC-128754][sql] UPDATE の割り当てをテーブル属性に合わせる
• [SPARK-43134] [SC-129468] [CONNECT] [SS] JVM クライアント StreamingQuery exception() API
• [SPARK-43298] [SC-129699][python][ML] スカラー入力のpredict_batch_udfがバッチ サイズ 1 で失敗する
• [SPARK-43248] [SC-129660][sql] 並列収集パーティション統計でのパスの不要なシリアル化/逆シリアル化
• [SPARK-43274] [SC-129464][spark-43275][PYTHON][connect] の紹介 PySparkNotImplementedError
• [SPARK-43146] [SC-128804][connect][PYTHON] repr と repr_html の一括評価を実装する
• [SPARK-42953] [SC-129469][connect][Followup] Scala クライアント UDF テスト用の maven テスト ビルドを修正する
• [SPARK-43144] [SC-129280] Scala Client DataStreamReader table() API
• [SPARK-43136] [SC-129358][connect] groupByKey + mapGroup + coGroup 関数の追加
• [SPARK-43156] [SC-129672][sc-128532][SQL] 相関スカラー サブクエリの COUNT(*) is null バグを修正
• [SPARK-43046] [SC-129110] [SS] [Connect] 実装された Python API dropDuplicatesWithinWatermark for Spark Connect
• [SPARK-43199] [SC-129467][sql] InlineCTEを冪等化する
• [SPARK-43293] [SC-129657][sql] __qualified_access_only は通常の列では無視する必要がある
• [SPARK-43276] [SC-129461][connect][PYTHON] Spark Connect Window のエラーをエラー クラスに移行する
• [SPARK-43174] [SC-129109][sql] SparkSQLCLIDriver completer の修正
• [SPARK-43084] [SC-128654] [SS] spark connect の applyInPandasWithState サポートを追加する
• [SPARK-43119] [SC-129040][sql] JDBC API と TVF を通じて SQL キーワードを動的に取得するサポート
• [SPARK-43082] [SC-129112][connect][PYTHON] Spark Connect での矢印最適化 Python UDF
• [SPARK-43085] [SC-128432][sql] マルチパートテーブル名に対する列のデフォルト割り当てをサポート
• [SPARK-43226] [LC-671] ファイル定数メタデータの抽出器を定義する
• [SPARK-43210] [SC-129189][connect][PYTHON] の紹介 PySparkAssertionError
• [SPARK-43214] [SC-129199][sql] LocalTableScanExec/CommandResultExec のドライバー側メトリックを公開する
• [SPARK-43285] [SC-129347] JDK 17 で ReplE2ESuite が一貫して失敗する問題を修正
• [SPARK-43268] [SC-129249][sql] メッセージで例外が作成されたときに適切なエラー クラスを使用する
• [SPARK-43142] [SC-129299] 特殊文字を持つ属性に対する DSL 式を修正する
• [SPARK-43129] [SC-128896] Spark Connect をストリーミングするための Scala コア API
• [SPARK-43233] [SC-129250] [SS] トピック パーティション、オフセット範囲、タスク ID の Kafka バッチ読み取りにログを追加する
• [SPARK-43249] [SC-129195][connect] SQL コマンドの不足している統計を修正する
• [SPARK-42945] [SC-129188][connect] PYSPARK_JVM_STACKTRACE_ENABLED を Spark Connect でサポートします
• [SPARK-43178] [SC-129197][connect][PYTHON] UDF エラーを PySpark エラー フレームワークに移行する
• [SPARK-43123] [SC-128494][sql] 内部フィールド メタデータをカタログにリークしないようにする
• [SPARK-43217] [SC-129205] findNestedField の入れ子になったマップ/配列を正しく再帰する
• [SPARK-43243] [SC-129294][python][CONNECT] python 用 printSchema にレベル パラメーターを追加する
• [SPARK-43230] [SC-129191][connect] 簡略化 DataFrameNaFunctions.fillna
• [SPARK-43088] [SC-128403][sql] CTAS/RTAS での RequiresDistributionAndOrdering の尊重
• [SPARK-43234] [SC-129192][connect][PYTHON] Conect DataFrame からエラー クラスに ValueError を移行する
• [SPARK-43212] [SC-129187][ss][PYTHON] 構造化ストリーミング エラーをエラー クラスに移行する
• [SPARK-43239] [SC-129186][ps] info() から null_counts を削除する
• [SPARK-43190] [SC-128930][sql] ListQuery.childOutput は子出力と一致する必要がある
• [SPARK-43191] [SC-128924][core] リフレクションを Hadoop CallerContext の直接呼び出しで置き換える
• [SPARK-43193] [SC-129042][ss] HADOOP-12074 の回避策を削除する
• [SPARK-42657] [SC-128621][connect] クライアント側 REPL クラスファイルをアーティファクトとして検索してサーバーに転送するサポート
• [SPARK-43098] [SC-77059][sql] スカラー サブクエリに group by 句がある場合の COUNT の正確性に関するバグを修正する
• [SPARK-43213] [SC-129062][python] バニラ PySpark に DataFrame.offset を追加する
• [SPARK-42982] [SC-128400][connect][PYTHON] 指定されたスキーマ ddl に従って createDataFrame を修正
• [SPARK-43124] [SC-129011][sql] Dataset.show は CommandResults をローカルでプロジェクトする
• [SPARK-42998] [SC-127422][connect][PYTHON] Null 構造体で DataFrame.collect を修正する
• [SPARK-41498] [SC-125343]Revert "Union を介してメタデータを伝達"
• [SPARK-42960] [SC-129010] [CONNECT] [SS] Python でストリーミング クエリ用の await_termination() と exception() API を追加する
• [SPARK-42552] [SC-128824][sql] antlr パーサーの 2 段階解析戦略を修正する
• [SPARK-43207] [SC-128937][connect] リテラル式から値を抽出するヘルパー関数を追加する
• [SPARK-43186] [SC-128841][sql][HIVE] FileSinkDesc の回避策を削除する
• [SPARK-43107] [SC-128533][sql] ブロードキャスト結合のストリーム側でバケットを合併することによる結合
• [SPARK-43195] [SC-128922][core] HadoopFSUtils の不要なシリアル化可能ラッパーを削除する
• [SPARK-43137] [SC-128828][sql] 位置が折り畳み可能で正の場合は ArrayInsert を改善します。
• [SPARK-37829] [SC-128827][sql] Dataframe.joinWith outer-join は、一致しない行の null 値を返す必要があります
• [SPARK-43042] [SC-128602] [SS] [接続] DataStreamReader の table() API サポートを追加する
• [SPARK-43153] [SC-128753][connect] データフレームがローカルのときに Spark の実行をスキップする
• [SPARK-43064] [SC-128496][sql] Spark SQL CLI SQL タブに表示されるステートメントは 1 回だけ
• [SPARK-43126] [SC-128447][sql] 2 つの Hive UDF 式をステートフルとしてマークする
• [SPARK-43111] [SC-128750][ps][CONNECT][python] 入れ子になった if ステートメントを単一の if ステートメントにマージする
• [SPARK-43113] [SC-128749][sql] バインドされた条件のコードを生成するときにストリーム側変数を評価する
• [SPARK-42895] [SC-127258][connect] 停止した Spark セッションのエラー メッセージを改善する
• [SPARK-42884] [SC-126662][connect] アンモナイト REPL 統合の追加
• [SPARK-43168] [SC-128674][sql] Datatype クラスから Get PhysicalDataType メソッドを削除する
• [SPARK-43121] [SC-128455][sql] 'HiveInspectors で手動コピーの代わりに BytesWritable.copyBytes を使用する
• [SPARK-42916] [SC-128389][sql] JDBCTableCatalog が読み取り側で Char/Varchar メタを保持する
• [SPARK-43050] [SC-128550][sql] グループ化関数を置き換えて集計式を構築する
• [SPARK-43095] [SC-128549][sql] Once戦略の冪等性がバッチ処理で失われないように避けてください。 Infer Filters
• [SPARK-43130] [SC-128597][sql] InternalType を PhysicalDataType に移動する
• [SPARK-43105] [SC-128456][connect] プロトメッセージのバイトと文字列の省略
• [SPARK-43099] [SC-128596][sql] udf を FunctionRegistry に登録するときに、getNameの代わりにgetCanonicalNameを使用してビルダー クラス名を取得する
• [SPARK-42994] [SC-128586][ml][CONNECT] PyTorch ディストリビューターサポート ローカル モード
• [SPARK-42859] "[SC-127935][connect][PS] Spark Connect での pandas API の基本的なサポート" を元に戻す
• [SPARK-43021] [SC-128472][sql] CoalesceBucketsInJoin AQE を使用すると機能しません
• [SPARK-43125] [SC-128477][connect] 接続サーバーが Null メッセージで例外を処理できない問題を修正する
• [SPARK-43147] [SC-128594] ローカル チェック用の flake8 リントを修正
• [SPARK-43031] [SC-128360] [SS] [接続] ストリーミングの単体テストと doctest を有効にする
• [SPARK-43039] [LC-67] ファイル source_metadata 列のユーザー設定フィールドをサポートします。
• [SPARK-43120] [SC-128407][ss] RocksDB 状態ストアのピン留めされたブロックのメモリ使用量を追跡するためのサポートを追加
• [SPARK-43110] [SC-128381][sql] asIntegral を PhysicalDataType に移動する
• [SPARK-43118] [SC-128398][ss] KafkaMicroBatchStream の UninterruptibleThread の不要なアサートを削除する
• [SPARK-43055] [SC-128331][connect][PYTHON] 重複する入れ子になったフィールド名をサポート
• [SPARK-42437] [SC-128339][python][CONNECT] PySpark catalog.cacheTable では、ストレージ レベルを指定できます
• [SPARK-42985] [SC-128332][connect][PYTHON] SQL 構成を考慮して createDataFrame を修正
• [SPARK-39696] [SC-127830][core] TaskMetrics.externalAccums へのアクセスでデータ 競合を修正する
• [SPARK-43103] [SC-128335][sql] PhysicalDataType への整数の移動
• [SPARK-42741] [SC-125547][sql] リテラルが null の場合、バイナリ比較でキャストのラップを解除しない
• [SPARK-43057] [SC-127948][connect][PYTHON] Spark Connect 列のエラーをエラー クラスに移行する
• [SPARK-42859] [SC-127935][connect][PS] Spark Connect での pandas API の基本的なサポート
• [SPARK-43013] [SC-127773][python] DataFrame から ValueError にPySparkValueErrorを移行します。
• [SPARK-43089] [SC-128051][connect] UI でデバッグ文字列を編集する
• [SPARK-43028] [SC-128070][sql] エラー クラスの追加 SQL_CONF_NOT_FOUND
• [SPARK-42999] [SC-127842][connect] Dataset#foreach, foreachPartition
• [SPARK-43066] [SC-127937][sql] JavaDatasetSuite で dropDuplicates のテストを追加する
• [SPARK-43075] [SC-127939][connect] インストールされていないときに gRPC を grpcio に変更します。
• [SPARK-42953] [SC-127809][connect] 型指定されたフィルター、マップ、flatMap、mapPartitions
• [SPARK-42597] [SC-125506][sql] 日付型からタイムスタンプ型へのラップ解除のサポート
• [SPARK-42931] [SC-127933][ss] dropDuplicatesWithinWatermark の導入
• [SPARK-43073] [SC-127943][connect] proto データ型定数を追加する
• [SPARK-43077] [SC-128050][sql] UNRECOGNIZED_SQL_TYPEのエラー メッセージを改善する
• [SPARK-42951] [SC-128030][ss][Connect] DataStreamReader API
• [SPARK-43049] [SC-127846][sql] Oracle JDBC の StringType に VARCHAR(255) の代わりに CLOB を使用する
• [SPARK-43018] [SC-127762][sql] タイムスタンプ リテラルを使用した INSERT コマンドのバグを修正
• [SPARK-42855] [SC-127722][sql] TableOutputResolver でランタイム null チェックを使用する
• [SPARK-43030] [SC-127847][sql] メタデータ列との重複除去関係
• [SPARK-42993] [SC-127829][ml][CONNECT] PyTorch ディストリビューターを Spark Connect と互換性のあるものにする
• [SPARK-43058] [SC-128072][sql] 数値と小数部を PhysicalDataType に移動する
• [SPARK-43056] [SC-127946][ss] RocksDB 状態ストアのコミットが一時停止した場合にのみバックグラウンド処理を続行する必要がある
• [SPARK-43059] [SC-127947][connect][PYTHON] DataFrame(Reader|Writer) の TypeError をエラー クラスに移行する
• [SPARK-43071] [SC-128018][sql] SELECT、ORDER BY、LIMITでOFFSETソースリレーションをDEFAULTでサポートする
• [SPARK-43061] [SC-127956][core][SQL] SQL 演算子の実行に PartitionEvaluator を導入する
• [SPARK-43067] [SC-127938][ss] Kafka コネクタのエラー クラス リソース ファイルの場所を修正する
• [SPARK-43019] [SC-127844][sql] 順序を PhysicalDataType に移動する
• [SPARK-43010] [SC-127759][python] 列エラーをエラー クラスに移行する
• [SPARK-42840] [SC-127782][sql] _LEGACY_ERROR_TEMP_2004 エラーを内部エラーに変更する
• [SPARK-43041] [SC-127765][sql] コネクタ API の互換性のために例外のコンストラクターを復元する
• [SPARK-42939] [SC-127761][ss][CONNECT] Spark Connect 用コア ストリーミング Python API
• [SPARK-42844] [SC-127766][sql] エラー クラスを更新して _LEGACY_ERROR_TEMP_2008 から INVALID_URL に変更します。
• [SPARK-42316] [SC-127720][sql] _LEGACY_ERROR_TEMP_2044に名前を割り当てる
• [SPARK-42995] [SC-127723][connect][PYTHON] Spark Connect DataFrame エラーをエラー クラスに移行する
• [SPARK-42983] [SC-127717][connect][PYTHON] createDataFrame が 0 dim numpy 配列を正しく処理するように修正
• [SPARK-42955] [SC-127476][sql] SparkThrowable の classifyException と wrap AnalysisException をスキップする
• [SPARK-42949] [SC-127255][sql] NAAJ のコードを簡略化する
• [SPARK-43011] [SC-127577][sql] array_insert がインデックス 0 で失敗する必要がある
• [SPARK-42974] [SC-127487][core] Utils.createTempDirを復元し、ShutdownHookManagerを使ってJavaUtils.createTempDirメソッドをクリーンアップします。
• [SPARK-42964] [SC-127585][sql] PosgresDialect '42P07' はテーブルが既に存在することも意味します
• [SPARK-42978] [SC-127351][sql] DerbyとPostgreSQL: RENAME でスキーマ名で修飾されたnew-table-Nameを指定できません
• [SPARK-37980] [SC-127668][sql] テストで可能であれば、_metadata経由でrow_indexにアクセスする
• [SPARK-42655] [SC-127591][sql] あいまいな列参照エラーが正しくありません
• [SPARK-43009] [SC-127596][sql] sql()定数を持つパラメーター化されたAny
• [SPARK-43026] [SC-127590][sql] 非交換テーブル キャッシュで AQE を適用する
• [SPARK-42963] [SC-127576][sql] SparkSessionExtensions を拡張して AQE クエリ ステージ オプティマイザーにルールを挿入する
• [SPARK-42918] [SC-127357] FileSourceStrategy でのメタデータ属性の処理を一般化する
• [SPARK-42806] [SC-127452][spark-42811][CONNECT] Catalog サポートの追加
• [SPARK-42997] [SC-127535][sql] TableOutputResolver は、配列とマップのエラー メッセージで正しい列パスを使用する必要があります
• [SPARK-43006] [SC-127486][pyspark] StorageLevel eq() の入力ミスを修正
• [SPARK-43005] [SC-127485][pyspark] pyspark/pandas/config.py の入力ミスを修正
• [SPARK-43004] [SC-127457][core] ResourceRequest.equals() の入力ミスを修正
• [SPARK-42907] [SC-126984][connect][PYTHON] Avro 関数を実装する
• [SPARK-42979] [SC-127272][sql] リテラル コンストラクターをキーワードとして定義する
• [SPARK-42946] [SC-127252][sql] 変数の置換によって入れ子になった機密データを編集する
• [SPARK-42952] [SC-127260][sql] アナライザー ルールの PreprocessTableCreation と DataSourceAnalysis のパラメーターを簡略化する
• [SPARK-42683] [LC-75] 競合するメタデータ列の名前を自動的に変更する
• [SPARK-42853] [SC-126101][フォローアップ] 競合の修正
• [SPARK-42929] [SC-126748][connect] mapInPandas / mapInArrow が「is_barrier」をサポートするようにする
• [SPARK-42968] [SC-127271][ss] DSv2 ソース/シンクの StreamingWrite API の一部としてコミット コーディネーターをスキップするオプションを追加
• [SPARK-42954] [SC-127261][python][CONNECT] PySpark と Spark Connect Python クライアントに YearMonthIntervalType を追加する
• [SPARK-41359] [SC-127256][sql] UnsafeRow で DataType の代わりに PhysicalDataType を使用する
• [SPARK-42873] [SC-127262][sql] Spark SQL 型をキーワードとして定義する
• [SPARK-42808] [SC-126302][core] 毎回 availableProcessors を取得しないようにする MapOutputTrackerMaster#getStatistics
• [SPARK-42937] [SC-126880][sql] PlanSubqueries は InSubqueryExec#shouldBroadcast を true に設定する必要があります
• [SPARK-42896] [SC-126729][sql][PYTHON] バリアモードの実行をサポートできるようにmapInPandas / mapInArrowを対応する
• [SPARK-42874] [SC-126442][sql] すべての入力ファイルの分析用に新しいゴールデン ファイル テスト フレームワークを有効にする
• [SPARK-42922] [SC-126850][sql] ランダムから SecureRandom への移行
• [SPARK-42753] [SC-126369] ReusedExchange は存在しないノードを参照します
• [SPARK-40822] [SC-126274][sql] 安定した派生カラムの別名
• [SPARK-42908] [SC-126856][python] SparkContext が必要だが初期化されていないときに RuntimeError を発生させる
• [SPARK-42779] [SC-126042][sql] V2 書き込みに推奨シャッフルパーティションサイズを示すことを許可する
• [SPARK-42914] [SC-126727][python] transformUnregisteredFunctionのDistributedSequenceIDを再利用します。
• [SPARK-42878] [SC-126882][connect] DataFrameReader のテーブル API でオプションを受け入れることもできます
• [SPARK-42927] [SC-126883][core] o.a.spark.util.Iterators#sizeのアクセス スコープをprivate[util]に変更する
• [SPARK-42943] [SC-126879][sql] 有効な長さに StringType に TEXT の代わりに LONGTEXT を使用する
• [SPARK-37677] [SC-126855][core] Unzip はファイルのアクセス許可を保持できます
• [SPARK-42891] [13.x][sc-126458][CONNECT][python] CoGrouped Map API を実装する
• [SPARK-41876] [SC-126849][connect][PYTHON] DataFrame.toLocalIterator を実装する
• [SPARK-42930] [SC-126761][core][SQL] ProtobufSerDe 関連する実装のアクセス スコープを に変更します private[protobuf]
• [SPARK-42819] [SC-125879][ss] ストリーミングで使用される RocksDB のmax_write_buffer_numberとwrite_buffer_sizeの設定のサポートを追加
• [SPARK-42924] [SC-126737][sql][CONNECT][python] パラメーター化された SQL 引数のコメントを明確にする
• [SPARK-42748] [SC-126455][connect] サーバー側アーティファクト管理
• [SPARK-42816] [SC-126365][connect] 最大メッセージ サイズ (最大 128 MB) をサポート
• [SPARK-42850] [SC-126109][sql] オプティマイザーで重複するルール CombineFilter を削除する
• [SPARK-42662] [SC-126355][connect][PS] Spark の既定のインデックスに pandas API の proto メッセージを追加する
• [SPARK-42720] [SC-126136][ps][SQL] プランではなく、分散シーケンスの既定のインデックスに式を使用する
• [SPARK-42790] [SC-126174][sql] 除外されたメソッドを抽象化して、JDBC Docker テストのテストを改善します。
• [SPARK-42900] [SC-126473][connect][PYTHON] 推論と列名を考慮して createDataFrame を修正
• [SPARK-42917] [SC-126657][sql] DerbyDialectにおけるgetUpdateColumnNullabilityQueryの修正
• [SPARK-42684] [SC-125157][sql] v2 カタログでは、既定で列の既定値を許可しない
• [SPARK-42861] [SC-126635][sql] protected[sql] の代わりに private[sql] を使用して API ドキュメントが生成されないようにする
• [SPARK-42920] [SC-126728][connect][PYTHON] UDT を使用して UDF のテストを有効にする
• [SPARK-42791] [SC-126617][sql] 分析用の新しいゴールデン ファイル テスト フレームワークを作成する
• [SPARK-42911] [SC-126652][python] より基本的な例外を導入
• [SPARK-42904] [SC-126634][sql] JDBC カタログの Char/Varchar サポート
• [SPARK-42901] [SC-126459][connect][PYTHON] StorageLevel を別のファイルに移動して潜在的な問題を回避する file recursively imports
• [SPARK-42894] [SC-126451][connect] Spark connect jvm クライアントのサポート cache/persist/unpersist/storageLevel
• [SPARK-42792] [SC-125852][ss] ストリーミング ステートフル演算子で使用される RocksDB のWRITE_FLUSH_BYTESのサポートを追加
• [SPARK-41233] [SC-126441][connect][PYTHON] Spark Connect Python クライアントにarray_prependを追加する
• [SPARK-42681] [SC-125149][sql] ADD|REPLACE 列記述子の順序制約を緩和する
• [SPARK-42889] [SC-126367][connect][PYTHON] キャッシュ、永続化、非パーシスト、storageLevel を実装する
• [SPARK-42824] [SC-125985][connect][PYTHON] サポートされていない JVM 属性の明確なエラー メッセージを提供する
• [SPARK-42340] [SC-126131][connect][PYTHON] グループ化されたマップ API を実装する
• [SPARK-42892] [SC-126454][sql] SameType と関連するメソッドを DataType から移動する
• [SPARK-42827] [SC-126126][connect] Scala connect クライアントのサポート functions#array_prepend
• [SPARK-42823] [SC-125987][sql] spark-sql シェルでは、初期化のためのマルチパート名前空間がサポートされます
• [SPARK-42817] [SC-125960][core] ApplicationMaster でシャッフル サービス名を 1 回ログに記録する
• [SPARK-42786] [SC-126438][connect] 型付き選択
• [SPARK-42800] [SC-125868][connect][PYTHON][ml] ml 関数を実装する {array_to_vector, vector_to_array}
• [SPARK-42052] [SC-126439][sql] HiveSimpleUDF の Codegen サポート
• [SPARK-41233] [SC-126110][sql][PYTHON] array_prepend 関数を追加する
• [SPARK-42864] [SC-126268][ml][3.4] IsotonicRegression.PointsAccumulator プライベートにする
• [SPARK-42876] [SC-126281][sql] DataType の physicalDataType をプライベートにする必要がある [sql]
• [SPARK-42101] [SC-125437][sql] AQE で InMemoryTableScanExec をサポートする
• [SPARK-41290] [SC-124030][sql] create/replace table ステートメントの列に対して GENERATED ALWAYS AS 式をサポート
• [SPARK-42870] [SC-126220][connect] toCatalystValue を connect-common に移動する
• [SPARK-42247] [SC-126107][connect][PYTHON] UserDefinedFunction を returnType に修正
• [SPARK-42875] [SC-126258][connect][PYTHON] タイムゾーンとマップの種類を適切に処理するための toPandas の修正
• [SPARK-42757] [SC-125626][connect] DataFrameReader の textFile を実装する
• [SPARK-42803] [SC-126081][core][SQL][ml] getParameterTypes.length の代わりに getParameterCount 関数を使用する
• [SPARK-42833] [SC-126043][sql] で applyExtensions をリファクタリングする SparkSession
• [SPARK-41765] “[SC-123550][sql] v1書き込みメトリックを抽出”を元に戻す...
• [SPARK-42848] [SC-126105][connect][PYTHON] DataFrame.registerTempTable を実装する
• [SPARK-42020] [SC-126103][connect][PYTHON] Spark Connect での UserDefinedType のサポート
• [SPARK-42818] [SC-125861][connect][PYTHON] DataFrameReader/Writer.jdbc を実装する
• [SPARK-42812] [SC-125867][connect] AddArtifactsRequest プロトコルバッファメッセージに client_type を追加する
• [SPARK-42772] [SC-125860][sql] プッシュダウンに関する JDBC オプションの既定値を true に変更する
• [SPARK-42771] [SC-125855][sql] HiveGenericUDF をリファクタリングする
• [SPARK-25050] [SC-123839][sql] Avro: 複雑な共用体の記述
• [SPARK-42765] [SC-125850][connect][PYTHON] から pandas_udf のインポートを有効にする pyspark.sql.connect.functions
• [SPARK-42719] [SC-125225][core] MapOutputTracker#getMapLocation を尊重すべきです spark.shuffle.reduceLocality.enabled
• [SPARK-42480] [SC-125173][sql] ドロップ パーティションのパフォーマンスを向上させる
• [SPARK-42689] [SC-125195][core][SHUFFLE] シャッフル データが確実に格納されているかどうかを ShuffleDriverComponent で宣言できるようにする
• [SPARK-42726] [SC-125279][connect][PYTHON] 実装 DataFrame.mapInArrow
• [SPARK-41765] [SC-123550][sql] v1 書き込みメトリックを WriteFiles にプルアウトする
• [SPARK-41171] [SC-124191][sql] partitionSpec が空の場合、ウィンドウ制限を推論し、プッシュダウンを行う
• [SPARK-42686] [SC-125292][core] TaskMemoryManager のデバッグ メッセージの書式設定を延期する
• [SPARK-42756] [SC-125443][connect][PYTHON] Python クライアントで proto リテラルを値に変換するヘルパー関数
• [SPARK-42793] [SC-125627][connect] connect モジュールには build_profile_flags が必要です
• [SPARK-42701] [SC-125192][sql] try_aes_decrypt() 関数を追加する
• [SPARK-42679] [SC-125438][connect][PYTHON] createDataFrame が null 非許容スキーマで動作しない
• [SPARK-42733] [SC-125542][connect][Followup] パスまたはテーブルなしの書き込み
• [SPARK-42777] [SC-125525][sql] TimestampNTZ カタログ統計を計画統計に変換するサポート
• [SPARK-42770] [SC-125558][connect] truncatedTo(ChronoUnit.MICROS) を追加して、Java 17 の毎日のテスト GA タスク パスで SQLImplicitsTestSuite を作成する
• [SPARK-42752] [SC-125550][pyspark][SQL] 初期化中に PySpark 例外を印刷可能にする
• [SPARK-42732] [SC-125544][pyspark][CONNECT] Spark Connect セッション getActiveSession メソッドのサポート
• [SPARK-42755] [SC-125442][connect] 係数リテラル値への変換 connect-common
• [SPARK-42747] [SC-125399][ml] LoR と AFT の内部状態の誤りを修正する
• [SPARK-42740] [SC-125439][sql] 一部の組み込み方言でプッシュダウン オフセットまたはページングが無効であるというバグを修正する
• [SPARK-42745] [SC-125332][sql] 改善された AliasAwareOutputExpression は DSv2 で動作します
• [SPARK-42743] [SC-125330][sql] TimestampNTZ 列の分析のサポート
• [SPARK-42721] [SC-125371][connect] RPC ログ インターセプター
• [SPARK-42691] [SC-125397][connect][PYTHON] Dataset.semanticHash を実装する
• [SPARK-42688] [SC-124922][connect] connect proto Request client_idの名前を session_id に変更する
• [SPARK-42310] [SC-122792][sql] _LEGACY_ERROR_TEMP_1289に名前を割り当てる
• [SPARK-42685] [SC-125339][core] Utils.bytesToString ルーチンを最適化する
• [SPARK-42725] [SC-125296][connect][PYTHON] LiteralExpression で配列パラメーターをサポートする
• [SPARK-42702] [SC-125293][spark-42623][SQL] サブクエリと CTE でのパラメーター化クエリのサポート
• [SPARK-42697] [SC-125189][webui] 期間フィールドで 0 ではなく合計アップタイムを返すように /api/v1/applications を修正しました
• [SPARK-42733] [SC-125278][connect][PYTHON] パス パラメーターなしで動作するように DataFrameWriter.save を修正する
• [SPARK-42376] [SC-124928][ss] 演算子間でのウォーターマーク伝播の導入を行う
• [SPARK-42710] [SC-125205][connect][PYTHON] FrameMap proto の名前を MapPartitions に変更する
• [SPARK-37099] [SC-123542][sql] 上位 k の計算を最適化するためのランクベースフィルターの Window のグループ制限を導入
• [SPARK-42630] [SC-125207][connect][PYTHON] UnparsedDataType を導入し、SparkConnectClient が使用可能になるまで DDL 文字列の解析を遅延する
• [SPARK-42690] [SC-125193][connect] Scala クライアントの CSV/JSON 解析関数を実装する
• [SPARK-42709] [SC-125172][python] 使用可能な __file__ の前提条件を削除する
• [SPARK-42318] [SC-122648][spark-42319][SQL] LEGACY_ERROR_TEMP(2123|2125) に名前を割り当てる
• [SPARK-42723] [SC-125183][sql] TimestampType としてパーサーデータ型 json "timestamp_ltz" をサポート
• [SPARK-42722] [SC-125175][connect][PYTHON] Python Connect def schema() はスキーマをキャッシュしない
• [SPARK-42643] [SC-125152][connect][PYTHON] Java (集計) ユーザー定義関数を登録する
• [SPARK-42656] [SC-125177][connect][Followup] spark-connect スクリプトを修正する
• [SPARK-41516] [SC-123899] [SQL] jdbc 言語でテーブルの作成に使用されるクエリをオーバーライドできるようにする
• [SPARK-41725] [SC-124396][connect] DF.sql() の一括実行
• [SPARK-42687] [SC-124896][ss] ストリーミングでのサポートされていない pivot 操作のエラー メッセージの改善
• [SPARK-42676] [SC-124809][ss] 既定の FS が異なる方法で設定されている場合でも、ローカル ファイル システムにクエリをストリーミングするための一時チェックポイントを書き込む
• [SPARK-42303] [SC-122644][sql] _LEGACY_ERROR_TEMP_1326に名前を割り当てる
• [SPARK-42553] [SC-124560][sql] "interval" の後に少なくとも 1 つの時間単位を確保する
• [SPARK-42649] [SC-124576][core] サードパーティのソース ファイルの先頭から標準の Apache License ヘッダーを削除する
• [SPARK-42611] [SC-124395][sql] 解決プロセス中に内部フィールドの char/varchar の長さチェックを挿入する
• [SPARK-42419] [SC-124019][connect][PYTHON] Spark Connect Column API のエラー フレームワークに移行します。
• [SPARK-42637] [SC-124522][connect] SparkSession.stop() の追加
• [SPARK-42647] [SC-124647][python] numpy の非推奨および削除された型のエイリアスを変更する
• [SPARK-42616] [SC-124389][sql] SparkSQLCLIDriver は開始された hive sessionState のみを閉じる必要があります
• [SPARK-42593] [SC-124405][ps] pandas 2.0 で削除される API を非推奨にして削除します。
• [SPARK-41870] [SC-124402][connect][PYTHON] 重複する列名を処理するように createDataFrame を修正
• [SPARK-42569] [SC-124379][connect] サポートされていないセッション API の例外を投げる
• [SPARK-42631] [SC-124526][connect] Scala クライアントでのカスタム拡張機能のサポート
• [SPARK-41868] [SC-124387][connect][PYTHON] 継続時間をサポートするように createDataFrame を修正
• [SPARK-42572] [SC-124171][sql][SS] StateStoreProvider.validateStateRowFormat の動作を修正する

メンテナンスの更新

「Databricks Runtime 13.1 のメンテナンス更新プログラム」を参照してください。

システム環境

• オペレーティング システム: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2023-02-10 の Microsoft CRAN スナップショットからインストールされています。

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)