Databricks Runtime 16.1 (EoS)

次のリリース ノートでは、Apache Spark 3.5.0 を搭載した Databricks Runtime 16.1 に関する情報を提供します。

Databricks は、2024 年 12 月にこのバージョンをリリースしました。

動作の変更

破壊的変更: Photon 正規表現の処理が Apache Spark と一致するようになりました

Databricks Runtime 15.4 以降では、Photon での正規表現処理が Apache Spark 正規表現処理の動作に合わせて更新されます。 以前は、split() や regexp_extract()など、Photon によって実行される正規表現関数では、Spark パーサーによって拒否された正規表現がいくつか受け入れられていた。 Apache Spark との一貫性を維持するために、Spark が無効と見なす正規表現に対して Photon クエリが失敗するようになりました。

この変更により、Spark コードに無効な正規表現が含まれている場合、エラーが発生する可能性があります。 たとえば、一致しない中かっこを含む式 split(str_col, '{') は、以前は Photon によって受け入れられていましたが、現在は失敗します。 この式を修正するには、ブレース文字 split(str_col, '\\{')をエスケープすることができます。

また、ASCII 以外の文字の正規表現の一致によっては、Photon と Spark の動作も異なりました。 これは、Photon が Apache Spark の動作と一致するようにも更新されます。

VARIANT データ型は、比較を必要とする操作では使用できなくなりました

Databricks Runtime 16.1 以降では、VARIANT データ型を含むクエリで次の句または演算子を使用することはできません。

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

さらに、次の DataFrame 関数を使用することはできません。

• df.dropDuplicates()
• df.repartition()

これらの操作は比較を実行し、VARIANT データ型を使用する比較では未定義の結果が生成され、Databricks ではサポートされません。 Azure Databricks ワークロードまたはテーブルで VARIANT 型を使用する場合、Databricks では次の変更が推奨されます。

• クエリまたは式を更新して、VARIANT 値をVARIANT 以外のデータ型に明示的にキャストします。
• 上記のいずれかの操作で使用する必要があるフィールドがある場合は、VARIANT データ型からそれらのフィールドを抽出し、VARIANT 以外のデータ型を使用して格納します。

詳細については、「クエリバリアントデータ」を参照してください。

新機能と機能強化

• BigQuery コネクタのアップグレード
• Apache Spark での照合順序のサポート (パブリック プレビュー)
• Delta Lake での照合順序のサポート (パブリック プレビュー)
• 掃除機の LITE モードはパブリックプレビューです
• USE CATALOG with IDENTIFIER 句のパラメーター化のサポート
• COMMENT ON COLUMN テーブルとビューのサポート
• 新しい SQL 関数
• より多くの関数に対する名前付きパラメーターの呼び出し
• SYNC METADATA では、REPAIR TABLE コマンドの パラメーターがサポートされます
• 圧縮された Apache Arrow バッチのデータ整合性の強化
• Unity カタログ標準アクセス モード コンピューティング (以前の共有アクセス モード) で Scala メソッドのサポートが追加されました
• 組み込みの Teradata JDBC ドライバー
• Scala での StreamingQueryListener のサポート
• 組み込みの Oracle JDBC ドライバー
• パス でアクセスされたデルタテーブルのより詳細なエラー情報

BigQuery コネクタのアップグレード

• Google BigQuery コネクタ は、オープンソース Spark-BigQuery コネクタのバージョン 0.41.0 を使用するようにアップグレードされました。

• Lakehouse フェデレーション用の Google BigQuery コネクタで、JDBC ドライバーの代わりに BigQuery Storage API が使用されるようになりました。 この移行により、JDBC ドライバーのパフォーマンスの問題が解決され、オープンソースの Spark-BigQuery コネクタに基づいています。

  この変更により、BigQuery ビューと外部テーブルの中間クエリ結果を一時テーブルに書き込む必要があります。 これらのオブジェクトは、BigQuery ストレージに直接格納されません。 一時テーブルは、BigQuery 課金プロジェクトに格納されます。 BigQuery サービス アカウントに適切なアクセス許可が設定されていることを確認します。 詳細については、「Google BigQueryでフェデレーション クエリを実行する」を参照してください。

Apache Spark における照合順序のサポートは現在、パブリックプレビューの段階にあります。

言語対応、大文字と小文字を区別しない、アクセスを区別しない照合順序を、STRING の列と式に割り当てることができるようになりました。 これらの照合順序は、文字列比較、並べ替え、グループ化操作、および多くの文字列関数で使用されます。 「照合順序」をご覧ください。

Delta Lake でのコレーションのサポートはパブリック プレビューです

Delta テーブルを作成または変更するときに、列の照合順序を定義できるようになりました。 Delta Lake の照合サポートを参照してください。

バキュームの LITE モードはパブリック プレビュー段階です

VACUUM table_name LITE を使用して、Delta トランザクション ログのメタデータを活用する軽量のバキューム操作を実行できるようになりました。 フルモードとライトモードとVACUUMを参照してください。

USE CATALOG with IDENTIFIER 句のパラメーター化のサポート

Databricks Runtime 16.1 以降では、IDENTIFIER ステートメントで がサポートされています。 このサポートにより、文字列変数またはパラメーター マーカーに基づいて現在のカタログをパラメーター化できます。

テーブルとビューの COMMENT ONCOLUMN のサポート

Databricks Runtime 16.1 以降では、COMMENT ON ステートメントはビュー列とテーブル列のコメントの変更をサポートしています。

新しい SQL 関数

Databricks Runtime 16.1 以降では、次の新しい組み込み SQL 関数を使用できます。

• dayname(expr) は、指定された日付の曜日の 3 文字の英語頭字語を返します。
• uniform(expr1, expr2 [,seed]) は、 指定された数値範囲内の独立した同じ分散値を持つランダムな値を返します。
• randstr(length) は、英数字のランダムな文字列 length 返します。

より多くの関数のための名前付きパラメーター呼び出し

Databricks Runtime 16.1 以降では、次の関数は名前付きパラメーター呼び出し をサポートしています。

• variant_explode
• variant_explode_outer
• inline
• inline_outer
• posexplode
• posexplode_outer

SYNC METADATA コマンドの REPAIR TABLE パラメーターは、Hive メタストアでサポートされています

Databricks Runtime 16.1 以降では、SYNC METADATA コマンドで REPAIR TABLE パラメーターを使用して、Hive メタストア マネージド テーブルのメタデータを更新できます。 REPAIR TABLEを参照してください。

圧縮された Apache Arrow バッチのデータ整合性の強化

Databricks Runtime 16.1 以降では、データの破損からさらに保護するために、すべての LZ4 圧縮 Arrow バッチに LZ4 のコンテンツとブロック チェックサムが含まれるようになりました。 「LZ4 フレームフォーマットの説明を参照してください。

Unity カタログ標準アクセス モード コンピューティング (以前の共有アクセス モード) で Scala メソッドのサポートが追加されました

Databricks Runtime 16.1 以降では、Unity カタログの標準アクセス モード コンピューティングで、Dataset.flatMapGroups()、Dataset.mapGroups()、および DataStreamWriter.foreach()の Scala メソッドのサポートが追加されています。

組み込みの Teradata JDBC ドライバー

Databricks Runtime 16.1 以降では、Teradata JDBC Driver が Azure Databricks に組み込まれています。 DriverManager経由でユーザーがアップロードした JDBC ドライバー JAR を使用する場合は、カスタム JAR を明示的に使用するようにスクリプトを書き換える必要があります。 それ以外の場合は、組み込みのドライバーが使用されます。 このドライバーは、Lakehouse フェデレーションのみをサポートします。 その他のユース ケースでは、独自のドライバーを指定する必要があります。

Scala の StreamingQueryListener のサポート

標準アクセス モードで構成されたコンピューティングで Scala で StreamingQueryListener を使用できるようになりました。

組み込みの Oracle JDBC ドライバー

Databricks Runtime 16.1 以降では、Oracle JDBC Driver は Azure Databricks に組み込まれています。 DriverManager経由でユーザーがアップロードした JDBC ドライバー JAR を使用する場合は、カスタム JAR を明示的に使用するようにスクリプトを書き換える必要があります。 それ以外の場合は、組み込みのドライバーが使用されます。 このドライバーは、Lakehouse フェデレーションのみをサポートします。 その他のユース ケースでは、独自のドライバーを指定する必要があります。

パスを使用してアクセスされた Delta テーブルの詳細なエラー

パスを使用してアクセスされた Delta テーブルの新しいエラー メッセージ エクスペリエンスが利用できるようになりました。 すべての例外がユーザーに転送されるようになりました。 基になるファイルを Delta テーブルとして読み取ることができない場合に、例外 DELTA_MISSING_DELTA_TABLE が予約されるようになりました。

その他の変更

cloudFiles 構造化ストリーミング ソースの名前が変更されたエラー コード

このリリースには、次のエラー コードの名前を変更する変更が含まれています。

• _LEGACY_ERROR_TEMP_DBR_0143 の名前が CF_INCORRECT_STREAM_USAGEに変更されます。
• _LEGACY_ERROR_TEMP_DBR_0260 の名前が CF_INCORRECT_BATCH_USAGE に変更されます。

バグの修正

入れ子になった型が NULL 制約を適切に受け入れるようになりました

このリリースでは、STRUCTなど、入れ子になった型の Delta で生成された列に影響を与えるバグが修正されました。 これらの列は、入れ子になったフィールドの NULL または NOT NULL 制約に基づいて式を誤って拒否することがありました。 これは修正されました。

ライブラリのアップグレード

• アップグレードされた Python ライブラリ:
  • 0.0.198 から 0.0.201 までの ipyflow-core
  • pyccolo のバージョン 0.0.52 から 0.0.65 へ
• アップグレードされた R ライブラリは次のとおりです。
• アップグレードされた Java ライブラリ:
  • io.delta.delta-sharing-client_2.12 バージョン 1.2.1 から 1.2.2 への変更
  • org.lz4.lz4-java のバージョンを 1.8.0 から 1.8.0-databricks-1 に変更します
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider バージョンを 1.6.2-linux-x86_64 から 2.4.1-linux-x86_64 に変更します。

Apache Spark

Databricks Runtime 16.1 には、Apache Spark 3.5.0 が含まれています。 このリリースには、 Databricks Runtime 16.0 (EoS) に含まれるすべての Spark の修正と機能強化、および Spark に対する次の追加のバグ修正と機能強化が含まれています。

• [SPARK-50482] [SC-182879][core] 非推奨の no-op spark.shuffle.spill 構成
• [SPARK-50032] [SC-182706][sql][16.x] 完全修飾照合順序名の使用を許可する
• [SPARK-50467] [SC-182823][python] 組み込み関数の __all__ を追加する
• [SPARK-48898] [SC-182828][sql] バリアントの細分化バグを修正
• [SPARK-50441] [SC-182668][sql] CTE を参照するときにパラメーター化された識別子が機能しない問題を修正する
• [SPARK-50446] [SC-182639][python] Arrow 最適化 Python UDF の同時レベル
• [SPARK-50430] [SC-182536][core] 手動複製の代わりに標準の Properties.clone を使用する
• [SPARK-50471] [SC-182790][python] Arrow ベースの Python データ ソース ライターに対応する
• [SPARK-50466] [SC-182791][python] 文字列関数の docstring を絞り込む - パート 1
• [SPARK-50194] [DBR16.x][sc-182593][SS][python] New Timer API と Initial State API と Timer の統合
• [SPARK-50437] [SC-182586][ss] TransformWithStateExec でデシリアライザーを作成するオーバーヘッドを減らす
• [SPARK-49676] [DBR16.x][sc-182538][SS][python] ... のチェーンのサポートを追加
• [SPARK-49294] [SC-182730][ui] シャッフル/書き込み時のチェック ボックスの幅属性を追加します。
• [SPARK-50426] [SC-182540][python] 組み込みまたは Java データ ソースを使用するときに静的な Python データ ソース参照を回避する
• [SPARK-48356] [SC-182603][sql] FOR ステートメントのサポート
• [SPARK-50333] [SC-182136][sql] CsvToStructs に対する Codegen のサポート (Invoke と RuntimeReplaceable で)
• [SPARK-50285] [SC-182575] StagedTable インスタンスへのコミットのメトリック
• [SPARK-50081] [SC-182344][sql] XPath* に対する Codegen のサポート (Invoke と RuntimeReplaceable で)
• [SPARK-50440] [SC-182592] [SQL] AttributeSeq.resolveCandidates をリファクターする
• [SPARK-50067] [SC-179648][sql] SchemaOfCsvのコード生成サポート（& RuntimeReplaceableの呼び出しによる）
• [SPARK-49873] [SC-178577][sql] エラー テストでのマージ後のエラーの修正
• [SPARK-50118] [SC-181259][connet] タスクの実行中に分離状態キャッシュをリセットする
• [SPARK-49873] [SC-178577][sql] _LEGACY_ERROR_TEMP_1325に適切なエラー クラスを割り当てる
• [SPARK-50381] [SC-182197][core] spark.master.rest.maxThreads をサポートする
• [SPARK-46725] [SC-182448][sql] DAYNAME 関数の追加
• [SPARK-50270] [SC-181179][ss][PYTHON] TransformWithStateInPandas のカスタム状態メトリックを追加しました
• [SPARK-50118] "[SC-181259][connet] タスクの実行中に分離状態キャッシュをリセットする" を元に戻す
• [SPARK-50075] [SC-181820][sql][PYTHON][connect] テーブル値関数の DataFrame API を追加する
• [SPARK-49470] [SC-175736][ui] dataTables のスタイルシートと javascript を 1.13.5 から 1.13.11 に更新する
• [SPARK-50235] "[SC-180786][sql] ColumnarToRowExec のすべての行を処理した後に ColumnVector リソースをクリーンアップする" を元に戻す
• [SPARK-50324] [SC-182278][python][CONNECT] createDataFrame トリガー Config RPC を多くても 1 回行う
• [SPARK-50387] [SC-182441][ss] タイマーの有効期限と関連するテストの更新条件
• [SPARK-50287] [SC-182400][sql] FileTable で WriteBuilder を作成するときのテーブルとリレーションシップのマージ オプション
• [SPARK-50066] [SC-181484][sql] SchemaOfXml のコード生成サポート（& RuntimeReplaceable を呼び出す）
• [SPARK-50092] [SC-181568][sql] 多次元配列の PostgreSQL コネクタの動作を修正
• [SPARK-50318] [SC-181641][sql] IntervalUtils.makeYearMonthInterval を追加して、interpreted と codegen の間でコードを重複除去する
• [SPARK-50312] [SC-181646][sql] kerberos が true の場合に SparkThriftServer createServer パラメーターを渡すエラー
• [SPARK-50246] [SC-181468][sql] _LEGACY_ERROR_TEMP_2167に適切なエラー条件を割り当てる : INVALID_JSON_RECORD_TYPE
• [SPARK-50214] [SC-180692][sql] json/xml から特定のスキーマの照合順序を変更しないでください
• [SPARK-50250] [SC-181466][sql] _LEGACY_ERROR_TEMP_2075に適切なエラー条件を割り当てます: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
• [SPARK-50248] [SC-181467][sql] _LEGACY_ERROR_TEMP_2058に適切なエラー条件を割り当てる : INVALID_PARTITION_VALUE
• [SPARK-50118] [SC-181259][connet] タスクの実行中に分離状態キャッシュをリセットする
• [SPARK-50235] [SC-180786][sql] ColumnarToRowExec のすべての行を処理した後に ColumnVector リソースをクリーンアップする
• [SPARK-50156] [SC-180781][sql] _LEGACY_ERROR_TEMP_2113 を UNRECOGNIZED_STATISTIC に統合する
• [SPARK-50069] [SC-180163][sql] _LEGACY_ERROR_TEMP_0028 を UNSUPPORTED_FROM_TO_EXPRESSION に統合する
• [SPARK-50154] [SC-180663][sql] _LEGACY_ERROR_TEMP_0043に適切なエラー条件を割り当てる : INVALID_RESET_COMMAND_FORMAT
• [SPARK-49967] [SC-179534][sql] StructsToJson(to_json) に対する Codegen のサポート
• [SPARK-50055] [SC-180978][sql] TryMakeInterval alternative を追加する
• [SPARK-50397] [SC-182367][core] 非推奨の --ip および -i 引数を Master/Worker から削除します
• [SPARK-50238] [SC-181434][python] PySpark UDF/UDF/UDAFs および Python UC UDF でバリアント サポートを追加する
• [SPARK-50079] [SC-179830][sql] _LEGACY_ERROR_TEMP_2013に適切なエラー条件を割り当てます: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
• [SPARK-50182] [SC-180346][example] submit-sql.sh REST API の例を追加
• [SPARK-49966] [SC-179501][sql] Invoke を使用して JsonToStructs(from_json) を実装する
• [SPARK-50302] [SC-182518][ss] TTL を持つ TransformWithState ステートフル変数のセカンダリ インデックス サイズがプライマリ インデックス サイズと等しいことを確認する
• [SPARK-50301] [SC-182241][ss][16.x] TransformWithState メトリックに直感的な意味を反映させる
• [SPARK-50175] [SC-182140][sql] 照合順序の優先順位の計算を変更する
• [SPARK-50148] [SC-180292][sql] StaticInvoke を、スロー例外を宣言するメソッドと互換性を持つようにする
• [SPARK-50280] [SC-181214][python] compute_hist での結果の並べ替えと空のビンの充填をリファクタリングする
• [SPARK-50190] [SC-182458][python] ヒストグラムから Numpy の直接依存関係を削除する
• [SPARK-50382] [SC-182368][connect] Spark Connect でのアプリケーション開発に関する一般的な情報のドキュメントを追加する
• [SPARK-50296] [SC-181464][python][CONNECT] Python Connect クライアントのスレッドプールで classproperty を使用しないようにする
• [SPARK-49566] [SC-182239][sql] EXTEND 演算子の SQL パイプ構文を追加する
• [SPARK-50036] [SC-179533][core][PYTHON] REPL シェルのコンテキストにSPARK_LOG_SCHEMAを含める
• [SPARK-49859] [SC-178259][connect] multiprocessing.ThreadPool を ThreadPoolExecutor に置き換える
• [SPARK-50141] [SC-182378][python] lpad および rpad が列型引数を受け入れるようにする。
• [SPARK-50379] [SC-182142][sql] WindowExecBase での DayTimeIntevalType 処理の修正
• [SPARK-49954] [SC-179110][sql] SchemaOfJsonのコードジェンのサポート (Invoke & RuntimeReplaceable経由で)
• [SPARK-50398] [SC-182341][core] Spark スクリプトで 0 を使用するために ExitCode --help を使う
• [SPARK-50377] [SC-182238][sql] 折りたたみ可能な RuntimeReplaceable の評価を許可する
• [SPARK-50241] [SC-181444][sql] NullIntolerant Mixin を Expression.nullIntolerant メソッドに置き換える
• [SPARK-50084] [SC-179672][sql] _LEGACY_ERROR_TEMP_3168に適切なエラー条件を割り当てます: MISSING_TIMEOUT_CONFIGURATION
• [SPARK-50078] [SC-179649][sql] _LEGACY_ERROR_TEMP_0038に適切なエラー条件を割り当てます: DUPLICATED_CTE_NAMES
• [SPARK-50057] [SC-179573][sql] _LEGACY_ERROR_TEMP_1049に適切なエラー条件を割り当てる : INVALID_ATTRIBUTE_NAME_SYNTAX
• [SPARK-50070] [SC-179579][sql] _LEGACY_ERROR_TEMP_0039 を UNSUPPORTED_SQL_STATEMENT に統合する
• [SPARK-50378] [SC-182235][ss] transformWithState の初期状態処理に要した時間を追跡するためのカスタムメトリックを追加する
• [SPARK-50029] [SC-179531][sql] StaticInvoke を返すメソッドとの互換性を持たせる Any
• [SPARK-49990] [SC-179497][sql] randStr のパフォーマンスを向上させる
• [SPARK-50048] [SC-179528][sql] _LEGACY_ERROR_TEMP_2114に適切なエラー条件を割り当てる : UNRECOGNIZED_STATISTIC
• [SPARK-50053] [SC-179532][sql] _LEGACY_ERROR_TEMP_2104 を INTERNAL_ERROR にする
• [SPARK-49665] [SC-180054][sql] 文字列関数の照合順序のサポートをトリミングする
• [SPARK-48549] [SC-176472][sql][PYTHON] SQL 関数の sentences を改善する
• [SPARK-50022] [SC-179503][core][UI] UI が無効になっているときにアプリ UI リンクを非表示にする MasterPage を修正
• [SPARK-50087] [SC-182152] MSSqlServer と今後のコネクタに対する CASE WHEN でのブール式の堅牢な処理
• [SPARK-49991] [SC-179481][sql] HadoopMapReduceCommitProtocol に 'mapreduce.output.basename' を考慮してファイル名を生成させる
• [SPARK-50038] [SC-179521][sql] _LEGACY_ERROR_TEMP_0008に適切なエラー条件を割り当てる : MERGE_WITHOUT_WHEN
• [SPARK-50236] [SC-181671][sql] _LEGACY_ERROR_TEMP_1156に適切なエラー条件を割り当てます: COLUMN_NOT_DEFINED_IN_TABLE
• [SPARK-50021] [SC-179500][core][UI] UI が無効になっているときにアプリ UI リンクを非表示にする ApplicationPage を修正
• [SPARK-49911] [SC-179111][sql] サポート バイナリの等価性のセマンティックを修正
• [SPARK-50025] [SC-179496][sql] _LEGACY_ERROR_TEMP_1253 を EXPECT_VIEW_NOT_TABLE に統合する
• [SPARK-49829] [SC-179480][ss] ストリーム同士の結合における状態ストアへの入力の追加での最適化に関するバグを修正する
• [SPARK-50004] [SC-179499][sql] _LEGACY_ERROR_TEMP_3327 を FIELD_NOT_FOUND に統合する
• [SPARK-50380] [SC-182210][sql] ReorderAssociativeOperator は ConstantFolding のコントラクトを尊重する必要があります
• [SPARK-50340] [SC-181859][sql] INSERT 入力クエリで UDT をラップ解除
• [SPARK-50237] [SC-181660][sql] _LEGACY_ERROR_TEMP_2138-9に適切なエラー条件を割り当てます: CIRCULAR_CLASS_REFERENCE
• [SPARK-50258] [SC-181993][sql] AQE 最適化後の出力列の順序変更の問題を修正
• [SPARK-49773] [SC-178369][sql] 不適切なタイムゾーンの make_timestamp() から Java 例外をキャッチしない
• [SPARK-49977] [SC-179265][sql] スタックベースの反復計算を使用して、ディープ式ツリー用の Scala List オブジェクトが多数作成されないようにする
• [SPARK-50153] [SC-181591][sql] nameにRuleExecutorを追加して、QueryExecutionMetricsのログをより明確にする
• [SPARK-50320] [SC-181668][core] --remote 警告を削除して、experimental を公式オプションにします
• [SPARK-49909] [SC-179492] "[SQL] 一部の式のプリティ名を修正" を元に戻す
• [SPARK-50330] [SC-180720][sc-181764][SQL] 並べ替えノードとウィンドウ ノードにヒントを追加する
• [SPARK-50364] [SC-182003][sql] Row.jsonValue に LocalDateTime 型のシリアル化を実装する
• [SPARK-50016] [SC-182139][sql] _LEGACY_ERROR_TEMP_2067に適切なエラー条件を割り当てる : UNSUPPORTED_PARTITION_TRANSFORM
• [SPARK-49899] [SC-181175][python][SS] TransformWithStateInPandas での deleteIfExists のサポート
• [SPARK-49757] [SC-177824][sql] IDENTIFIERSET ステートメントでの CATALOG 式のサポート
• [SPARK-50315] [SC-181886][sql] V1Fallback 書き込みのカスタム メトリックをサポート
• [SPARK-42838] [SC-181509][sql] エラー クラスに名前を割り当てる_LEGACY_ERROR_TEMP_2000
• [SPARK-50353] [SC-181985][sql] ResolveSQLOnFile をリファクターする
• [SPARK-48344] [SC-181967][sql] 実行フレームワークを追加するための SQL スクリプトの準備
• [SPARK-49345] [SC-174786][connect] 現在実行中の Spark セッションを使用していることを確認します
• [SPARK-49925] [SC-178882][sql] 照合文字列を使用して順序のテストを追加する
• [SPARK-50167] [SC-181199][python][CONNECT] PySpark のプロット エラー メッセージとインポートの改善
• [SPARK-49368] [SC-174999][connect] protobuf lite クラスに直接アクセスしないようにする
• [SPARK-50056] [SC-181378][sql] ParseUrl の Codegen のサポート (Invoke と RuntimeReplaceable で)
• [SPARK-49601] [SC-180770][ss][PYTHON] TransformWithStateInPandas の初期状態処理をサポート
• [SPARK-49908] [SC-178768][sql] _LEGACY_ERROR_TEMP_0044に適切なエラー状態を割り当てる
• [SPARK-50144] [SC-180307][ss] DSv1 ストリーミング ソースでのメトリック計算の制限に対処する
• [SPARK-49874] [SC-178303][sql] trimおよびltrimの照合順序指定子を削除。
• [SPARK-49513] [SC-180339][ss] transformWithStateInPandas API でのタイマーのサポートの追加
• [SPARK-49119] [SC-175607][sql] v1 と v2 の間の構文 show columns の不整合を修正する
• [SPARK-49206] [SC-173704][core][UI] マスター Environment Variables に EnvironmentPage テーブルを追加する
• [SPARK-49934] [SC-179581][sql] リテラルを使用して照合されたマップにアクセスするための暗黙的なキャストを追加する
• [SPARK-50049] [SC-181659][sql] v2 テーブルへの書き込みでのカスタム ドライバー メトリックのサポート
• [SPARK-50171] [SC-180295][python] numpy を KDE プロットで省略可能にする
• [SPARK-49962] [SC-179320][sql] AbstractStringTypes クラス階層を簡略化する
• [SPARK-50226] [SC-181483][sql] MakeDTInterval と MakeYMInterval を修正して Java 例外をキャッチする
• [SPARK-48775] [SC-170801][sql][STS] SQLContext を STS の SparkSession に置き換える
• [SPARK-49015] [SC-175688][core] Connect Server は spark.log.structuredLogging.enabled を尊重すべきです
• [SPARK-50327] [SC-181667][sql][16.x] 単一パス アナライザーで再利用する関数の解像度を除外する
• [SPARK-49995] [SC-180762][sql] 名前付き引数のサポートをより多くの TVF に追加
• [SPARK-49268] [SC-174903][core] IO 例外を SHS 履歴プロバイダーにログする
• [SPARK-48123] [SC-164989][core] 構造化ログを照会するための定数テーブル スキーマを提供する
• [SPARK-49217] [SC-174904][core] UnsafeShuffleWriter で個別のバッファー サイズ構成をサポート
• [SPARK-50325] [SC-181664][sql][16.x] シングルパス アナライザーで再利用するエイリアス解決を除外する
• [SPARK-50322] [SC-181665][sql] サブクエリのパラメーター化された識別子を修正する
• [SPARK-48400] [SC-175283][core] PrometheusServlet を DeveloperApi に昇格する
• [SPARK-50118] "[SC-181259][connet] タスクの実行中に分離状態キャッシュをリセットする" を元に戻す
• [SPARK-50306] [SC-181564][python][CONNECT] Spark Connect での Python 3.13 のサポート
• [SPARK-50152] [SC-181264][ss] 状態データ ソース リーダーでの handleInitialState のサポート
• [SPARK-50260] [SC-181271][connect] Spark C.. をリファクタリングして最適化します。
• [SPARK-47591] [SC-163090][sql] Hive-thriftserver: 変数を含む logInfo を構造化ログ フレームワークに移行する
• [SPARK-49312] [SC-174672][python] assertSchemaEqual のエラー メッセージを改善する
• [SPARK-49439] [SC-175236][sql] FromProtobuf & ToProtobuf 式の美しい名前を修正
• [SPARK-50092] [ES-1258521] 多次元配列の PostgreSQL コネクタの動作を修正する
• [SPARK-49913] [SC-181565][sql] 入れ子になったラベル付きスコープに一意のラベル名のチェックを追加する
• [SPARK-49563] [SC-181465][sql] WINDOW 演算子の SQL パイプ構文を追加する
• [SPARK-49661] [SC-179021][sql] トリム照合のハッシュと比較を実装。
• [SPARK-38912] [SC-181543][python] classmethod とプロパティに関連するコメントを削除します
• [SPARK-49770] [16.x][sc-179802][SC-179270][ss][RocksDB Hardening] RocksDB SST ファイル マッピング管理を改善し、既存のスナップショットを使用して同じバージョンを再読み込みする際の問題を修正
• [SPARK-49002] "[SC-172846][sql] WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY 内の無効な場所を一貫して処理する" を元に戻す
• [SPARK-49668] [SC-178268][sql] トリム照合順序の照合順序キーのサポートを実装する
• [SPARK-50262] [SC-181193][sql] 照合順序の変更中に複合型の指定を禁止する
• [SPARK-48898] [SC-181435][sql] バリアントシュレッディング関数の追加
• [SPARK-48273] [SC-181381]元に戻す "[SQL] PlanWithUnresolvedIdentifier の遅延書き換えを修正する
• [SPARK-50222] [SC-180706][core] spark.submit.appName をサポートする
• [SPARK-50208] [SC-180662][core] spark.master.useDriverIdAsAppName.enabled をサポートする
• [SPARK-50224] [SC-180689][sql] IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 の置換は NullIntolerant でなければならない
• [SPARK-50247] [SC-180962][core] BLOCK_MANAGER_REREGISTRATION_FAILED を ExecutorExitCode として定義する
• [SPARK-50282] [SC-181221][ml] 単純化 TargetEncoderModel.transform
• [SPARK-50112] [SC-180763][sql] TransformWithState 演算子で Avro エンコードを使用できるようにする
• [SPARK-50267] [SC-181180][ml] DataFrame API を使用した TargetEncoder.fit の向上
• [SPARK-37178] [SC-180939][ml] ターゲット エンコードを ml.feature に追加する
• [SPARK-50118] [SC-181259][connet] タスクの実行中に分離状態キャッシュをリセットする
• [SPARK-50085] [BEHAVE-176][sc-179809][PYTHON] np.int8 で lit(ndarray) を numpy データ型に準拠させる
• [SPARK-50256] [SC-181048][sql] 軽量検証を追加して、すべてのオプティマイザー ルールの後に論理プランが未解決になったかどうかを確認する
• [SPARK-50196] [SC-180932][connect] Python エラー コンテキストを修正して適切なコンテキストを使用する
• [SPARK-50274] [SC-181181][core] DirectByteBufferOutputStream でのクローズ後の使用を防止するための保護策
• [SPARK-49999] [SC-180063][python][CONNECT] ボックス、KDE、ヒストグラム プロットで省略可能な "column" パラメーターをサポート
• [SPARK-50273] [SC-181178][ss] RocksDB ロック取得/リリース ケースのログ記録を改善する
• [SPARK-50033] [SC-180720][sc-180659][SQL] logical.Aggregate() ノードにヒントを追加する
• [SPARK-50163] [16.x][sc-180201][SC-180664][ss] 完了リスナーに起因する RocksDB の余分な acquireLock 解放を修正
• [SPARK-50253] [SC-180969][ss] Stream-Stream Join は、サポートされていない場合はチェックポイント ID を取得しません。
• [SPARK-50255] [SC-180964][python] compute_hist での不要なキャストを回避
• [SPARK-50228] [SC-180780][sql] RewriteCollationJoin ルールを FinishAnalysis に移動します
• [SPARK-50001] [SC-179524][python][PS][connect] ボックス プロットの kwargs の一部になるように "precision" を調整
• [SPARK-49637] [SC-180160][sql] INVALID_FRACTION_OF_SECONDのエラー メッセージが変更されました
• [SPARK-49530] [SC-180658][python] データフレームからアクティブ なセッションを取得する
• [SPARK-50195] [SC-180654][core] StandaloneRestServer が正しく spark.app.name に伝達されるように SparkSubmit を修正
• [SPARK-50229] [SC-180773] 論理計画中に作成される AttributeReference オブジェクトの有効期間を短縮することで、広範なスキーマのドライバーのメモリ使用量を削減する
• [SPARK-50231] [SC-180815][python] 関数 instr で、列 substring が受け入れられるようにする
• [SPARK-49854] [SC-179812][16.x][SQL] セッション複製中にアーティファクト マネージャーを複製する
• [SPARK-50219] [SC-180694][sql] ヘルパー メソッドをシングルパス リゾルバーで使用できるように、ApplyCharTypePadding をリファクタリングする
• [SPARK-50077] [SC-179827][sql] LogicalRelation の新しいパターン オブジェクトを導入して、既定の完全なパラメーター パターンを回避する
• [SPARK-50128] [Backport][16x][SC-180677][ss] Scala で暗黙的なエンコーダーを使用してステートフル プロセッサ ハンドル API を追加する
• [SPARK-50061] [SC-179961][sql] 照合列の分析テーブルを有効にする
• [SPARK-49993] [SC-180084][sql] Sum と Average のエラー メッセージを改善する
• [SPARK-49638] [SC-179665][sql] INVALID_URLの ANSI 構成候補を削除します
• [SPARK-50204] [SC-180660][sql] HiveTableRelation 読み取りパス解決を分解
• [SPARK-50193] [SC-180651][ss] 時間モードを検証するための例外処理を修正
• [SPARK-50179] [SC-180342][core] REST API で spark.app.name プロパティを省略可能にする
• [SPARK-50068] [SC-180300][sql] 単一ノード変換を分離するために TypeCoercion と AnsiTypeCoercion をリファクタリングする
• [SPARK-49411] [SC-179483][ss] ドライバーとステートフル演算子の間で状態ストア チェックポイント ID をやり取りする
• [SPARK-50124] [SC-180294][sql] LIMIT/OFFSET はデータの順序を保持する必要があります
• [SPARK-49506] [SC-180165][sql] 折りたたみ可能な配列の ArrayBinarySearch を最適化する
• [SPARK-50097] [SC-179908][sql] _LEGACY_ERROR_TEMP_1248に適切なエラー条件を割り当てます: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
• [SPARK-50071] [SC-180159][sql][PYTHON] try_make_timestamp(_ltzと_ntz) と関連するテストを追加する
• [SPARK-50054] [SC-180228][python][CONNECT] ヒストグラム プロットのサポート
• [SPARK-50015] [SC-179964][sql] _LEGACY_ERROR_TEMP_1125に適切なエラー条件を割り当てます: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
• [SPARK-50155] [SC-180240][3.5] scala ファイルと java ファイルを既定のフォルダーに移動する
• [SPARK-49980] [SC-180353][core][SQL] 取り消されたタスクの中断によって発生する潜在的なファイル ストリーム リークを修正する
• [SPARK-49010] [SC-172304][sql][XML] XML スキーマ推論の大文字と小文字の区別の単体テストを追加する
• [SPARK-49562] [SC-180211][sql] 集計用の SQL パイプ構文を追加する
• [SPARK-49663] [SC-180239][sql] 照合順序式で RTRIM 候補を有効にする
• [SPARK-48965] [SC-175926][sql] Dataset#toJSON で正しいスキーマを使用する
• [SPARK-48493] [SC-175893][python] 直接方向バッチをサポートして Python データソース リーダーを強化し、パフォーマンスを向上させる
• [SPARK-49734] [SC-180226][python] 関数の seed 引数を追加 shuffle
• [SPARK-50174] [16.x][sc-180253][SQL] UnresolvedCatalogRelation 解決を分解
• [SPARK-49989] [SC-179512][python][CONNECT] kde/density プロットをサポートする
• [SPARK-49805] [SC-180218][sql][ML] private[xxx] 関数を function.scala から削除します
• [SPARK-49808] [SC-179490][sql] 遅延 vals によるサブクエリ実行のデッドロックを修正する
• [SPARK-49929] [SC-180144][python][CONNECT] ボックスプロットをサポート
• [SPARK-50008] [SC-179290][ps][CONNECT] attach_distributed_sequence_column で不要な操作を回避する
• [SPARK-49767] [SC-180161][ps][CONNECT] 内部関数呼び出しをリファクタリングする
• [SPARK-49683] [SC-178341][sql] トリム照合順序をブロックする
• [SPARK-49939] [SC-178941][sql] json_object_keys の Codegen のサポート (Invoke と RuntimeReplaceable による)
• [SPARK-50031] [SC-179582][sql] TryParseUrl 式を追加する
• [SPARK-49766] [SC-178933][sql] json_array_length の Codegen のサポート (Invoke と RuntimeReplaceable による)
• [SPARK-50046] [SC-180026][ss] EventTimeWatermark ノードの安定した順序を使用して透かしを計算する
• [SPARK-49540] [SC-180145][ps] distributed_sequence_id の使用を統一する
• [SPARK-50060] [SC-179965][sql] TypeCoercion と AnsiTypeCoercion の照合された型間の変換が無効になりました
• [SPARK-49004] [SC-173244][connect] Column API の内部関数に別のレジストリを使用する
• [SPARK-49811] [SC-177888][sql]StringTypeAnyCollation の名前を変更する
• [SPARK-49202] [SC-180059][ps] ヒストグラムに ArrayBinarySearch を適用する
• [SPARK-49203] [SC-175734][sql] java.util.Arrays.binarySearch の式を追加する
• [SPARK-50034] [SC-179816][core] SparkUncaughtExceptionHandler で致命的なエラーという誤った報告を、キャッチされない例外として修正する
• [SPARK-50093] [SC-179836][sql] ICU を使用する照合順序には、使用されている ICU ライブラリのバージョンが必要です
• [SPARK-49985] [SC-179644][sql] バリアントの間隔の種類のサポートを削除する
• [SPARK-49103] [SC-173066][core] spark.master.rest.filters をサポートする
• [SPARK-50090] [SC-179819] ResolveBinaryArithmetic をリファクターして単一ノード変換を分離する
• [SPARK-49902] [SC-179650][sql] RegExpReplace で基になるランタイム エラーをキャッチする
• [SPARK-49126] [SC-173342][core] spark.history.ui.maxApplications 構成定義を History.scala に移動する
• [SPARK-50094] [SC-179820][python][CONNECT] 行番号のないエディターでメモリ プロファイラーを使用する場合のエラー メッセージの改善
• [SPARK-50062] [SC-179835][sql] InSet による照合順序をサポートする
• [SPARK-50035] [Backport][16x][SC-179530][ss] ステートフル プロセッサの明示的な handleExpiredTimer 関数部分のサポートを追加
• [SPARK-49982] [SC-179814][sql] InMemoryRelation での負のキャッシュを修正する
• [SPARK-49082] [SC-173350][sql] AvroDeserializer での型の上位変換の拡大
• [SPARK-50088] [SC-179680][sql] UnresolvedStarBase.expand をリファクターする
• [SPARK-49802] [SC-179482][ss] ステートフル プロセッサで使用されるマップとリストの種類の読み取り変更フィードのサポートを追加
• [SPARK-49846] [SC-179506][ss] transformWithState 演算子で使用する numUpdatedStateRows メトリックと numRemovedStateRows メトリックを追加する
• [SPARK-50050] [SC-179643][python][CONNECT][16.x] litがstrおよびboolタイプのnumpy ndarrayを受け入れるようにする
• [SPARK-49821] [SC-179527][ss][PYTHON] TransformWithStateInPandas の MapState と TTL のサポートを実装する
• [SPARK-49558] [SC-179485][sql] LIMIT/OFFSET および ORDER/SORT/CLUSTER/DISTRIBUTE BY の SQL パイプ構文を追加します
• [SPARK-48144] [SC-165725][lc-4080][SQL] シャッフル結合ヒントを尊重する canPlanAsBroadcastHashJoin を修正
• [SPARK-50051] [SC-179571][python][CONNECT] 空の numpy ndarray で lit を動作させる
• [SPARK-50018] [SC-179488][sql] AbstractStringType をシリアル化可能にする
• [SPARK-50016] [SC-179491][sql] 明示的な照合順序の不一致エラーを改善する
• [SPARK-50010] [SC-179487][sql] 暗黙的な照合順序の不一致エラーを展開する
• [SPARK-48749] [SC-170116][sql] UnaryPositive を簡略化し、RuntimeReplaceable でその Catalyst ルールを排除する
• [SPARK-49857] [SC-178576][sql] データセット localCheckpoint API に storageLevel を追加する
• [SPARK-50058] [SC-179538][sql] プラン正規化関数を組み込み、後でシングルパス アナライザー テストで使用する
• [SPARK-50052] [SC-179535][python][16.X] NumpyArrayConverter で空の str ndarray がサポートされるようにする
• [SPARK-47261] [SC-173665][sql] エラーの_LEGACY_ERROR_TEMP_1172、_LEGACY_ERROR_TEMP_1173、および_LEGACY_ERROR_TEMP_1174に適切な名前を割り当てます
• [SPARK-49147] [SC-173471][core] DeveloperApi インターフェイスで KryoRegistrator をマークする
• [SPARK-48949] [SC-173070][sql] SPJ: ランタイム パーティション のフィルター処理
• [SPARK-50044] [SC-179523][python] 複数の数学関数のドキュメント文字列を調整する
• [SPARK-48757] [SC-170113][core] IndexShuffleBlockResolver に明示的なコンストラクターを設定する
• [SPARK-50037] [SQL] AttributeSeq.resolve(...)のリファクタリング
• [SPARK-48782] [SC-177056][sql] カタログでプロシージャを実行するためのサポートを追加
• [SPARK-49057] [SC-173081][sql] クエリ ステージの送信時に AQE ループをブロックしない
• [SPARK-48824] [SC-176772][behave-167][SQL] ID 列の SQL 構文の追加
• [SPARK-48773] [SC-170773] 構成ビルダー フレームワークによる "spark.default.parallelism" のドキュメント構成
• [SPARK-48735] [SC-169810][sql] BIN 関数のパフォーマンス向上
• [SPARK-48900] [SC-172433] ジョブ/ステージの取り消しのすべての内部呼び出しに reason フィールドを追加する
• [SPARK-48488] [SC-167605][core] log[info|warning|error] で SparkSubmit メソッドを修正する
• [SPARK-48708] [SC-169809][core] KryoSerializer から 3 つの不要な型登録を削除します
• [SPARK-49958] [SC-179312][python] 文字列検証関数の Python API
• [SPARK-49979] [SC-179264][sql] 失敗したプランで 2 回データを収集しようとした際に起こる AQE ハングの問題を修正する
• [SPARK-48729] [SC-169795][sql] SQL 関数を表す UserDefinedFunction インターフェイスを追加する
• [SPARK-49997] [SC-179279][sql] _LEGACY_ERROR_TEMP_2165 を MALFORMED_RECORD_IN_PARSING に統合する
• [SPARK-49259] [SC-179271][ss]Kafka 読み取り時のサイズベースのパーティション作成
• [SPARK-48129] [SC-165006][python] 構造化ログを照会するための定数テーブル スキーマを PySpark に提供する
• [SPARK-49951] [SC-179259][sql] LEGACY_ERROR_TEMPに適切なエラー状態を割り当てる (1099|3085)
• [SPARK-49971] [SC-179278][sql] _LEGACY_ERROR_TEMP_1097に適切なエラー状態を割り当てる
• [SPARK-49998] [SC-179277][sql] _LEGACY_ERROR_TEMP_1252 を EXPECT_TABLE_NOT_VIEW に統合する
• [SPARK-49876] [SC-179262][connect] Spark Connect Service からグローバル ロックを取り除く
• [SPARK-49957] [SC-179202][sql] 文字列検証関数の Scala API
• [SPARK-48480] [SC-173055][ss][CONNECT] StreamingQueryListener は spark.interrupt() の影響を受けません
• [SPARK-49643] [SC-179239][sql] _LEGACY_ERROR_TEMP_2042を ARITHMETIC_OVERFLOW にマージする
• [SPARK-49959] [SC-179109][sql] 正しいオフセットから null を読み取る ColumnarArray.copy() を修正
• [SPARK-49956] "[SC-179070] collect_set 式で照合順序を無効にする" を元に戻す
• [SPARK-49987] [SC-179180][sql] seedExpression が randstr で折りたたみ不可能な場合のエラー プロンプトを修正します
• [SPARK-49948] [SC-179158][ps][CONNECT] Spark のボックス プロットで Pandas に "precision" パラメーターを追加する
• [SPARK-49970] [SC-179167][sql] _LEGACY_ERROR_TEMP_2069に適切なエラー状態を割り当てる
• [SPARK-49916] [SC-179108][sql] ColumnType と一部の行のデータ型の間の型の不一致に対して適切な例外をスローする
• [SPARK-49956] [SC-179070] collect_set式での照合順序を無効化しました
• [SPARK-49974] [16.x][sc-179071][SQL] Analyzer.scala から resolveRelations(...) を移動する
• [SPARK-47259] [SC-176437][sql] 間隔エラーのエラー条件に名前を割り当てる
• [SPARK-47430] [SC-173679][sql] バインド参照例外を修正するためのマップの種類別のグループのリワーク
• [SPARK-49067] [SC-172616][sql] utf-8 リテラルを UrlCodec クラスの内部メソッドに移動する
• [SPARK-49955] [SC-178989][sql] null 値は、JSON 文字列 RDD の解析時にファイルが破損したという意味ではありません
• [SPARK-49393] [SC-175212][sql] 非推奨のカタログ プラグイン API で既定で失敗する
• [SPARK-49952] [SC-178985][sql] _LEGACY_ERROR_TEMP_1142に適切なエラー状態を割り当てる
• [SPARK-49405] [SC-175224][sql] JsonOptions で文字セットを制限する
• [SPARK-49892] [SC-178975][sql] _LEGACY_ERROR_TEMP_1136に適切なエラー クラスを割り当てる
• [SPARK-49904] [SC-178973][sql] _LEGACY_ERROR_TEMP_2140に適切なエラー状態を割り当てる
• [SPARK-47257] [SC-174244][sql] エラー クラスに名前を割り当てる _LEGACY_ERROR_TEMP_105[3-4] と_LEGACY_ERROR_TEMP_1331
• [SPARK-49915] [SC-178869][sql] ReorderAssociativeOperator で 0 と 1 を処理する
• [SPARK-49891] [SC-178970][sql] _LEGACY_ERROR_TEMP_2271に適切なエラー状態を割り当てる
• [SPARK-49918] [SC-178748][core] 必要に応じて、SparkContext で conf への読み取り専用アクセスを使用する
• [SPARK-49666] [SC-177891][sql] トリミング照合順序機能の機能フラグを追加する
• [SPARK-48885] [SC-171050][sql] RuntimeReplaceable オーバーライドの一部のサブクラスを lazy val に置き換える
• [SPARK-49932] [SC-178931][core] tryWithResource リリース JsonUtils#toJsonString リソースを使用してメモリ リークを回避する
• [SPARK-49949] [SC-178978][ps] attach_sequence_column で不要な分析タスクを回避する
• [SPARK-49924] [SC-178935][sql] 置換後も containsNullArrayCompact 保持する
• [SPARK-49121] [SC-174787][sql] SQL 関数の from_protobuf と to_protobuf のサポート
• [SPARK-47496] [SC-160529][sql] Java SPI での動的 JDBC 方言登録のサポート
• [SPARK-49359] [SC-174895][sql] StagedTableCatalog の実装を非アトミック書き込みにフォールバックできるようにする
• [SPARK-49895] [SC-178543][sql][ES-1270338] SELECT 句で末尾のコンマが発生したときのエラーを改善する
• [SPARK-47945] [SC-163457][sql] MsSQLServer: Microsoft SQL Server からの Spark SQL データ型のマッピングドキュメントの作成とテストの追加
• [SPARK-46037] [SC-175495][sql] Codegen なしで残ったシャッフルされたハッシュ結合ビルドの正確性を修正
• [SPARK-47813] [SC-162615][sql] getArrayDimension を updateExtraColumnMeta に置き換える
• [SPARK-49542] [SC-178765][sql] パーティション変換の例外評価エラー
• [SPARK-47172] [SC-169537][core] RPC 暗号化の AES-GCM のサポートを追加
• [SPARK-47666] [SC-161476][sql] mysql ビット配列を LongType として読み取るときに NPE を修正する
• [SPARK-48947] [SC-174239][sql] Charset.forName に存在しないキャッシュを減らすには、小文字の文字セット名を使用します
• [SPARK-49909] [SC-178552][sql] 一部の式の美しい名前を修正
• [SPARK-47647] [SC-161377][sql] MySQL データ ソースが Postgres のような BinaryType として bit(n>1) を読み取ることができるようにする
• [SPARK-46622] [SC-153004][core] toString の o.a.s.network.shuffledb.StoreVersion メソッドをオーバーライドする
• [SPARK-48961] [SC-171910][python] PySparkException のパラメーターの名前を JVM と一致させる
• [SPARK-49889] [SC-178474][python] 関数の引数 trim を追加trim/ltrim/rtrim
• [SPARK-47537] [SC-160747][sql] MySQL Connector/J でのエラー データ型マッピングの修正
• [SPARK-47628] [SC-161257][sql] Postgres ビット配列の問題 'ブール値にキャストできません' を修正
• [SPARK-49843] [SC-178084][es-1268164][SQL] char/varchar 列の変更コメントを修正
• [SPARK-49549] [SC-178764][sql] エラー条件に名前を割り当てる_LEGACY_ERROR_TEMP_3055, 3146
• [SPARK-49791] [SC-177730][sql] DelegatingCatalogExtension をより拡張可能にする
• [SPARK-49559] [SC-178551][sql] セット操作の SQL パイプ構文を追加する
• [SPARK-49906] [SC-178536][sql] PartitioningUtils にCONFLICTING_DIRECTORY_STRUCTURES エラーを導入して使用する
• [SPARK-49877] [SC-178392][sql] classifyException 関数シグネチャの変更: isRuntime 引数の追加
• [SPARK-47501] [SC-160532][sql] 既存の convertTimestampToTimestamp for JdbcDialect のように convertDateToDate を追加する
• [SPARK-49044] [SC-175746][sql] ValidateExternalType はエラーで子を返す必要があります
• [SPARK-47462] [SC-160460][sql] MySQLDialect の TINYINT を使用して他の符号なし数値型のマッピングを整列する
• [SPARK-47435] [SC-160129][sql] SPARK-45561 による MySQL UNSIGNED TINYINT のオーバーフローの問題を修正
• [SPARK-49398] [SC-176377][sql] CACHE TABLE と CREATE VIEW のクエリのパラメーターのエラーを改善
• [SPARK-47263] [SC-177012][sql] レガシ条件に名前を割り当てる _LEGACY_ERROR_TEMP_13[44-46]
• [SPARK-49605] [SC-176605][sql] ascendingOrder が DataTypeMismatch で SortArray のときのプロンプトを修正する
• [SPARK-49806] [SC-178304][sql][CONNECT] blank space および show クライアントで Scala した後に冗長な Connect を削除する
• [SPARK-47258] [SC-175032][sql] エラー クラスに名前を割り当てる _LEGACY_ERROR_TEMP_127[0-5]
• [SPARK-49564] [SC-178461][sql] JOIN 演算子の SQL パイプ構文を追加する
• [SPARK-49836] [SC-178339][sql][SS] ウィンドウが window/session_window fn に指定されたときにクエリが壊れる可能性がある問題を修正
• [SPARK-47390] [SC-163306][sc-159312][SPARK-47396][sc-159376][SPARK-47406] Postgres と MySQL の SQL タイムスタンプ マッピングを処理する
• [SPARK-49776] [SC-177818][python][CONNECT] 円グラフのサポート
• [SPARK-49824] [SC-178251][ss][CONNECT] SparkConnectStreamingQueryCache でのログ記録の向上
• [SPARK-49894] [SC-178460][python][CONNECT] 列フィールド操作の文字列表現を調整する
• [SPARK-49764] [SC-177491][python][CONNECT] エリアプロットのサポート
• [SPARK-49694] [SC-177376][python][CONNECT] 散布図のサポート
• [SPARK-49744] [SC-178363][ss][PYTHON] TransformWithStateInPandas で ListState の TTL サポートを実装する
• [SPARK-49879] [SC-178334][core] TransportCipherUtil を別のファイルに移動して Java コンパイルの警告を排除する
• [SPARK-49866] [SC-178353][sql] パーティション列を含む describe テーブルのエラー メッセージを改善
• [SPARK-49867] [SC-178302][es-1260570][SQL] GetColumnByOrdinal を呼び出すときにインデックスが範囲外の場合のエラー メッセージを改善する
• [SPARK-49607] [SC-177373][python] サンプリングベースのプロットのサンプリング アプローチを更新します
• [SPARK-49626] [SC-177276][python][CONNECT] 横棒グラフと縦棒グラフのサポート
• [SPARK-49531] [SC-177770][python][CONNECT] plotly バックエンドで折れ線グラフをサポートする
• [SPARK-49444] [SC-177692][es-1203248][SQL] ユーザー指向メッセージが多い ArrayIndexOutOfBounds によって発生するランタイム例外をスローするように UnivocityParser を変更しました
• [SPARK-49870] [SC-178262][python] Spark クラシックで Python 3.13 のサポートを追加する
• [SPARK-49560] [SC-178121][sql] TABLESAMPLE 演算子の SQL パイプ構文を追加する
• [SPARK-49864] [SC-178305][sql] BINARY_ARITHMETIC_OVERFLOWのメッセージを改善する
• [SPARK-48780] [SC-170274][sql] 関数とプロシージャを処理できるように NamedParametersSupport 内のエラーを一般化する
• [SPARK-49358] [SC-178158][sql] 照合文字列を含むマップ型のモード式
• [SPARK-47341] [SC-178157][sql] RuntimeConfig#get の不正確なドキュメントを修正
• [SPARK-48357] [SC-178153][sql] LOOP ステートメントのサポート
• [SPARK-49845] [SC-178059][core] REST API で appArgs と environmentVariables を省略可能にする
• [SPARK-49246] [SC-174679][sql] TableCatalog#loadTable は、書き込み用かどうかを示す必要があります
• [SPARK-48048] [SC-177525][sc-164846][CONNECT][ss] Scala のクライアント側リスナーのサポートを追加しました
• [SPARK-48700] [SC-177978][sql] 複合型のモード式 (すべての照合順序)
• [SPARK-48196] [SC-177899][sql] QueryExecution lazy val plans を LazyTry に変換する
• [SPARK-49749] [16.x][sc-177877][CORE] BlockManagerInfo でデバッグするようにログ レベルを変更する
• [SPARK-49561] [SC-177897][sql] PIVOT 演算子と UNPIVOT 演算子の SQL パイプ構文を追加する
• [SPARK-49823] [SC-177885][ss] rocksdb close path でのシャットダウン中にフラッシュを回避する
• [SPARK-49820] [SC-177855] [PYTHON] raise IOError を raise OSError に変更する
• [SPARK-49653] [SC-177266][sql] 相関スカラー サブクエリの単一結合
• [SPARK-49552] [SC-177477][python] 新しい 'randstr' および 'uniform' SQL 関数の DataFrame API サポートを追加
• [SPARK-48303] [16.x][sc-166251][CORE] LogKeys を再構成する
• [SPARK-49656] [16x][backport][SS] 値の状態コレクション型と読み取り変更フィード オプションを持つ状態変数のサポートを追加
• [SPARK-48112] [SC-165129][connect] SparkConnectPlanner のセッションをプラグインに公開する
• [SPARK-48126] [16.x][sc-165309][Core] spark.log.structuredLogging.enabled を有効にする
• [SPARK-49505] [SC-176873][sql] 範囲内でランダムな文字列または数値を生成する新しい SQL 関数 "randstr" と "uniform" を作成する
• [SPARK-49463] [SC-177474] TransformWithStateInPandas の ListState をサポート
• [SPARK-48131] [SC-165007][core] MDC キーの mdc.taskName と task_name の統合
• [SPARK-49557] [SC-177227][sql] WHERE 演算子の SQL パイプ構文を追加する
• [SPARK-49323] [16.x][sc-174689][CONNECT] Spark Connect Server のテスト フォルダーからサーバーのメイン フォルダーに MockObserver を移動する
• [SPARK-49745] [SC-177501][ss] 状態データ ソース リーダーを使用して登録済みタイマーを読み取る変更を追加する
• [SPARK-49772] [16.x][sc-177478][SC-177214][ss] ColumnFamilyOptions を削除し、RocksDB の dbOptions に直接構成を追加する

Databricks ODBC/JDBC ドライバーのサポート

Databricks では、過去 2 年間にリリースされた ODBC/JDBC ドライバーがサポートされています。 最近リリースされたドライバーをダウンロードしてアップグレードしてください (ODBC のダウンロード、JDBC のダウンロード)。

Databricks Runtime 16.1 メンテナンス更新プログラムのを参照してください。

システム環境

• オペレーティング システム: Ubuntu 24.04.1 LTS
  • 注: これは、Databricks ランタイム コンテナーで使用される Ubuntu バージョンです。 DBR コンテナーは、異なる Ubuntu バージョンまたは Linux ディストリビューションを使用する可能性があるクラウド プロバイダーの仮想マシン上で実行されます。
• Java: Zulu17.54+21-CA
• Scala: 2.12.15
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.2.1

インストールされている Python ライブラリ

インストールされている R ライブラリ

R ライブラリは、2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/に Posit パッケージ マネージャー CRAN スナップショットからインストールされます。

インストールされている Java および Scala ライブラリ (Scala 2.12 クラスター バージョン)