次の方法で共有


Databricks Runtime 12.0 (サポート期間終了)

この Databricks Runtime バージョンのサポートは終了しました。 サポート終了日については、「サポート終了の履歴」を参照してください。 サポートされている Databricks Runtime のすべてのバージョンについては、「Databricks Runtime リリース ノートのバージョンと互換性」を参照してください。

次のリリース ノートには、Apache Spark 3.3.1 で稼働する Databricks Runtime 12.0 に関する情報が記載されています。

Databricks は、2022 年 12 月にこのバージョンをリリースしました。

新機能と機能強化

予測 I/O が一般提供

予測 I/O が一般提供されました。 詳しくは、「予測 I/O とは」をご覧ください。

Photon ライターで zstd 圧縮がサポート

spark.sql.parquet.compression.codeczstd に設定して zstd が有効になっている場合に、Photon ネイティブ ライターで zstd 圧縮コーデックがサポートされるようになりました。

スタンドアロン クラスターのステージ レベルのタスク リソース プロファイルのサポート

動的割り当てが無効になっている場合に、スタンドアロン クラスターでステージ レベルのスケジュールを使用できるようになりました。 この機能を使用するには、ステージごとに ResourceProfileBuilder を使用してタスク リソースを指定します。

REPLACE WHERE を使用した選択的上書きの SQL サポート

次のパターンを使用して、Delta テーブル内の任意の式に一致するデータを選択的に上書きできるようになりました。

INSERT INTO table_name REPLACE WHERE predicate append_relation

replaceWhereによる任意の選択的上書きを参照してください。

ウォーターマークが SQL でサポートされるようになりました

DLT SQL インターフェイスを使用し、ストリーミング DataFrame に対する SQL クエリで透かしを指定できるようになりました。 の条項を参照してください。

PySpark メモリ プロファイリング

PySpark ユーザー定義関数のメモリ プロファイルが有効になりました。 これにより、ユーザー定義関数で、メモリの増分、メモリ使用量、コード行ごとの出現回数に関する情報が提供されます。

DELETE と UPDATE の動的排除

Photon 対応のコンピューティングを使用する場合、DELETEUPDATE ではパフォーマンスが向上するファイルとパーティションの動的排除が使用されるようになりました。 たとえば、より小さいソース テーブルを使用して大きなテーブルの行を更新または削除するときに、動的排除が有効になります。

パーティション分割されたデータ操作言語操作の行レベルの削除メトリック

パーティション述語を使用して、ユーザーは、DELETETRUNCATEreplaceWhere などのデータ操作言語 (DML) 操作を実行するときに削除される行の数を監査できるようになりました。

バグの修正

すべての列が文字列として残されている自動ローダーでの JSON 解析に関する問題を修正しました。 以前は、cloudFiles.inferColumnTypes が設定されていないか、false に設定され、JSON には入れ子になったオブジェクトが含まれていました。

ライブラリのアップグレード

  • アップグレードされた Python ライブラリ:
    • argon2-cffi (20.1.0 から 21.3.0 へ)
    • attrs 21.2.0 (から 21.4.0 へ)
    • backports.entry-points-selectable (1.1.1 から 1.2.0 へ)
    • bleach (4.0.0 から 4.1.0 へ)
    • boto3 (1.21.18 から 1.21.32 へ)
    • botocore (1.24.18 から 1.24.32 へ)
    • cffi (1.14.6 から 1.15.0 へ)
    • click (8.0.3 から 8.0.4 へ)
    • cycler (0.10.0 から 0.11.0 へ)
    • Cython (0.29.24 から 0.29.28 へ)
    • debugpy (1.4.1 から 1.5.1 へ)
    • decorator (5.1.0 から 5.1.1 へ)
    • entrypoints (0.3 から 0.4 へ)
    • idna 3.2 (から 3.3 へ)
    • ipykernel (6.12.1 から 6.15.3 へ)
    • ipython (7.32.0 から 8.5.0 へ)
    • ipywidgets (7.7.0 から 7.7.2 へ)
    • jedi 0.18.0 (から 0.18.1 へ)
    • joblib (1.0.1 から 1.1.0 へ)
    • jsonschema (3.2.0 から 4.4.0 へ)
    • kiwisolver (1.3.1 から 1.3.2 へ)
    • matplotlib (3.4.3 から 3.5.1 へ)
    • nbclient (0.5.3 から 0.5.13 へ)
    • nbconvert (6.1.0 から 6.4.4 へ)
    • nbformat (5.1.3 から 5.3.0 へ)
    • nest-asyncio (1.5.1 から 1.5.5 へ)
    • notebook (6.4.5 から 6.4.8 へ)
    • numpy (1.20.3 から 1.21.5 へ)
    • packaging (21.0 から 21.3 へ)
    • pandas (1.3.4 から 1.4.2 へ)
    • pandocfilters (1.4.3 から 1.5.0 へ)
    • parso (0.8.2 から 0.8.3 へ)
    • Pillow (8.4.0 から 9.0.1 へ)
    • platformdirs (2.5.2 から 2.5.4 へ)
    • plotly (5.9.0 から 5.6.0 へ)
    • prometheus-client (0.11.0 から 0.13.1 へ)
    • protobuf (4.21.5 から 3.19.4 へ)
    • pycparser (2.20 から 2.21 へ)
    • Pygments (2.10.0 から 2.11.2 へ)
    • pyodbc (4.0.31 から 4.0.32 へ)
    • pyzmq (22.2.1 から 22.3.0 へ)
    • requests (2.26.0 から 2.27.1 へ)
    • s3transfer (0.5.2 から 0.5.0 へ)
    • scikit-learn (0.24.2 から 1.0.2 へ)
    • scipy (1.7.1 から 1.7.3 へ)
    • statsmodels (0.12.2 から 0.13.2 へ)
    • terminado (0.9.4 から 0.13.1 へ)
    • tomli (2.0.1 から 1.2.2 へ)
    • traitlets (5.1.0 から 5.1.1 へ)
    • urllib3 (1.26.7 から 1.26.9 へ)
    • widgetsnbextension (3.6.0 から 3.6.1 へ)
  • アップグレードされた R ライブラリ:
    • base (4.1.3 から 4.2.2 へ)
    • brew (1.0-7 から 1.0-8 へ)
    • bslib (0.4.0 から 0.4.1 へ)
    • callr (3.7.2 から 3.7.3 へ)
    • chron (2.3-57 から 2.3-58 へ)
    • cli (3.3.0 から 3.4.1 へ)
    • cluster (2.1.3 から 2.1.4 へ)
    • commonmark (1.8.0 から 1.8.1 へ)
    • compiler (4.1.3 から 4.2.2 へ)
    • cpp11 (0.4.2 から 0.4.3 へ)
    • crayon (1.5.1 から 1.5.2 へ)
    • curl (4.3.2 から 4.3.3 へ)
    • data.table (1.14.2 から 1.14.4 へ)
    • datasets (4.1.3 から 4.2.2 へ)
    • desc (1.4.1 から 1.4.2 へ)
    • devtools (2.4.4 から 2.4.5 へ)
    • digest (0.6.29 から 0.6.30 へ)
    • e1071 (1.7-11 から 1.7-12 へ)
    • evaluate (0.16 から 0.18 へ)
    • fontawesome (0.3.0 から 0.4.0 へ)
    • future (1.28.0 から 1.29.0 へ)
    • future.apply (1.9.1 から 1.10.0 へ)
    • gargle (1.2.0 から 1.2.1 へ)
    • gert (1.8.0 から 1.9.1 へ)
    • ggplot2 (3.3.6 から 3.4.0 へ)
    • gh (1.3.0 から 1.3.1 へ)
    • gitcreds (0.1.1 から 0.1.2 へ)
    • graphics (4.1.3 から 4.2.2 へ)
    • grDevices (4.1.3 から 4.2.2 へ)
    • grid (4.1.3 から 4.2.2 へ)
    • httpuv (1.6.5 から 1.6.6 へ)
    • isoband (0.2.5 から 0.2.6 へ)
    • jsonlite (1.8.0 から 1.8.3 へ)
    • lava (1.6.10 から 1.7.0 へ)
    • lifecycle (1.0.1 から 1.0.3 へ)
    • lubridate (1.8.0 から 1.9.0 へ)
    • markdown (1.1 から 1.3 へ)
    • MASS (7.3-56 から 7.3-58 へ)
    • Matrix (1.4-1 から 1.5-1 へ)
    • methods (4.1.3 から 4.2.2 へ)
    • mgcv (1.8-40 から 1.8-41 へ)
    • nlme (3.1-157 から 3.1-160 へ)
    • nnet (7.3-17 から 7.3-18 へ)
    • openssl (2.0.2 から 2.0.4 へ)
    • parallel (4.1.3 から 4.2.2 へ)
    • pkgload (1.3.0 から 1.3.1 へ)
    • processx (3.7.0 から 3.8.0 へ)
    • ps (1.7.1 から 1.7.2 へ)
    • purrr (0.3.4 から 0.3.5 へ)
    • ragg (1.2.2 から 1.2.4 へ)
    • RcppEigen (0.3.3.9.2 から 0.3.3.9.3 へ)
    • readr (2.1.2 から 2.1.3 へ)
    • recipes (1.0.1 から 1.0.3 へ)
    • rlang (1.0.5 から 1.0.6 へ)
    • rmarkdown (2.16 から 2.18 へ)
    • rpart (4.1.16 から 4.1.19 へ)
    • RSQLite (2.2.16 から 2.2.18 へ)
    • shiny (1.7.2 から 1.7.3 へ)
    • SparkR (3.3.0 から 3.3.1 へ)
    • splines (4.1.3 から 4.2.2 へ)
    • stats (4.1.3 から 4.2.2 へ)
    • stats4 (4.1.3 から 4.2.2 へ)
    • sys (3.4 から 3.4.1 へ)
    • tcltk (4.1.3 から 4.2.2 へ)
    • testthat (3.1.4 から 3.1.5 へ)
    • tidyr (1.2.0 から 1.2.1 へ)
    • tidyselect (1.1.2 から 1.2.0 へ)
    • timeDate (4021.104 から 4021.106 へ)
    • tinytex (0.41 から 0.42 へ)
    • tools (4.1.3 から 4.2.2 へ)
    • utils (4.1.3 から 4.2.2 へ)
    • vctrs (0.4.1 から 0.5.0 へ)
    • vroom (1.5.7 から 1.6.0 へ)
    • xfun (0.32 から 0.34 へ)
    • yaml (2.3.5 から 2.3.6 へ)
    • zip (2.2.0 から 2.2.2 へ)
  • アップグレードされた Java ライブラリ:
    • com.fasterxml.jackson.core.jackson-databind (2.13.4 から 2.13.4.2 へ)
    • org.apache.parquet.parquet-column (1.12.0-databricks-0007 から1.12.3-databricks-0001 へ)
    • org.apache.parquet.parquet-common (1.12.0-databricks-0007 から 1.12.3-databricks-0001)
    • org.apache.parquet.parquet-encoding (1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ)
    • org.apache.parquet.parquet-format-structures (1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ)
    • org.apache.parquet.parquet-hadoop (1.12.0-databricks-0007 から 1.12.3-databricks-0001 へ)
    • org.apache.parquet.parquet-jackson (1.12.0-databricks-0007 から 1.12.3-databricks-0001)
    • org.apache.yetus.audience-annotations (0.5.0 から 0.13.0 へ)

Apache Spark

Databricks Runtime 12.0 には、Apache Spark 3.3.1 が含まれています。 このリリースには、 Databricks Runtime 11.3 LTS (EoS) に含まれるすべての Spark の修正と機能強化、および Spark に対する次の追加のバグ修正と機能強化が含まれています。

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] 元に戻す "[SC-113542][ss] Kafka オフセット フェッチ構成の既定値を反転する"
  • [SPARK-40646] [SC-116061] "[SC-113379][sql] JSON データ ソースと JSON 関数で部分的な結果を返す問題を修正しました"
  • [SPARK-41195] [SC-116305][sql] join children での PIVOT/UNPIVOT のサポート
  • [SPARK-41178] [SC-116139][sql] JOIN とコンマの間のパーサー 規則の優先順位を修正する
  • [SPARK-41072] [SC-116140][sc-116044][SC-115852][sql][SS] エラー クラスの STREAM_FAILED を追加する StreamingQueryException
  • [SPARK-40921] “[SC-115140][sc-114585][SQL] WHEN NOT MATCHED BY SOURCE 句を戻すMERGE INTO
  • [SPARK-37980] [SC-115758] [SQL] Parquet ファイルの行インデックスをサポートするように METADATA 列を拡張する
  • [SPARK-41055] [SC-115582][sql] _LEGACY_ERROR_TEMP_2424GROUP_BY_AGGREGATE に名前変更する
  • [SPARK-41101] [SC-115849][python][PROTOBUF] PYSPARK-PROTOBUF のメッセージ クラス名のサポート
  • [SPARK-40956] [SC-115867] Dataframe overwrite コマンドの SQL 同等コマンド
  • [SPARK-41095] [SC-115659][sql] 未解決の演算子を内部エラーに変換する
  • [SPARK-41144] [SC-115866][sql] 未解決のヒントでクエリエラーが発生しないようにする
  • [SPARK-41137] [SC-115858][sql] LATERAL_JOIN_OF_TYPE の名前を INVALID_LATERAL_JOIN_TYPE に変更する
  • [SPARK-40998] [SC-114754][sql] _LEGACY_ERROR_TEMP_0040 エラー クラスの名前を に変更します INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130][sql][PROTOBUF] データ ジェネレーターの UnitTest null チェック
  • [SPARK-40769] [SC-114923][core][SQL] 集計式の型チェックエラーをエラー クラスに移行する
  • [SPARK-41043] [SC-115183][sql] エラー クラスの名前を _LEGACY_ERROR_TEMP_2429 から NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855][sql][PROTOBUF] Protobuf インポートのサポートとエラー クラスの移動。
  • [SPARK-41019] [SC-114987][sql] クエリ コンテキストを提供する failAnalysis()
  • [SPARK-41027] [SC-115131][sql] 代わりに UNEXPECTED_INPUT_TYPE を使用する MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][sc-111163][ML][sql] ALS のシャッフル サイズを小さくする
  • [SPARK-41134] [SC-115851][sql] 内部エラーのエラー メッセージを改善する
  • [SPARK-37980] [SC-115758] [SQL] Parquet ファイルの行インデックスをサポートするように METADATA 列を拡張する
  • [SPARK-41109] [SC-115788][sql] エラー クラス_LEGACY_ERROR_TEMP_1216の名前を INVALID_LIKE_PATTERN に変更する
  • [SPARK-40984] [SC-115844][core][SQL] の代わりに NON_FOLDABLE_INPUT を使用する FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][sql] Scala 2.13 の GenericArrayData のコンストラクターの使用を最適化する
  • [SPARK-40697] [SC-113648][sql] 外部データ ファイルをカバーする読み取り側の文字パディングを追加する
  • [SPARK-40978] [SC-114574][sql] コンテキストなしで failAnalysis() をエラークラスに移行する
  • [SPARK-40663] [SC-114586][sql] 実行エラーをエラー クラスに移行する: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][sc-112707][SQL] DS V2: 行レベルコマンドでのランタイム グループ フィルター処理のサポート
  • [SPARK-40372] [SC-115668][sql] 配列型チェックのエラーをエラー クラスに移行する
  • [SPARK-41038] [SC-115371][sql] MULTI_VALUE_SUBQUERY_ERROR の名前を SCALAR_SUBQUERY_TOO_MANY_ROWS に変更する
  • [SPARK-40965] [SC-114443][sql] エラー クラスの名前を _LEGACY_ERROR_TEMP_1208 から FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696][sql] 条件の型チェックエラーをエラー クラスに移行する
  • [SPARK-40371] [SC-114557][sql] NthValue と NTile の型チェックエラーをエラー クラスに移行する
  • [SPARK-41092] [SC-115547][sql] 識別子を使用して間隔単位を照合しない
  • [SPARK-41009] [SC-115360][sql] エラー クラスの名前を _LEGACY_ERROR_TEMP_1070 に変更する LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] Parquet ファイルの行インデックスをサポートするように METADATA 列を拡張する
  • [SPARK-40967] [SC-114448][sql] failAnalysis() をエラー クラスに移行する
  • [SPARK-34265] [SC-115486][sc-113788][PYTHON][sql] SQL メトリックを使用して Python UDF をインストルメント化する
  • [SPARK-41012] [SC-114873][sql] _LEGACY_ERROR_TEMP_1022ORDER_BY_POS_OUT_OF_RANGE にリネーム
  • [SPARK-41042] [SC-115142][sql] PARSE_CHAR_MISSING_LENGTH の名前を DATATYPE_MISSING_SIZE に変更
  • [SPARK-40752] [SC-114442][sql] 他の式の型チェックエラーをエラー クラスに移行する
  • [SPARK-37945] [SC-115534][sql][CORE] 算術演算の実行エラーでエラー クラスを使用する
  • [SPARK-40374] [SC-114705][sql] 型作成者の型チェックエラーをエラー クラスに移行する
  • [SPARK-41056] [SC-115354][r] R 4.2 で導入された新しいR_LIBS_SITE動作を修正
  • [SPARK-41041] [SC-115357][sql] _LEGACY_ERROR_TEMP_1279 を統合する TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852][sql] 実行エラーをエラー クラスに移行する: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][sql] エラー クラスの名前を _LEGACY_ERROR_TEMP_1019 に変更する STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233][sql] 集計関数の折りたたみ可能な子にパッチを適用しない RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353][sql] エラー クラスとメッセージを改善する
  • [SPARK-40798] [SC-113782][sql] パーティションを変更する際には、値がstoreAssignmentPolicyに従っていることを確認する必要があります。
  • [SPARK-40810] [SC-113533][sql] CreateDatabaseCommand と AlterDatabaseSetLocationCommand で IllegalArgumentException の代わりに SparkIllegalArgumentException を使用する
  • [SPARK-40921] [SC-115140][sc-114585][SQL] WHEN NOT MATCHED BY SOURCE 句を追加するMERGE INTO
  • [SPARK-40360] [SC-114965] ALREADY_EXISTS とN OT_FOUND の例外
  • [SPARK-41007] [SC-115085][sql] java.math.BigInteger に不足しているシリアライザーを追加する
  • [SPARK-40751] [SC-114254][sql] 高次関数の型チェックエラーをエラー クラスに移行する
  • [SPARK-40248] [SC-114704][sql] より多くのビットを使用してブルーム フィルターを構築する
  • [SPARK-41040] [SC-115145][ss] readStream.table を使用するときの自己共用体ストリーミング クエリの失敗を修正する
  • [SPARK-32380] [SC-114966][sql] Spark からの Hive 経由の HBase テーブルのアクセスの修正
  • [SPARK-40749] [SC-114860][sql] ジェネレーターの型チェックエラーをエラー クラスに移行する
  • [SPARK-40925] [SC-114445][sql][SS][warmfix][12.x] ステートフル演算子の遅延修正を行う...
  • [SPARK-40654] [SC-112783] 一時ログ行を削除する
  • [SPARK-40742] [SC-114913][sc-112646][CORE][sql] ジェネリック型に関連する Java コンパイル警告を修正する
  • [SPARK-40657] [SC-113642][cherry-pick] Protob で Java クラスのサポートを追加...
  • [SPARK-40898] [SC-113932][sql] データ型の不一致エラーで関数名を引用符で囲む
  • [SPARK-40760] [SC-113750][sql] 間隔式の型チェックエラーをエラー クラスに移行する
  • [SPARK-36114] [SC-113771][sql] 相関非等値述語を持つサブクエリをサポートする
  • [SPARK-40856] [SC-113738][sql] WRONG_NUM_PARAMSのエラー テンプレートを更新します
  • [SPARK-40759] [SC-114251][sql] 時間ウィンドウの型チェックエラーをエラークラスに移行する
  • [SPARK-40750] [SC-113812][sql] 数式の型チェックエラーをエラー クラスに移行する
  • [SPARK-40756] [SC-113749][sql] 文字列式の型チェックエラーをエラー クラスに移行する
  • [SPARK-40768] [SC-113640][sql] bloom_filter_agg() の型チェックエラーをエラー クラスに移行する
  • [SPARK-40369] [SC-113402][core][SQL] リフレクションによる呼び出しの型チェックエラーをエラー クラスに移行する
  • [SPARK-39445] [SQL] 列の排除で windowExpressions が空の場合にウィンドウを削除する
  • [SPARK-40761] [SC-113245][sql] パーセンタイル式の型チェックエラーをエラー クラスに移行する
  • [SPARK-40361] [SC-112789][sql] 算術型チェックエラーをエラー クラスに移行する
  • [SPARK-40714] [SC-112576][sql] Remove PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437][sql] でパーティション スペックを修正する PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631][sql] コレクションの種類のチェックエラーをエラー クラスに移行する
  • [SPARK-40910] [SC-114259][sql] UnsupportedOperationException を SparkUnsupportedOperationException に置き換える
  • [SPARK-39876] [SC-112429][sql] SQL 構文に UNPIVOT を追加する
  • [SPARK-39783] [SC-113389][sql] エラー メッセージの列候補のバッククォートを修正するために qualifiedName を引用符で囲む
  • [SPARK-40663] [SC-112520][sql] 実行エラーをエラー クラスに移行する: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][sql] エラー クラスの名前を _LEGACY_ERROR_TEMP_0021 に変更する UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472][sql] 個別のエラー サブクラス フィールドを排除する
  • [SPARK-40944] [SC-114530][sql] CREATE TABLE 列オプションの順序制約を緩和する
  • [SPARK-40815] [SC-114528][sql] DelegateSymlinkTextInputFormat を追加してバグ SymlinkTextInputSplit 回避する
  • [SPARK-40933] [SC-114441][sql] df.stat を再実装します。組み込みの SQL 関数を使用した {cov,corr}
  • [SPARK-40932] [SC-114439][core] allGather におけるメッセージが上書きされる問題の修正
  • [SPARK-39312] [SQL] フィルター プッシュ ダウンで Parquet ネイティブ In 述語を使用する
  • [SPARK-40862] [SC-114352][sql] RewriteCorrelatedScalarSubquery で集計されていないサブクエリをサポートする
  • [SPARK-40963] [SC-114446][sql] によって作成されたプロジェクトで null 許容を正しく設定する ExtractGenerator
  • [SPARK-40663] [SC-112295][sql] 実行エラーをエラー クラスに移行する: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][sql][SS] window_timeルールの要件を緩和し、複数回のwindow_time呼び出しを許可する。
  • [SPARK-40540] [SC-111639][sql] コンパイル エラーをエラー クラスに移行する: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][sql] 入力に奇数個のシンボルがある場合の Unhex の修正
  • [SPARK-40821] [SC-113754][sql][CORE][python][SS] ウィンドウ列からイベント時間を抽出するwindow_time関数を導入
  • [SPARK-40800] [SC-113772][sql] OptimizeOneRowRelationSubquery で常に式をインライン化する
  • [SPARK-40900] [SC-114006][sql] データフレーム操作で frequentItems を再実装する
  • [SPARK-40735] [SC-114022][sc-112657] コードの移植性を高めるために、スクリプトで /usr/bin/env bash を使用して bash を一貫して呼び出す
  • [SPARK-40773] [SC-113091][sql] checkCorrelationsInSubquery をリファクタリングする
  • [SPARK-40615] [SC-113400][sql] サブクエリのデコレレーションの際にサポートされていないデータ型を確認する
  • [SPARK-40660] [SC-112293][core][SQL] XORShiftRandom に切り替えて要素を分散する
  • [SPARK-40540] [SC-113926][sc-111331][SQL] コンパイル エラーをエラー クラスに移行する
  • [SPARK-40551] [SC-113135][sql] DataSource V2: デルタベースの行レベル操作用の API を追加する
  • [SPARK-39391] [SC-110676][core] パーティショナー クラスを再利用する
  • [SPARK-40368] [SC-113396][sql] ブルーム フィルターの種類チェックエラーをエラー クラスに移行する
  • [SPARK-39146] [SC-111814][core][SQL] 再利用できる ObjectMapper のローカル シングルトンを導入する
  • [SPARK-40357] [SC-113786][sc-111352][SQL] ウィンドウの種類チェックエラーをエラー クラスに移行する
  • [SPARK-40874] [SC-113756][python] 暗号化が有効な場合の Python UDF でのブロードキャストを修正
  • [SPARK-40359] [SC-113770][sc-111146][SQL] CSV/JSON 式の型チェックをエラー クラスに移行できない
  • [SPARK-40880] [SC-113764][sql] データフレーム操作を使用した summary の再実装
  • [SPARK-40877] [SC-113763][sql] データフレーム操作で crosstab を再実装する
  • [SPARK-40382] [SC-113098][sql] で意味的に同等の子を使用して個別の集計式をグループ化する RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532][ss] チェックポイント名の変更ファイル チェックを追加する
  • [SPARK-40829] [SC-113426][sql] ビューCREATE TABLE LIKEでのserdeとしてのストアが機能しない
  • [SPARK-40844] [SC-113542][ss] Kafka オフセット フェッチ構成の既定値を反転する
  • [SPARK-40488] [SC-113568][sc-111160] データソースの書き込みに失敗したときにスローされる例外をラップしない
  • [SPARK-40560] [SC-113631][sc-111335][SQL] messageの名前をエラーのmessageTemplate形式でSTANDARDに変更する
  • [SPARK-40618] [SC-113096][sql] 参照追跡を使用して、入れ子になったサブクエリを含む MergeScalarSubqueries ルールのバグを修正しました
  • [SPARK-40530] [SC-113528][sc-111332][SQL] エラー関連の開発者 API を追加する
  • [SPARK-40806] [SC-113250][sql] タイプミスの修正: CREATE TABLE -> REPLACE TABLE
  • [SPARK-40646] [SC-113379][sql] JSON データ ソースと JSON 関数で部分的な結果を返す問題を修正
  • [SPARK-40654] [Cherry-pick][sc-112783][SQL] Spark における Protobuf のサポート - from...
  • [SPARK-40753] [SC-113539][sql] カタログ ディレクトリ操作のテスト ケースのバグを修正しました
  • [SPARK-40765] [SC-113056][sql] CommandUtils#calculateSingleLocationSize#getPathSize メソッドで冗長 fs 操作を最適化する
  • [SPARK-40114] [ES-479282][r][11.X] SparkR での Arrow 9.0.0 のサポート
  • [SPARK-40479] [SC-110935][sql] 予期しない入力の種類のエラーをエラー クラスに移行する
  • [SPARK-40473] [SC-113388][sc-111141][SQL] 解析エラーをエラー クラスに移行する
  • [SPARK-39853] [SC-111867][core] 動的割り当てが無効になっている場合のスタンドアロン クラスターのステージ レベルのタスク リソース プロファイルをサポートする (PR-47157 からのバック ポート)
  • [SPARK-40407] [SC-111161][sql] df.repartition によって発生する可能性のあるデータ スキューを修正する
  • [SPARK-40425] [SC-110840][sql] DROP TABLE テーブル参照を実行する必要はありません
  • [SPARK-40703] [SC-113242][sql] SinglePartition でシャッフルを導入して並列処理を改善する
  • [SPARK-40640] [SC-113138][core] SparkHadoopUtil は hadoop/hive の設定オプションの起源を設定します
  • [SPARK-39062] [11.x][core] スタンドアロン クラスターのステージ レベルのリソース スケジュールのサポートを追加する
  • [SPARK-33861] [SC-109877]"[SQL] 述語の条件付きを簡略にする" を元に戻す
  • [SPARK-40667] [SC-113136][sql] ファイル データ ソース オプションのリファクタリング
  • [SPARK-40370] [SC-110677][sql] CAST のエラー クラスに型チェックを移行できない
  • [SPARK-40611] [SC-113105][sql] setIntervalgetInterval のパフォーマンスをUnsafeRowのために向上させる
  • [SPARK-40733] [SC-113126][sql] SERDEPROPERTIESの結果でShowCreateTableAsSerdeCommandの内容を固定順序にする
  • [SPARK-40585] [SC-112180][sql] 二重引用符で囲まれた識別子のサポート
  • [SPARK-40772] [SC-112992][sql] spark.sql.adaptive.skewJoin.skewedPartitionFactor値をサポートするようにDoubleを改善する
  • [SPARK-40565] [SC-112417][sql] 非決定論的フィルターを V2 ファイル ソースにプッシュしない
  • [SPARK-8731] [SC-112784] Beeline がバックグラウンドで起動したときに -e オプションで動作しない
  • [SPARK-35242] [SC-111398][sql] セッション カタログの既定のデータベースの変更をサポート
  • [SPARK-40426] [SC-110672][sql] SparkThrowable.getMessageParameters からマップを返す
  • [SPARK-40494] [SC-112655][sc-111025][CORE][sql][ML][mllib] keys.zipWithIndex.toMap コード パターンのパフォーマンスを最適化する
  • [SPARK-40521] [SC-112430][sql] Hive の作成パーティションから PartitionsAlreadyExistException に存在するパーティションのみが返されます
  • [SPARK-40705] [SC-112567][sql] Scala 2.13 の行を JSON に変換するときに変更可能な配列を使用するケースを処理する
  • [SPARK-39895] [SC-112590][sql][PYTHON] 複数列の削除をサポート
  • [SPARK-40607] [SC-112296][core][SQL][mllib][SS] 冗長文字列補間操作の削除
  • [SPARK-40420] [SC-112604][sc-110569][SQL] JSON 形式の名前でエラー メッセージ パラメーターを並べ替える
  • [SPARK-40403] [SC-110564][sql] エラー メッセージの負のサイズを回避するために longs を使用して安全でない配列サイズを計算する
  • [SPARK-40482] [SC-110831][sql] 元に戻す SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555][sc-110397][SQL] エラー メッセージ パラメーターを例外にマップとして渡す
  • [SPARK-40628] [SC-112414][sql] プロジェクトを通じて複雑な左半結合/反結合条件をプッシュしない
  • [SPARK-40562] [SC-111455][sql] 追加 spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-111333][sql] オプティマイザー用 PushProjectionThroughLimit を追加する
  • [SPARK-39200] [SC-111244][core] フォールバック ストレージでコンテンツを完全に読み取るようにする
  • [SPARK-38717] [SC-111241][sql] Hive のバケット スペック ケースを処理して動作を保持する
  • [SPARK-40385] [SC-111123][sql] コンパニオン オブジェクト コンストラクターの解釈されたパスを修正
  • [SPARK-40216] [SC-112413][sql] 一般的なメソッドを抽出して、ParquetUtils.prepareWriteParquetFileFormatにおけるコードを重複排除します。
  • [SPARK-40636] [SC-112160][core] BlockManagerDecommissioner の間違った残ったシャッフル ログを修正する
  • [SPARK-40617] [SC-112009] ExecutorMetricsPoller の stageTCMP エントリの処理時の競合状態を修正する
  • [SPARK-40618] [SC-112046][sql] 入れ子になったサブクエリを含む MergeScalarSubqueries ルールのバグを修正
  • [SPARK-40612] [SC-111933][core] YARN 以外のリソース マネージャーでの委任トークンの更新に使用されるプリンシパルの修正
  • [SPARK-40595] [SC-111662][sql] 未使用の CTE 関係のエラー メッセージを改善する
  • [SPARK-40314] [SC-111879][sql][PYTHON] インラインとinline_outerの scala と python のバインドを追加する
  • [SPARK-40416] [SC-110945][sql] サブクエリ式 CheckAnalysis エラー メッセージを移動して新しいエラー フレームワークを使用する
  • [SPARK-40318] [SC-111865][sc-109986][SQL] try_avg() は子ノードから例外をスローする必要があります
  • [SPARK-40509] [SC-111644][ss][PYTHON] applyInPandasWithState の例を追加する
  • [SPARK-40310] [SC-111329][sc-109842][SQL] try_sum() は子要素から例外をスローする必要があります
  • [SPARK-40016] [SQL] try_sum() の実装で不要な TryEval を削除する
  • [SPARK-40527] [SC-111224][sql] CreateStruct で構造体フィールド名またはマップ キーを保持する
  • [SPARK-38098] [SC-111178][python] 入れ子になった StructType の ArrayType のサポートを矢印ベースの変換に追加
  • [SPARK-40324] [SC-111359][sc-110293][SQL] AnalysisException でクエリ コンテキストを提供する
  • [SPARK-40492] [SC-111324][ss] StateStore のアンロードをストリーミングする前にメンテナンスを行う
  • [SPARK-40487] [SC-111124][sql] BroadcastNestedLoopJoinExec で defaultJoin を並列で実行する
  • [SPARK-40474] [SC-111273][sql] 日付とタイムスタンプが混在する列に対する CSV スキーマの推論とデータ解析の正しい動作
  • [SPARK-40508] [SC-111066][sql] 不明なパーティション分割を UnknownPartitioning として扱う
  • [SPARK-40496] [SC-111234][sc-111013][SQL] 構成を修正して "enableDateTimeParsingFallback" を制御する
  • [SPARK-40435] [SC-111214][ss][PYTHON] PySpark で applyInPandasWithState のテスト スイートを追加する
  • [SPARK-40434] [SC-111125][ss][PYTHON] PySpark に applyInPandasWithState を実装する

メンテナンスの更新

Databricks Runtime 12.0 のメンテナンス更新プログラムに関するページを参照してください。

システム環境

  • オペレーティング システム: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

インストールされている Python ライブラリ

ライブラリ バージョン ライブラリ バージョン ライブラリ バージョン
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 アストトークン 2.0.5
属性 21.4.0 バックコール (再発信機能) 0.2.0 バックポート.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 黒い 22.3.0 漂白剤 4.1.0
boto3 1.21.32 botocore 1.24.32 サーティフィ 2021.10.8
cffi 1.15.0 チャーデット 4.0.0 charset-normalizer (文字コード正規化ツール) 2.0.4
クリックし 8.0.4 暗号 3.4.8 サイクリスト 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
デコレータ 5.1.1 デフューズドXML (defusedxml) 0.7.1 distlib 0.3.6
入口点 0.4 実行中 0.8.3 ファセット概要 1.0.0
fastjsonschema 2.16.2 ファイルロック 3.8.0 fonttools(フォントツールズ) 4.25.0
idna 3.3 ipykernel 6.15.3 ipython 8.5.0
ipython-genutils (IPython用のユーティリティ) 0.2.0 ipywidgets (インタラクティブウィジェット) 7.7.2 ジェダイ 0.18.1
ジンジャ2 2.11.3 jmespath 0.10.0 「joblib」 1.1.0
JSONスキーマ 4.4.0 ジュピタークライアント 6.1.12 jupyter_core(ジュピター・コア) 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab ウィジェット 1.0.0 キウィソルバー 1.3.2
マークアップセーフ 2.0.1 matplotlib 3.5.1 matplotlib-インライン 0.1.2
ミスチューン 0.8.4 mypy-extensions (マイパイ拡張機能) 0.4.3 nbclient(エヌビー・クライアント) 0.5.13
NBコンバート 6.4.4 nbフォーマット 5.3.0 nest-asyncio(ネスト・アサインキオ) 1.5.5
ノートブック 6.4.8 NumPy (数値計算ライブラリ) 1.21.5 パッケージング 21.3
パンダ 1.4.2 パンドックフィルターズ 1.5.0 パルソ 0.8.3
パススペック 0.9.0 パッツィ 0.5.2 ペキスペクト 4.8.0
ピクルシェア 0.7.5 9.0.1 21.2.4
プラットフォームディレクトリ 2.5.4 plotly - データビジュアライゼーションツール 5.6.0 prometheus-クライアント 0.13.1
prompt-toolkit(プロンプトツールキット) 3.0.20 プロトバフ 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval (ピュア・イヴァル) 0.2.2
pyarrow (パイアロー) 7.0.0 pycparser(パイシーパーサー) 2.21 Pygments 2.11.2
PyGObject 3.36.0 pyodbc (Pythonのデータベース接続用ライブラリ) 4.0.32 パイパーシング (Pyparsing) 3.0.4
pyrsistent 0.18.0 python-dateutil (Python用の日付処理ライブラリ) 2.8.2 pytz 2021年3月
pyzmq 22.3.0 リクエスト 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn(サイキット・ラーン) 1.0.2 scipy 1.7.3
seaborn(シーボーン) 0.11.2 Send2Trash(センド2トラッシュ) 1.8.0 setuptools(セットアップツール) 58.0.4
6 1.16.0 スープこし器 (soup strainer) 2.3.1 ssh-import-id 5.10
スタックデータ 0.2.0 statsmodels(スタッツモデルズ) 0.13.2 粘り強さ 8.0.1
終了しました 0.13.1 テストパス (testpath) 0.5.0 Threadpoolctl 2.2.0
トークナイズ-RT 4.2.1 tomli 1.2.2 竜巻 6.1
traitlets(トレイトレット) 5.1.1 タイピングエクステンションズ (typing_extensions) 4.1.1 無人アップグレード 0.1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth(文字の幅を測定するプログラム関数) 0.2.5
ウェブエンコーディングス 0.5.1 ホイール 0.37.0 ウィジェットNBエクステンション 3.6.1

インストールされている R ライブラリ

R ライブラリは、2022 年 11 月 11 日に Microsoft CRAN スナップショットからインストールされています。

ライブラリ バージョン ライブラリ バージョン ライブラリ バージョン
矢印 10.0.0 アスクパス 1.1 assertthat(アサートザット関数) 0.2.1
バックポート(旧バージョンへの機能移植) 1.4.1 ベース 4.2.2 base64enc 0.1-3
ビット 4.0.4 ビット64 4.0.5 BLOB 1.2.3
起動 1.3-28 醸成 1.0 から 8 活気 1.1.3
1.0.1 bslib 0.4.1 キャシェム 1.0.6
コールアール 3.7.3 キャレット 6.0-93 セルレンジャー (cellranger) 1.1.0
クロノ 2.3-58 クラス 7.3-20 CLI 3.4.1
クリッパー 0.8.0 時計 0.6.1 クラスタ 2.1.4
コードツール 0.2-18 カラー空間 2.0-3 コモンマーク 1.8.1
コンパイラ 4.2.2 設定 0.3.1 CPP11 0.4.3
クレヨン 1.5.2 認証情報 1.3.2 カール 4.3.3
データテーブル (data.table) 1.14.4 データセット 4.2.2 DBI 1.1.3
dbplyr 2.2.1 説明 1.4.2 開発ツール 2.4.5
diffobj 0.3.5 ダイジェスト 0.6.30 ダウンライト 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
省略記号 0.3.2 評価する 0.18 ファンシ 1.0.3
farver 2.1.1 fastmap (ファストマップ) 1.1.0 fontawesome (フォントオーサム) 0.4.0
フォーキャッツ 0.5.2 フォーリーチ 1.5.2 外国の 0.8-82
鍛冶場 0.2.0 FS 1.5.2 未来 1.29.0
future.apply(将来の機能を適用するためのプログラミング関数) 1.10.0 うがい 1.2.1 ジェネリック 0.1.3
ゲルト 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet(英語) 4.1-4 グローバル変数 0.16.1
接着剤 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
ガウアー 1.0.0 グラフィックス 4.2.2 grDevices 4.2.2
グリッド 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 安全帽 1.2.0 安らぎの場 2.5.1
highr 0.9 エイチ・エム・エス 1.1.2 HTMLツール 0.5.3
HTMLウィジェット 1.5.4 httpuv 1.6.6 「httr」パッケージ(HTTPリクエストを簡単に送信するためのライブラリ) 1.4.4
識別子 1.0.1 ini 0.3.1 アイプレッド 0.9-13
アイソバンド 0.2.6 イテレータ 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 カーンスムース 2.23-20 ニット 1.40
ラベリング 0.4.2 あとで 1.3.0 格子構造 0.20-45
溶岩 1.7.0 ライフサイクル 1.0.3 listenv 0.8.0
ルブリデート 1.9.0 Magrittr 2.0.3 値下げ 1.3
質量 7.3-58 マトリックス 1.5-1 メモ化 2.0.1
メソッド 4.2.2 mgcv 1.8-41 マイム 0.12
ミニUI 0.1.1.1 モデルメトリクス 1.2.2.2 モデルル 0.1.9
munsell 0.5.0 nlme 3.1-160 ニューラルネットワーク (nnet) 7.3-18
numDeriv(ヌムデリヴ) 2016年8月~2016年1月1日 openssl (オープンソースの暗号化ツール) 2.0.4 並行 4.2.2
平行に 1.32.1 1.8.1 pkgbuild(パッケージビルド) 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload(パッケージロード) 1.3.1
plogr 0.2.0 プライル 1.8.7 賞賛 1.0.0
プリティーユニッツ 1.1.1 プロック (pROC) 1.18.0 プロセスエックス 3.8.0
プロッドリム 2019.11.13 プロフビス 0.3.7 進捗 1.2.2
progressr 0.11.0 約束 1.2.0.1 プロト 1.0.0
プロキシ 0.4-27 PS 1.7.2 ゴロゴロ 0.3.5
R2D3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest(ランダムフォレスト) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorブリューワー 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
読み取り 2.1.3 readxl (エクセルファイルの読み取り用パッケージ/関数) 1.4.1 レシピ 1.0.3
再戦 1.0.1 リマッチ2 2.1.2 リモコン 2.4.2
再現可能な例 (reprex) 2.0.2 リシェイプ2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 リオキシジェン2 7.2.1
rpart(Rプログラミング言語における再帰的分割のためのパッケージ) 4.1.19 rprojroot さん 2.0.3 Rサーブ 1.8-11
RSQLite (英語) 2.2.18 rstudioapi 0.14 アールバージョンズ 2.1.2
アヴェスト 1.0.3 サス 0.4.2 1.2.1
セレクター 0.4-2 セッション情報 1.2.2 シェイプ 1.4.6
光沢がある 1.7.3 ソースツール 0.1.7 スパークラー (sparklyr) 1.7.8
SparkR 3.3.1 空間の 7.3-11 スプライン 4.2.2
sqldf 0.4-11 スクウェアム 2021年1月 統計 4.2.2
統計プログラミングパッケージ「stats4」 4.2.2 ストリンギ 1.7.8 stringr 1.4.1
サバイバル 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk(ティーシーエルティーケー) 4.2.2 テストザット 3.1.5 テキスト整形 0.3.6
tibble(ティブル) 3.1.8 ティディル 1.2.1 tidyselect関数 1.2.0
tidyverse(タイディバース) 1.3.2 時刻変更 0.1.1 時刻と日付 4021.106
tinytex 0.42 ツール 4.2.2 tzdb 0.3.0
URLチェッカー 1.0.1 この機能を使う 2.1.6 UTF8 1.2.2
ユーティリティ 4.2.2 UUID(ユニバーサルユニーク識別子) 1.1-0 VCTRSの 0.5.0
ヴィリディスライト 0.4.1 ブルーム 1.6.0 ワルド 0.4.0
ウイスカー 0.4 ウィザー 2.5.0 xfun 0.34
xml2 1.3.3 xopen (エックスオープン) 1.0.0 xtable (エクステーブル) 1.8-4
YAML 2.3.6 ジップ 2.2.2

インストールされている Java ライブラリと Scala ライブラリ (Scala 2.12 クラスター バージョン)

グループ ID 成果物 ID バージョン
アンラル(ANTLR) アンラル(ANTLR) 2.7.7
com.amazonaws amazon-kinesis-client(アマゾン・キネシス・クライアント) 1.12.0
com.amazonaws aws-java-sdk-autoscaling (オートスケーリング用Java SDK) 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws AWSのJava SDKパッケージであるCloudFront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm(AWSのクラウドHSM用Javaソフトウェア開発キット) 1.12.189
com.amazonaws AWSのJava SDK - cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy(AWSのJava SDK用CodeDeployサービス) 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity (AWS Java SDK コグニトアイデンティティ) 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config(AWS Java SDK 設定) 1.12.189
com.amazonaws aws-java-sdk-core(AWS Java SDKのコア) 1.12.189
com.amazonaws aws-java-sdk-datapipeline (AWS Java SDKのデータパイプラインモジュール) 1.12.189
com.amazonaws aws-java-sdk-directconnect (AWSのJava SDKのDirect Connect機能) 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws AWS Java SDK エラスティキャッシュ 1.12.189
com.amazonaws AWS Java SDK エラスティックビーンストーク 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder (AWS用のJava開発ツールキット - Elastic Transcoder) 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue (AWSのJava用SDKであるGlue) 1.12.189
com.amazonaws AWSのJava SDK(IAM用) 1.12.189
com.amazonaws AWS Java SDK インポートエクスポート 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-機械学習 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds(AWSのJava用RDSソフトウェア開発キット) 1.12.189
com.amazonaws AWS Java SDK Redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws AWS Java SDK ストレージゲートウェイ 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws AWS Java SDK サポート 1.12.189
com.amazonaws aws-java-sdk-swf-libraries (AWS Java SDK SWFライブラリ) 1.11.22
com.amazonaws aws-java-sdk-workspacesとはAWSのワークスペースを管理するためのJava用SDKです。 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ストリーミング 2.9.6
com.databricks Rサーブ 1.8-3
com.databricks jets3t (ジェットスリート) 0.7.1-0
com.databricks.scalapb コンパイラプラグイン_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-シェーデッド 4.0.2
com.esotericsoftware minlog (ミンログ) 1.3.0
com.fasterxml クラスメイト 1.3.4
com.fasterxml.jackson.core jackson-annotations (ジャクソン・アノテーション) 2.13.4
com.fasterxml.jackson.core ジャクソン・コア (jackson-core) 2.13.4
com.fasterxml.jackson.core ジャクソン・データバインド (jackson-databind) 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor(ジャクソンデータフォーマットCBOR) 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.カフェイン カフェイン 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib コア 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-ジャバ-ネイティブス 1.1
com.github.fommil.netlib ネイティブシステム-Java 1.1
com.github.fommil.netlib ネイティブシステム-Java-ネイティブ 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni (ゼットスタッドジェイエヌアイ) 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink ティンク 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava グアバ 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger プロファイラ 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk(アジュール・データ・レイク・ストア・SDK) 2.3.9
com.ning Compress-LZF (コンプレス-LZF) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer パラナマー 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter チル-ジャヴァ 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 設定 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers(ユニボシティ・パーサーズ) 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
コモンズ・コーデック コモンズ・コーデック 1.15
コモンズ・コレクションズ コモンズ・コレクションズ 3.2.2
commons-dbcp(コモンズ-DBCP) commons-dbcp(コモンズ-DBCP) 1.4
コモンズ-ファイルアップロード コモンズ-ファイルアップロード 1.3.3
commons-httpclient(コモンズHTTPクライアント) commons-httpclient(コモンズHTTPクライアント) 3.1
commons-io commons-io 2.11.0
commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) commons-lang (コモンズ・ラン、Javaの汎用ユーティリティライブラリ) 2.6
commons-logging commons-logging 1.1.3
commons-pool(コモンズプール) commons-pool(コモンズプール) 1.5.4
dev.ludovic.netlib アーパック 2.2.1
dev.ludovic.netlib ブラス 2.2.1
dev.ludovic.netlib ラパック 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift エアコンプレッサー 0.21
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics メトリクス・コア 4.1.1
io.dropwizard.metrics メトリクス・グラファイト 4.1.1
io.dropwizard.metrics メトリクス-ヘルスチェック 4.1.1
io.dropwizard.metrics メトリクス-ジェッティ9 4.1.1
io.dropwizard.metrics メトリクス-JMX 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics メトリックス-JVM 4.1.1
io.dropwizard.metrics メトリクス-サーブレット 4.1.1
io.netty netty-all (ライブラリ名) 4.1.74.Final
io.netty ネットィバッファー 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty ネットティ・ハンドラー 4.1.74.Final
io.netty ネッティ・リゾルバー 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport(ネットティ・トランスポート) 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-トランスポートクラス-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common (ネットワーク通信を行うためのユニックス向け共通ライブラリ) 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus シンプルクライアント_コモン 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus シンプルクライアント_プッシュゲートウェイ 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx コレクター 0.12.0
jakarta.annotation ジャカルタ・アノテーションAPI 1.3.5
ジャカルタ.サーブレット jakarta.サーブレット-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation アクティブ化 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction トランザクションAPI 1.1
.bind の javax.xml jaxb-api 2.2.11
「ジャボリューション(Javolution)」 「ジャボリューション(Javolution)」 5.5.1
ジェイライン ジェイライン 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine 漬物 1.2
net.sf.jpam ジェーパム 1.1
net.sf.opencsv opencsv (CSVファイル操作のためのライブラリ) 2.3
net.sf.supercsv スーパCSV (スーパーシーエスブイ) 2.2.0
net.snowflake snowflake-ingest-sdk(スノーフレーク・インジェスト・SDK) 0.9.6
net.snowflake スノーフレーク-JDBC 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr ストリングテンプレート 3.2.1
org.apache.ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow 矢印フォーマット 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow アロー・メモリー・ネッティ 7.0.0
org.apache.arrow 矢印ベクトル 7.0.0
org.apache.avro アブロ 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons コモンズ・コンプレス 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons コモンズテキスト 1.10.0
org.apache.curator キュレータークライアント 2.13.0
org.apache.curator Curator Framework(キュレーター・フレームワーク) 2.13.0
org.apache.curator キュレーターのレシピ 2.13.0
org.apache.derby ダービー 10.14.2.0
org.apache.hadoop hadoopクライアントAPI 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime (ハドゥープ・クライアント・ランタイム) 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive ハイブセーデ 2.3.9
org.apache.hive ハイブシムス 2.3.9
org.apache.hive hive-storage-api (ハイブストレージAPI) 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler (ハイブシムススケジューラー) 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy アイビー 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc オーク・コア 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims(オーク・シムズ) 1.7.6
org.apache.parquet パーケット列 1.12.3-databricks-0001
org.apache.parquet パーケット・コモン 1.12.3-databricks-0001
org.apache.parquet パーケットエンコーディング 1.12.3-databricks-0001
org.apache.parquet Parquet-フォーマット構造 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift (リブスリフト) 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus オーディエンス注釈 0.13.0
org.apache.zookeeper 動物園の飼育員 3.6.2
org.apache.zookeeper zookeeper-jute(ズーキーパー・ジュート) 3.6.2
org.checkerframework チェッカー・クオール 3.5.0
org.codehaus.jackson ジャクソンコアASL 1.9.13
org.codehaus.jackson ジャクソン・マッパー・ASL 1.9.13
org.codehaus.janino コモンズコンパイラー 3.0.16
org.codehaus.janino ジャニーノ (janino) 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus データニュクレウス-RDBMS 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty ジェッティ・コンティニュエーション 9.4.46.v20220331
org.eclipse.jetty ジェッティ-HTTP 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi(ジェッティ-JNDI) 9.4.46.v20220331
org.eclipse.jetty ジェッティプラス 9.4.46.v20220331
org.eclipse.jetty jetty-proxy (ジェッティプロキシ) 9.4.46.v20220331
org.eclipse.jetty ジェッティ・セキュリティ 9.4.46.v20220331
org.eclipse.jetty ジェッティ・サーバー 9.4.46.v20220331
org.eclipse.jetty ジェッティ-サーブレット 9.4.46.v20220331
org.eclipse.jetty ジェッティ・サーブレット (jetty-servlets) 9.4.46.v20220331
org.eclipse.jetty jetty-util (ジェッティユーティル) 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax (ジェティ・ユーティル・エイジャックス) 9.4.46.v20220331
org.eclipse.jetty jetty-webapp(ジェッティ・ウェブアプリ) 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket ウェブソケットAPI 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client (ウェブソケット・クライアント) 9.4.46.v20220331
org.eclipse.jetty.websocket ウェブソケット-コモン 9.4.46.v20220331
org.eclipse.jetty.websocket ウェブソケットサーバー 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-サーブレット 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2ユーティリティー 2.6.1
org.glassfish.hk2 OSGiリソースロケーター 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-サーブレット 2.36
org.glassfish.jersey.containers jersey-container-サーブレット-コア 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core ジャージーコモン 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator (ハイバーネイト検証ツール) 6.1.0.Final
org.javassist javassist(ジャバアシスト) 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注釈 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client(MariaDB用Javaクライアント) 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap シム 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine(アールエンジン) 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt テストインターフェイス 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark 未使用 1.0.0
org.threeten threeten-extra(スリー・テン・エクストラ) 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel スパイア-プラットフォーム_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl ワイルドフライ-オープンSSL 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml(スネークヤムル) 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays (ジェイラージアレイ) 1.5
software.amazon.ion ion-java 1.0.2
スタックス stax-api 1.0.1