Machine Learning 用 Databricks Runtime 9.1 LTS

Databricks はこのイメージをリリースし、2021 年 9 月に長期サポート (LTS) を宣言しました。

Databricks Runtime 9.1 LTS for Machine Learning は、 Databricks Runtime 9.1 LTS に基づく機械学習とデータ サイエンスのためのto-go 環境を提供します。 Databricks Runtime ML には、TensorFlow、PyTorch、XGBoost など、多くの一般的な機械学習ライブラリが含まれています。 Databricks Runtime ML には、機械学習パイプラインを自動的にトレーニングするツールである AutoML が含まれています。 また、Databricks Runtime ML では、Horovod を使用した分散型ディープ ラーニング トレーニングもサポートされます。

Databricks Runtime ML クラスターを作成する手順などの詳細については、「Databricks での AI と機械学習」を参照してください。

新機能と機能強化

AutoML

Databricks Runtime 9.1 LTS ML 以降では、次の機能強化を利用できます。

AutoML は、サンプリングによってより大きなデータセットをサポートします

AutoML では、メモリ制約を超える可能性のあるデータセットがサンプリングされるようになったため、メモリ不足エラーのリスクを減らして、より大きなデータセットで実行できるようになりました。 詳細については、「大規模なデータセットのサンプリング」を参照してください。

AutoML は、セマンティック タイプに基づいて列を前処理します

AutoML は、Spark または pandas データ型とは異なるセマンティック型を持つ特定の列を検出します。 その後、AutoML は、検出されたセマンティック タイプに基づいてデータの前処理ステップを変換して適用します。 具体的には、AutoML は次の変換を実行します。

• 日付またはタイムスタンプのデータを表す文字列列と整数列は、タイムスタンプタイプに変換されます。
• 数値データを表す文字列列は、数値型に変換されます。

AutoML で生成されたノートブックの機能強化

日付列とタイムスタンプ列の前処理ステップが databricks-automl-runtime パッケージに組み込まれるようになり、AutoML トレーニングによって生成されるノートブックが簡素化されました。 databricks-automl-runtime は Databricks Runtime 9.1 LTS ML 以降に含まれており、 PyPI でも使用できます。

機能ストア

Databricks Runtime 9.1 LTS ML 以降では、次の機能強化を利用できます。

• TrainingSet を作成するときに、教師なし学習アプリケーションをサポートするように label=None を設定できるようになりました。
• 1 つの FeatureLookupで複数のフィーチャを指定できるようになりました。
• 特徴テーブルのカスタムパスを指定できるようになりました。 path で create_feature_table() パラメーターを使用します。 デフォルトはデータベースの場所です。
• 新しくサポートされた PySpark データ型: ArrayType と ShortType。

Mlflow

次の機能強化は、Databricks Runtime 9.1 LTS ML に含まれている MLflow バージョン 1.20.2 以降で利用できます。

• scikit-learn の自動ログ記録では、 sklearn.metrics.mean_squared_error などの scikit-learn 評価 API が呼び出されるたびに、トレーニング後のメトリクスが記録されるようになりました。
• PySpark ML の自動ログ記録では、 Evaluator.evaluate() などのモデル評価 API が呼び出されるたびに、トレーニング後のメトリクスが記録されるようになりました。
• mlflow.*.log_modelまたmlflow.*.save_modelpip_requirements引数とextra_pip_requirements引数を持つようになったため、ログに記録または保存するモデルの pip 要件を直接指定できます。
• mlflow.*.log_model また、 mlflow.*.save_model 、現在のソフトウェア環境に基づいて、モデルのPIP要件を自動的に推論してログに記録または保存できるようになりました。
• stdMetrics エントリは、PySpark CrossValidator の自動ログ記録中にトレーニング メトリックとして記録されるようになりました。
• PyTorch Lightning の自動ログ記録で分散実行がサポートされるようになりました。

Databricks Autologging (パブリック プレビュー)

Databricks Autologging パブリック プレビューが新しいリージョンに拡張されました。 Databricks Autologging は、Azure Databricks 上の機械学習トレーニング セッションの自動実験追跡を提供する、ノーコード ソリューションです。 Databricks Autologging を使用すると、さまざまな一般的な機械学習ライブラリのモデルをトレーニングするときに、モデル パラメーター、メトリック、ファイル、および系列情報が自動的にキャプチャされます。 トレーニング セッションは、MLflow 追跡の実行として記録されます。 モデル ファイルも追跡されるため、それらを MLflow モデル レジストリに簡単にログし、MLflow Model Serving を使用してリアルタイム スコアリングのためにデプロイすることができます。

Databricks Autologging の詳細については、「Databricks Autologging」を参照してください。

Databricks Runtime ML Python 環境の主な変更点

アップグレードされた Python パッケージ

• automl 1.1.1 => 1.2.1
• feature_store 0.3.3 = > 0.3.4.1
• 休日 0.10.5.2 => 0.11.2
• keras 2.5.0 => 2.6.0
• mlflow 1.19.0 = > 1.20.2
• ペタストーム 0.11.1 = > 0.11.2
• plotly 4.14.3 => 5.1.0
• spark-tensorflow-distributor 0.1.0 => 1.0.0
• sparkdl 2.2.0_db1 => 2.2.0_db3
• テンソルボード 2.5.0 = > 2.6.0
• テンソルフロー 2.5.0 = > 2.6.0

追加された Python パッケージ

• databricks-automl-runtime 0.1.0

システム環境

Databricks Runtime 9.1 LTS ML のシステム環境は、Databricks Runtime 9.1 LTS と次のように異なります。

• DBUtils: Databricks Runtime ML には、ライブラリ ユーティリティ (dbutils.library) (レガシ) が含まれていません。 代わりに %pip コマンドを使用してください。 「ノートブック スコープの Python ライブラリ」を参照してください。
• GPU クラスターの場合、Databricks Runtime ML には次の NVIDIA GPU ライブラリが含まれています。
  • CUDA 11.0
  • cuDNN 8.1.0.77
  • NCCL 2.10.3
  • TensorRT 7.2.2

ライブラリ

次のセクションでは、Databricks Runtime 9.1 LTS ML に含まれるライブラリのうち、Databricks Runtime 9.1 LTS に含まれるライブラリと異なるライブラリの一覧を示します。

このセクションの内容は次のとおりです。

• 最上位層ライブラリ
• Python ライブラリ
• R ライブラリ
• Java および Scala ライブラリ (Scala 2.12 クラスター)

最上位レベルのライブラリ

Databricks Runtime 9.1 LTS ML には、次の最上位 ライブラリが含まれています。

• AutoML
• GraphFrames
• Horovod と HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard

Python ライブラリ

Databricks Runtime 9.1 LTS ML は、Python パッケージ管理に Virtualenv を使用し、多くの一般的な ML パッケージが含まれています。

次のセクションで指定されているパッケージに加えて、Databricks Runtime 9.1 LTS ML には次のパッケージも含まれています。

• hyperopt 0.2.5.db2
• sparkdl 2.2.0_db3
• feature_store 0.3.4.1
• automl 1.2.1

CPU クラスター上の Python ライブラリ

GPU クラスター上の Python ライブラリ

Python モジュールを含む Spark パッケージ

R ライブラリ

R ライブラリは、Databricks Runtime 9.1 LTS の R ライブラリ と同じです。

Java と Scala のライブラリ (Scala 2.12 クラスター)

Databricks Runtime 9.1 LTS の Java ライブラリと Scala ライブラリに加えて、Databricks Runtime 9.1 LTS ML には次の JAR が含まれています。

CPU クラスター

GPU クラスター