注
この記事では、Databricks Runtime 13.3 LTS 以上用の Databricks Connect について説明します。
この記事では、Databricks Connect for Python をインストールする方法について説明します。 「Databricks Connect とは」を参照してください。
要件
Databricks Connect をインストールする前に、ワークスペースとローカル環境が要件を満たしていることを確認してください。 Databricks Connect の使用要件を参照してください。
Python 仮想環境をアクティブ化する
Databricks では、Databricks Connect で使用する Python バージョンごとに Python 仮想環境をアクティブ化することを強くお勧めしています。 Python 仮想環境は、正しいバージョンの Python と Databricks Connect を一緒に使用していることを確認するために役立ちます。 これらのツールとそのアクティブ化方法の詳細については、venv または Poetry に関するページを参照してください。
Databricks Connect クライアントをインストールする
このセクションでは、Venv または詩を使用して Databricks Connect クライアントをインストールする方法について説明します。
注
Visual Studio Code 用の Databricks 拡張機能が既にインストールされている場合は、拡張機能を使用して Databricks Runtime 13.3 LTS 以降の Databricks Connect をインストールできます。 Visual Studio Code 用 Databricks 拡張機能の Databricks Connect を使用したコードのデバッグに関するページを参照してください。
venv を使用して Databricks Connect クライアントをインストールする
仮想環境がアクティブな状態で、
uninstallコマンドを実行して PySpark をアンインストールします (既にインストールされている場合)。 これは、databricks-connectパッケージが PySpark と競合するために必要です。 詳細については、「PySpark インストールの競合」を参照してください。 PySpark が既にインストールされているかどうかを調べるには、showコマンドを実行します。# Is PySpark already installed? pip3 show pyspark # Uninstall PySpark pip3 uninstall pyspark仮想環境がアクティブな状態のままで、
installコマンドを実行して Databricks Connect クライアントをインストールします。 既存のクライアント インストールを指定バージョンにアップグレードするには、--upgradeオプションを使用します。pip3 install --upgrade "databricks-connect==16.4.*" # Or X.Y.* to match your cluster version.注
Databricks では、最新のパッケージがインストールされるように、
databricks-connect==X.Y.*ではなくdatabricks-connect=X.Yを指定する "ドットとアスタリスク" の表記を追加することをお勧めしています。 これは要件ではありませんが、そのクラスターでサポートされている最新の機能を使用できるようにするために役立ちます。
Poetry を使用して Databricks Connect クライアントをインストールする
仮想環境がアクティブな状態で、
removeコマンドを実行して PySpark をアンインストールします (既にインストールされている場合)。 これは、databricks-connectパッケージが PySpark と競合するために必要です。 詳細については、「PySpark インストールの競合」を参照してください。 PySpark が既にインストールされているかどうかを調べるには、showコマンドを実行します。# Is PySpark already installed? poetry show pyspark # Uninstall PySpark poetry remove pyspark仮想環境がアクティブな状態のままで、
addコマンドを実行して Databricks Connect クライアントをインストールします。poetry add databricks-connect@~16.4 # Or X.Y to match your cluster version.注
Databricks では、最新のパッケージがインストールされるように、
databricks-connect@~16.4Databricks ではなくdatabricks-connect==16.4を指定する "アットとチルダ" の表記を使うことをお勧めしています。 これは要件ではありませんが、そのクラスターでサポートされている最新の機能を使用できるようにするために役立ちます。