Udostępnij przez

Uruchamia CLI (wersja klasyczna)

Ważne

Ta dokumentacja została wycofana i może nie zostać zaktualizowana.

Te informacje dotyczą starszych wersji interfejsu wiersza polecenia usługi Databricks w wersji 0.18 i poniżej. Databricks zaleca korzystanie z nowszej wersji interfejsu wiersza poleceń Databricks CLI, wersji 0.205 lub wyższej. Zobacz Co to jest interfejs wiersza polecenia usługi Databricks?. Aby znaleźć swoją wersję interfejsu wiersza polecenia usługi Databricks, uruchom polecenie databricks -v.

Aby przeprowadzić migrację z interfejsu wiersza polecenia usługi Databricks w wersji 0.18 lub nowszej do interfejsu wiersza polecenia usługi Databricks w wersji 0.205 lub nowszej, zobacz Migracja interfejsu wiersza polecenia usługi Databricks.

Za pomocą interfejsu wiersza polecenia uruchamiasz podpolecenia związane z wykonaniem zadań usługi Databricks, dołączając je do databricks runs, oraz podpolecenia związane z zadaniami usługi Databricks, dołączając je do databricks jobs. W przypadku podpolecenia interfejsu wiersza polecenia zadań usługi Databricks zobacz interfejs wiersza polecenia zadań (starsza wersja). Razem te subpolecenia wywołują interfejs API zadań i interfejs API zadań 2.0.

Ważne

Uruchamianie zadania Databricks przy użyciu interfejsu CLI obsługuje wywołania do dwóch wersji interfejsu API REST dla zadań Databricks: wersje 2.1 i 2.0. (Funkcje uruchamiania zadań są częścią interfejsu API REST dla zadań). Wersja 2.1 dodaje obsługę orkiestracji zleceń z wieloma zadaniami; Patrz Zadania usługi Lakeflow i Aktualizacja interfejsu API dla zadań z wersji 2.0 do 2.1. Usługa Databricks zaleca wywołanie wersji 2.1, chyba że masz starsze skrypty, które korzystają z wersji 2.0 i nie można ich migrować.

O ile nie określono inaczej, zachowania programowe opisane w tym artykule mają zastosowanie równie do wersji 2.1 i 2.0.

Uwaga

Jeśli podczas wykonywania żądań CLI wystąpi błąd poziomu 500, usługa Databricks zaleca ponawianie żądań przez maksymalnie 10 minut (z co najmniej 30-sekundowym interwałem między próbami).

Wymagania do użycia Jobs REST API 2.1

Aby skonfigurować uruchamianie zadań Databricks za pomocą interfejsu wiersza polecenia (i interfejsu wiersza polecenia zadań) do wywoływania REST API zadań wersji 2.1, wykonaj następujące czynności:

  1. Zaktualizuj CLI do wersji 0.16.0 lub nowszej.

  2. Wykonaj jedną z następujących czynności:

    • Uruchom polecenie databricks jobs configure --version=2.1. Spowoduje to dodanie ustawienia jobs-api-version = 2.1 do pliku ~/.databrickscfg w systemach Unix, Linux lub macOS lub %USERPROFILE%\.databrickscfg Windows. Wszystkie polecenia dotyczące uruchamiania zadań w interfejsie wiersza polecenia (oraz polecenia interfejsu wiersza polecenia zadań) będą domyślnie wywoływać interfejs API REST zadań wersja 2.1.
    • Ręcznie dodaj ustawienie jobs-api-version = 2.1 do pliku ~/.databrickscfg w systemach Unix, Linux lub macOS lub %USERPROFILE%\.databrickscfg Windows. Wszystkie polecenia dotyczące uruchamiania zadań w interfejsie wiersza polecenia (oraz polecenia interfejsu wiersza polecenia zadań) będą domyślnie wywoływać interfejs API REST zadań wersja 2.1.
    • Dołącz opcję --version=2.1 (na przykład databricks runs list --version=2.1), aby polecić uruchomienie przez CLI zadania wywołujące Jobs REST API 2.1 tylko dla tego wywołania.

    Jeśli żadna z powyższych akcji nie zostanie wykonana, zadanie uruchomi interfejs wiersza polecenia, który domyślnie wywoła interfejs API REST zadań 2.0.

Wymagania dotyczące wywoływania interfejsu API REST zadań 2.0

Aby skonfigurować interfejs wiersza poleceń (CLI) dla uruchamiania zadań w Databricks (oraz CLI zadań) do wywołania interfejsu Jobs REST API 2.0, wykonaj jedną z następujących opcji:

  • Użyj wersji interfejsu wiersza polecenia usługi Databricks poniżej wersji 0.16.0 lub
  • Zaktualizuj interfejs wiersza polecenia do wersji 0.16.0 lub nowszej, a następnie wykonaj jedną z następujących czynności:
    • Uruchom polecenie databricks jobs configure --version=2.0. Spowoduje to dodanie ustawienia jobs-api-version = 2.0 do pliku ~/.databrickscfg w systemach Unix, Linux lub macOS lub %USERPROFILE%\.databrickscfg Windows. Wszystkie podpolecenia CLI uruchamiania zadań (i CLI zadań) będą domyślnie wywoływać Jobs REST API 2.0.
    • Ręcznie dodaj ustawienie jobs-api-version = 2.0 do pliku ~/.databrickscfg w systemach Unix, Linux lub macOS lub %USERPROFILE%\.databrickscfg Windows. Wszystkie podpolecenia CLI uruchamiania zadań (i CLI zadań) będą domyślnie wywoływać Jobs REST API 2.0.
    • Dołącz opcję --version=2.1 (na przykład databricks runs list --version=2.0), aby nakazać interfejsowi wiersza polecenia wywołanie interfejsu API REST zadań 2.0 tylko dla tego wywołania.

Jeśli żadna z powyższych akcji nie zostanie wykonana, zadanie uruchomi interfejs wiersza polecenia, który domyślnie wywoła interfejs API REST zadań 2.0.

Podpolecenia i ogólne użycie

databricks runs --help

Usage: databricks runs [OPTIONS] COMMAND [ARGS]...

  Utility to interact with jobs runs.

Options:
  -v, --version   [VERSION]
  --debug         Debug mode. Shows full stack trace on error.
  --profile TEXT  CLI connection profile to use. The default profile is
                  "DEFAULT".

  -h, --help      Show this message and exit.

Commands:
  cancel      Cancels the specified run.
  get         Gets the metadata about a run in JSON form.
  get-output  Gets the output of a run.
  list        Lists job runs.
  submit      Submits a one-time run.

Anulowanie zadania

Aby wyświetlić dokumentację użycia, uruchom polecenie databricks runs cancel --help.

databricks runs cancel --run-id 119

{}

Informacje o biegu

Aby wyświetlić dokumentację użycia, uruchom polecenie databricks runs get --help.

Ogólne użycie

databricks runs get --run-id 2785782

Informacje o użyciu i przykład odpowiedzi Jobs CLI 2.1

Zobacz Przebiegi w Aktualizowanie z Jobs API 2.0 do 2.1.

Przykład odpowiedzi interfejsu wiersza poleceń Jobs CLI 2.0

{
  "job_id": 1269263,
  "run_id": 2785782,
  "number_in_job": 1111,
  "original_attempt_run_id": 2785782,
  "state": {
    "life_cycle_state": "TERMINATED",
    "result_state": "SUCCESS",
    "state_message": ""
  },
  "task": {
    "notebook_task": {
      "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
    }
  },
  "cluster_spec": {
    "new_cluster": {
      "spark_version": "8.1.x-scala2.12",
      "node_type_id": "Standard_F16s",
      "enable_elastic_disk": true,
      "azure_attributes": {
        "availability": "ON_DEMAND_AZURE"
      },
      "num_workers": 8
    }
  },
  "cluster_instance": {
    "cluster_id": "1234-567890-abcd123",
    "spark_context_id": "1234567890123456789"
  },
  "start_time": 1620947196985,
  "setup_duration": 36000,
  "execution_duration": 119000,
  "cleanup_duration": 3000,
  "end_time": 1620947355499,
  "trigger": "ONE_TIME",
  "creator_user_name": "someone@example.com",
  "run_name": "my-notebook-run",
  "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
  "run_type": "JOB_RUN",
  "attempt_number": 0
}

Pobierz dane wyjściowe przebiegu

Aby wyświetlić dokumentację użycia, uruchom polecenie databricks runs get-output --help.

Uwaga

Gdy notebook_task zwraca wartość z wywołania dbutils.notebook.exit(), usługa Databricks ogranicza zwracaną wartość do pierwszych 5 MB danych. Aby zwrócić większy wynik, możesz przechowywać wyniki zadań w usłudze przechowywania w chmurze.

Ogólne użycie

databricks runs get-output --run-id 2785782

Uwagi dotyczące użycia CLI Jobs 2.1

Zobacz Pobieranie danych wyjściowych w temacie Aktualizowanie z interfejsu API zadań 2.0 do 2.1.

Przykład odpowiedzi interfejsu wiersza poleceń Jobs CLI 2.0

{
  "metadata": {
    "job_id": 1269263,
    "run_id": 2785782,
    "number_in_job": 1111,
    "original_attempt_run_id": 2785782,
    "state": {
      "life_cycle_state": "TERMINATED",
      "result_state": "SUCCESS",
      "state_message": ""
    },
    "task": {
      "notebook_task": {
        "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
      }
    },
    "cluster_spec": {
      "new_cluster": {
        "spark_version": "8.1.x-scala2.12",
        "node_type_id": "Standard_F16s",
        "enable_elastic_disk": true,
        "azure_attributes": {
          "availability": "ON_DEMAND_AZURE"
        },
        "num_workers": 8
      }
    },
    "cluster_instance": {
      "cluster_id": "1234-567890-abcd123",
      "spark_context_id": "1234567890123456789"
    },
    "start_time": 1620947196985,
    "setup_duration": 36000,
    "execution_duration": 119000,
    "cleanup_duration": 3000,
    "end_time": 1620947355499,
    "trigger": "ONE_TIME",
    "creator_user_name": "someone@example.com",
    "run_name": "my-notebook-run",
    "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
    "run_type": "JOB_RUN",
    "attempt_number": 0
  },
  "notebook_output": {}
}

Uzyskaj informacje o wszystkich przebiegach

Aby wyświetlić dokumentację użycia, uruchom polecenie databricks runs list --help.

Ogólne użycie

databricks runs list --output JSON

Informacje o użyciu i przykład odpowiedzi Jobs CLI 2.1

Zobacz Lista przebiegów w Aktualizacja z Jobs API 2.0 do 2.1.

Przykład odpowiedzi interfejsu wiersza poleceń Jobs CLI 2.0

{
  "runs": [
    {
      "job_id": 1269263,
      "run_id": 2785782,
      "number_in_job": 1111,
      "original_attempt_run_id": 2785782,
      "state": {
         "life_cycle_state": "TERMINATED",
         "result_state": "SUCCESS",
         "state_message": ""
      },
      "task": {
        "notebook_task": {
          "notebook_path": "/Users/someone@example.com/notebooks/my-notebook.ipynb"
        }
      },
      "cluster_spec": {
        "new_cluster": {
          "spark_version": "8.1.x-scala2.12",
          "node_type_id": "Standard_F16s",
          "enable_elastic_disk": true,
          "azure_attributes": {
            "availability": "ON_DEMAND_AZURE"
          },
          "num_workers": 8
        }
      },
      "cluster_instance": {
        "cluster_id": "1234-567890-abcd123",
        "spark_context_id": "1234567890123456789"
      },
      "start_time": 1620947196985,
      "setup_duration": 36000,
      "execution_duration": 119000,
      "cleanup_duration": 3000,
      "end_time": 1620947355499,
      "trigger": "ONE_TIME",
      "creator_user_name": "someone@example.com",
      "run_name": "my-notebook-run",
      "run_page_url": "https://adb-1234567890123456.7.azuredatabricks.net/?o=1234567890123456#job/1269263/run/1111",
      "run_type": "JOB_RUN",
      "attempt_number": 0
    },
    ...
  ],
  "has_more": false
}

Jeśli has_more zwraca wartość true, dostępne są informacje o dodatkowych uruchomieniach. Użyj opcji --offset, aby zwrócić informacje o przebiegach względem najnowszego przebiegu. Aby na przykład zwrócić informacje rozpoczynające się od dziesiątego najnowszego przebiegu, określ wartość --offset 10.

Użyj opcji --limit , aby zwrócić informacje o ustalonej liczbie uruchomień. Aby na przykład zwrócić informacje dla maksymalnie 5 następnych uruchomień, podaj wartość --limit 5. Można określić maksymalnie 1000 przebiegów. Jeśli nie zostanie określony, wartość domyślna to 20.

Wyślij jednorazowe uruchomienie

Aby wyświetlić dokumentację użycia, uruchom polecenie databricks runs submit --help.

Ogólne użycie

databricks runs submit --json-file submit-run.json

Notatki dotyczące użycia Jobs REST API 2.1 oraz przykład żądania

Zobacz Przesyłanie przebiegów w temacie Aktualizowanie z interfejsu API zadań w wersji 2.0 do 2.1.

Przykład żądania i odpowiedzi dla Jobs REST API 2.0

submit-run.json:

{
  "run_name": "my-spark-run",
  "new_cluster": {
    "spark_version": "8.1.x-scala2.12",
    "node_type_id": "Standard_F16s",
    "enable_elastic_disk": true,
    "azure_attributes": {
      "availability": "ON_DEMAND_AZURE"
    },
    "num_workers": 8
  },
  "libraries": [
    {
      "jar": "dbfs:/my-jar.jar"
    },
    {
      "maven": {
        "coordinates": "org.jsoup:jsoup:1.7.2"
      }
    }
  ],
  "spark_jar_task": {
    "main_class_name": "com.databricks.ComputeModels"
  }
}

{
  "run_id": 123
}
  • Last updated on