Udostępnij przez

Przekształć dane poprzez uruchomienie zadania Databricks

DOTYCZY: Azure Data Factory Azure Synapse Analytics

Wskazówka

Wypróbuj Data Factory in Microsoft Fabric, kompleksowe rozwiązanie analityczne dla przedsiębiorstw. Microsoft Fabric obejmuje wszystko od przemieszczania danych po naukę o danych, analitykę w czasie rzeczywistym, inteligencję biznesową i raportowanie. Dowiedz się, jak bezpłatnie rozpocząć nową wersję próbną !

Działanie zadania Azure Databricks w potoku uruchamia zadania Databricks, w tym zadania bezserwerowe, w obszarze roboczym Azure Databricks. Ten artykuł opiera się na artykule dotyczącym działań przekształcania danych, który zawiera ogólne omówienie transformacji danych i obsługiwanych działań przekształcania. Azure Databricks to zarządzana platforma do uruchamiania platformy Apache Spark.

Zadanie usługi Databricks można utworzyć bezpośrednio za pomocą interfejsu użytkownika usługi Azure Data Factory Studio.

Dodaj zadanie dla usługi Azure Databricks do potoku za pośrednictwem interfejsu użytkownika

Aby użyć działania Zadania dla usługi Azure Databricks w potoku, wykonaj następujące kroki:

  1. Wyszukaj pozycję Zadanie w okienku Działania potoku i przeciągnij działanie Zadanie na kanwę potoku.

  2. Wybierz nowe działanie zadania na kanwie, jeśli nie jest jeszcze wybrane.

  3. Wybierz kartę Azure Databricks , aby wybrać lub utworzyć nową połączoną usługę Azure Databricks.

    Uwaga / Notatka

    Działanie zadania usługi Azure Databricks jest uruchamiane automatycznie w klastrach bezserwerowych, więc nie trzeba określać klastra w konfiguracji połączonej usługi. Zamiast tego wybierz opcję Bezserwerowa .

    Zrzut ekranu przedstawiający interfejs użytkownika działania zadania z wyróżnioną kartą Azure Databricks.

  4. Wybierz kartę Ustawienia i określ zadanie do wykonania w usłudze Azure Databricks, opcjonalne parametry podstawowe, które mają zostać przekazane do zadania, oraz wszystkie inne biblioteki, które mają zostać zainstalowane w klastrze w celu wykonania zadania.

    Zrzut ekranu przedstawiający interfejs użytkownika działania zadania z wyróżnioną kartą Ustawienia.

Definicja działania zadania usługi Databricks

Oto przykładowa definicja JSON aktywności zadania w Databricks.

{
    "activity": {
        "name": "MyActivity",
        "description": "MyActivity description",
        "type": "DatabricksJob",
        "linkedServiceName": {
            "referenceName": "MyDatabricksLinkedservice",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "jobID": "012345678910112",
            "jobParameters": {
                "testParameter": "testValue"
            },
        }
    }
}

Atrybuty aktywności zadania Databricks

W poniższej tabeli opisano właściwości JSON używane w definicji JSON:

Majątek Opis Wymagane
nazwa Nazwa działania w rurociągu. Tak
opis Tekst opisujący działanie. Nie.
typ W przypadku działania zadania usługi Databricks typ działania to DatabricksJob. Tak
nazwaPołączonejUsługi Nazwa połączonej usługi Databricks, na której jest uruchamiane zadanie Databricks. Aby dowiedzieć się więcej o tej połączonej usłudze, zobacz artykuł Dotyczący połączonych usług obliczeniowych . Tak
ID zadania Identyfikator zadania do uruchomienia w Workspace Databricks. Tak
parametry zadania Tablica par Klucz-Wartość. Parametry zadania mogą być używane przy każdorazowym uruchomieniu zadania. Jeśli zadanie przyjmuje parametr, który nie jest określony, zostanie użyta wartość domyślna z zadania. Więcej informacji na temat parametrów można znaleźć w Zadaniach Databricks. Nie.

Przekazywanie parametrów między zadaniami i potokami

Parametry można przekazać do zadań przy użyciu właściwości jobParameters w działaniu usługi Databricks.

Uwaga / Notatka

Parametry zadania są obsługiwane tylko w samodzielnie hostowanym IR w wersji 5.52.0.0 lub nowszej.

  • Last updated on