Migrowanie konfiguracji platformy Spark z usługi Azure Synapse Analytics do sieci szkieletowej

Platforma Apache Spark udostępnia wiele konfiguracji, które można dostosować w celu ulepszenia środowiska w różnych scenariuszach. W usłudze Azure Synapse Spark i Fabric inżynierowie danych ing masz elastyczność uwzględnienia tych konfiguracji lub właściwości w celu dostosowania środowiska. W usłudze Fabric można dodawać konfiguracje platformy Spark do środowiska i używać wbudowanych właściwości platformy Spark bezpośrednio w ramach zadań platformy Spark. Aby przenieść konfiguracje puli platformy Spark usługi Azure Synapse do sieci szkieletowej, użyj środowiska.

W przypadku zagadnień dotyczących konfiguracji platformy Spark zapoznaj się z różnicami między usługą Azure Synapse Spark i siecią szkieletową.

Wymagania wstępne

• Jeśli jeszcze go nie masz, utwórz obszar roboczy sieć szkieletowa w dzierżawie.
• Jeśli jeszcze go nie masz, utwórz środowisko w obszarze roboczym.

Opcja 1. Dodawanie konfiguracji platformy Spark do środowiska niestandardowego

W środowisku można ustawić właściwości platformy Spark i te konfiguracje są stosowane do wybranej puli środowisk.

1. Otwórz program Synapse Studio: zaloguj się na platformie Azure. Przejdź do obszaru roboczego usługi Azure Synapse i otwórz program Synapse Studio.
2. Znajdź konfiguracje platformy Spark:
   • Przejdź do obszaru Zarządzanie i wybierz pozycję Pule platformy Apache Spark.
   • Znajdź pulę platformy Apache Spark, wybierz pozycję Konfiguracja platformy Apache Spark i znajdź nazwę konfiguracji platformy Spark dla puli.
3. Pobierz konfiguracje platformy Spark: możesz uzyskać te właściwości, wybierając pozycję Wyświetl konfiguracje lub eksportując konfigurację (.txt/.conf/.json format) z obszaru Konfiguracje i biblioteki Konfiguracje platformy> Apache Spark.
4. Po skonfigurowaniu platformy Spark dodaj niestandardowe właściwości platformy Spark do środowiska w sieci szkieletowej:
   • W obszarze Środowisko przejdź do właściwości spark compute>spark.
   • Dodaj konfiguracje platformy Spark. Można dodać każdą ręcznie lub zaimportować z .yml.
5. Kliknij pozycję Zapisz i opublikuj zmiany.

Dowiedz się więcej na temat dodawania konfiguracji platformy Spark do środowiska.

Powiązana zawartość

• Migrowanie pul platformy Spark
• Migrowanie bibliotek platformy Spark
• Migrowanie notesów platformy Spark