Korzystanie z głębokiego modelu uczenia Microsoft Cognitive Toolkit w klastrze Spark usługi Azure HDInsight

W tym artykule wykonasz następujące kroki.

1. Uruchom skrypt niestandardowy, aby zainstalować Microsoft Cognitive Toolkit w klastrze Azure HDInsight Spark.

2. Przekazywanie notesu Jupyter Notebook do klastra Apache Spark w celu sprawdzenia, jak zastosować wytrenowany model uczenia głębokiego zestawu narzędzi Microsoft Cognitive Toolkit do plików na koncie usługi Azure Blob Storage przy użyciu interfejsu API języka Python platformy Spark (PySpark)

Wymagania wstępne

• Klaster Apache Spark w usłudze HDInsight. Zobacz Tworzenie klastra Apache Spark.

• Znajomość zagadnień dotyczących używania notesów Jupyter za pomocą platformy Spark w usłudze HDInsight. Aby uzyskać więcej informacji, zobacz Ładowanie danych i uruchamianie zapytań za pomocą platformy Apache Spark w usłudze HDInsight.

Jak działa to rozwiązanie?

To rozwiązanie jest podzielone między ten artykuł a notebook Jupyter dołączony do tego artykułu. W tym artykule wykonasz następujące kroki:

• Uruchom akcję skryptu w klastrze HDInsight Spark, aby zainstalować zestaw narzędzi Microsoft Cognitive Toolkit i pakiety języka Python.
• Prześlij notes Jupyter uruchamiający rozwiązanie do klastra Spark usługi HDInsight.

Poniższe pozostałe kroki zostały omówione w notesie Jupyter Notebook.

• Załaduj przykładowe obrazy do Opornego Rozproszonego Zestawu Danych (RDD) w Spark.
  • Załaduj moduły i zdefiniuj ustawienia wstępne.
  • Pobierz zestaw danych lokalnie w klastrze Spark.
  • Przekonwertuj zestaw danych na RDD.
• Ocenianie obrazów przy użyciu wytrenowanego modelu zestawu narzędzi Cognitive Toolkit.
  • Pobierz wytrenowany model Cognitive Toolkit do klastra Spark.
  • Zdefiniuj funkcje, które mają być używane przez węzły robocze.
  • Oceniaj obrazy na węzłach roboczych.
  • Ocena dokładności modelu.

Instalowanie zestawu narzędzi Microsoft Cognitive Toolkit

Zestaw narzędzi Microsoft Cognitive Toolkit można zainstalować w klastrze Spark przy użyciu akcji skryptu. Akcja skryptu używa skryptów niestandardowych do instalowania składników w klastrze, które nie są domyślnie dostępne. Możesz użyć niestandardowego skryptu w portalu Azure, przy użyciu .NET SDK usługi HDInsight lub Azure PowerShell. Możesz również użyć skryptu, aby zainstalować zestaw narzędzi w ramach tworzenia klastra lub po uruchomieniu klastra.

W tym artykule użyjemy portalu do zainstalowania zestawu narzędzi po utworzeniu klastra. Aby poznać inne sposoby wykonywania skryptu niestandardowego, zobacz Dostosowywanie klastrów usługi HDInsight przy użyciu akcji skryptu.

Korzystanie z witryny Azure Portal

Aby uzyskać instrukcje dotyczące sposobu uruchamiania akcji skryptu za pomocą witryny Azure Portal, zobacz Dostosowywanie klastrów usługi HDInsight przy użyciu akcji skryptu. Upewnij się, że podasz następujące dane wejściowe, aby zainstalować zestaw narzędzi Microsoft Cognitive Toolkit. Użyj następujących wartości dla akcji skryptu:

Prześlij Jupyter Notebook do klastra Spark w usłudze Azure HDInsight

Aby użyć zestawu narzędzi Microsoft Cognitive Toolkit z klastrem Azure HDInsight Spark, należy załadować notes Jupyter Notebook CNTK_model_scoring_on_Spark_walkthrough.ipynb do klastra Spark usługi Azure HDInsight. Ten notes jest dostępny w witrynie GitHub pod adresem https://github.com/Azure-Samples/hdinsight-pyspark-cntk-integration.

1. Pobierz i rozpakuj https://github.com/Azure-Samples/hdinsight-pyspark-cntk-integration.

2. W przeglądarce internetowej przejdź do lokalizacji https://CLUSTERNAME.azurehdinsight.net/jupyter, gdzie CLUSTERNAME jest nazwą klastra.

3. W notesie Jupyter Notebook wybierz opcję Przekaż w prawym górnym rogu, a następnie przejdź do folderu pobierania i wybierz odpowiedni plik CNTK_model_scoring_on_Spark_walkthrough.ipynb.

   

4. Ponownie wybierz Załaduj.

5. Po przekazaniu notesu kliknij nazwę notesu, a następnie postępuj zgodnie z instrukcjami w samym notesie dotyczącymi sposobu ładowania zestawu danych i wykonywania artykułu.

Zobacz też

• Przegląd: platforma Apache Spark w usłudze Azure HDInsight

Scenariusze

• Platforma Apache Spark z usługą BI: wykonywanie interaktywnej analizy danych przy użyciu platformy Spark w usłudze HDInsight z narzędziami analizy biznesowej
• Platforma Apache Spark z usługą Machine Learning: używanie platformy Spark w usłudze HDInsight do analizowania temperatury budynku przy użyciu danych HVAC
• Platforma Apache Spark z usługą Machine Learning: przewidywanie wyników inspekcji żywności przy użyciu platformy Spark w usłudze HDInsight
• Analiza dzienników witryn internetowych przy użyciu platformy Apache Spark w usłudze HDInsight
• Analiza danych telemetrycznych usługi Application Insights przy użyciu platformy Apache Spark w usłudze HDInsight

Tworzenie i uruchamianie aplikacji

• Tworzenie autonomicznych aplikacji przy użyciu języka Scala
• Zdalne uruchamianie zadań w klastrze Apache Spark przy użyciu programu Apache Livy

Narzędzia i rozszerzenia

• Tworzenie i przesyłanie aplikacji Spark Scala przy użyciu dodatku HDInsight Tools Plugin for IntelliJ IDEA
• Zdalne debugowanie aplikacji Platformy Apache Spark za pomocą wtyczki HDInsight Tools dla środowiska IntelliJ IDEA
• Korzystanie z notatników Apache Zeppelin z klastrem Apache Spark na platformie HDInsight
• Jądra dostępne dla notesu Jupyter w klastrze Apache Spark dla usługi HDInsight
• Używanie pakietów zewnętrznych z notesami Jupyter
• Zainstaluj Jupyter na swoim komputerze i połącz się z klastrem Spark w usłudze HDInsight

Zarządzanie zasobami

• Zarządzanie zasobami klastra Apache Spark w usłudze Azure HDInsight
• Śledzenie i debugowanie zadań uruchamianych w klastrze Apache Spark w usłudze HDInsight