Nawiązywanie połączenia z usługami magazynu na platformie Azure przy użyciu magazynów danych

DOTYCZY:SDK v1 usługi Azure Machine Learning dla języka Python

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure w wersji 1

Z tego artykułu dowiesz się, jak nawiązać połączenie z usługami magazynu danych na platformie Azure przy użyciu magazynów danych usługi Azure Machine Learning i zestawu SDK języka Python usługi Azure Machine Learning.

Magazyn danych bezpiecznie łączy się z usługą magazynu na platformie Azure i pozwala uniknąć ryzyka związanego z poświadczeniami uwierzytelniania lub integralności oryginalnego magazynu danych. Magazyn danych przechowuje informacje o połączeniu — na przykład identyfikator subskrypcji lub autoryzację tokenu — w usłudze Key Vault skojarzonej z obszarem roboczym. Dzięki magazynowi danych można bezpiecznie uzyskać dostęp do magazynu, ponieważ można uniknąć twardych informacji o połączeniu ze skryptami. Magazyny danych, które łączą się z tymi rozwiązaniami usługi Azure Storage.

Aby uzyskać więcej informacji opisujących sposób dopasowania magazynów danych do ogólnego przepływu pracy dostępu do danych usługi Azure Machine Learning, zobacz artykuł Bezpieczny dostęp do danych .

Aby dowiedzieć się, jak nawiązać połączenie z zasobem magazynu danych za pomocą interfejsu użytkownika, odwiedź stronę Nawiązywanie połączenia z magazynem danych za pomocą interfejsu użytkownika programu Studio.

Wymagania wstępne

• Subskrypcja platformy Azure. Jeśli nie masz subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto. Wypróbuj bezpłatną lub płatną wersję usługi Azure Machine Learning

• Konto usługi Azure Storage z obsługiwanym typem magazynu

• Zestaw SDK usługi Azure Machine Learning dla języka Python

• Obszar roboczy usługi Azure Machine Learning.

Tworzenie obszaru roboczego usługi Azure Machine Learning lub używanie istniejącego obszaru roboczego za pomocą zestawu SDK języka Python

Zaimportuj klasę Workspace i Datastore załaduj config.json informacje o subskrypcji z pliku za pomocą from_config() funkcji . Domyślnie funkcja szuka pliku JSON w bieżącym katalogu, ale można również określić parametr ścieżki, aby wskazać plik za pomocą from_config(path="your/file/path")polecenia :

import azureml.core
from azureml.core import Workspace, Datastore
    
ws = Workspace.from_config()

Tworzenie obszaru roboczego automatycznie rejestruje kontener obiektów blob platformy Azure i udział plików platformy Azure, jako magazyny danych, do obszaru roboczego. Są one nazwane workspaceblobstore i workspacefilestore, odpowiednio. Magazynuje workspaceblobstore artefakty obszaru roboczego i dzienniki eksperymentów uczenia maszynowego. Służy on jako domyślny magazyn danych i nie można go usunąć z obszaru roboczego. Magazynuje workspacefilestore notesy i skrypty języka R autoryzowane za pośrednictwem wystąpienia obliczeniowego.

Obsługiwane typy usług magazynu danych

Magazyny danych obsługują obecnie przechowywanie informacji o połączeniu z usługami magazynu wymienionymi w tej macierzy:

• Usługa MySQL jest obsługiwana tylko w przypadku potoku DataTransferStep.
• Usługa Databricks jest obsługiwana tylko w przypadku potoku DatabricksStep.

Wskazówki dotyczące magazynu

Zalecamy utworzenie magazynu danych dla kontenera obiektów blob platformy Azure. Magazyn w warstwie Standardowa i Premium jest dostępny dla obiektów blob. Mimo że magazyn w warstwie Premium jest droższy, szybkość przepływności może poprawić szybkość przebiegów trenowania, zwłaszcza w przypadku trenowania na dużym zestawie danych. Aby uzyskać informacje na temat kosztów konta magazynu, odwiedź kalkulator cen platformy Azure.

Usługa Azure Data Lake Storage Gen2 jest oparta na usłudze Azure Blob Storage. Jest ona przeznaczona do analizy danych big data przedsiębiorstwa. W ramach usługi Data Lake Storage Gen2 magazyn obiektów blob zawiera hierarchiczną przestrzeń nazw. Hierarchiczna przestrzeń nazw organizuje obiekty/pliki w hierarchię katalogów w celu zapewnienia efektywnego dostępu do danych.

Dostęp do magazynu i uprawnienia

Aby zapewnić bezpieczne połączenie z usługą Azure Storage, usługa Azure Machine Learning wymaga uprawnień dostępu do odpowiedniego kontenera magazynu danych. Ten dostęp zależy od poświadczeń uwierzytelniania używanych do rejestrowania magazynu danych.

Sieć wirtualna

Aby komunikować się z kontem magazynu znajdującym się za zaporą lub w sieci wirtualnej, usługa Azure Machine Learning wymaga wykonania dodatkowych kroków konfiguracji. W przypadku konta magazynu znajdującego się za zaporą możesz dodać adres IP klienta do listy dozwolonych w witrynie Azure Portal.

Usługa Azure Machine Learning może odbierać żądania od klientów spoza sieci wirtualnej. Aby zapewnić bezpieczeństwo jednostki żądającej danych z usługi i włączyć wyświetlanie danych w obszarze roboczym, użyj prywatnego punktu końcowego z obszarem roboczym.

W przypadku użytkowników zestawu SDK języka Python: aby uzyskać dostęp do danych na docelowym obiekcie obliczeniowym za pomocą skryptu trenowania, musisz zlokalizować docelowy obiekt obliczeniowy w tej samej sieci wirtualnej i podsieci magazynu. Możesz użyć wystąpienia obliczeniowego/klastra w tej samej sieci wirtualnej.

W przypadku użytkowników usługi Azure Machine Learning Studio: kilka funkcji polega na możliwości odczytywania danych z zestawu danych — na przykład podglądów zestawów danych, profilów i zautomatyzowanego uczenia maszynowego. Aby te funkcje działały z magazynem za sieciami wirtualnymi, użyj tożsamości zarządzanej obszaru roboczego w programie Studio , aby umożliwić usłudze Azure Machine Learning dostęp do konta magazynu spoza sieci wirtualnej.

Sprawdzanie poprawności dostępu

W ramach początkowego procesu tworzenia i rejestracji magazynu danych usługa Azure Machine Learning automatycznie weryfikuje, czy podstawowa usługa magazynu istnieje i czy jednostka użytkownika (nazwa użytkownika, jednostka usługi lub token SAS) może uzyskać dostęp do określonego magazynu.

Po utworzeniu magazynu danych ta walidacja jest wykonywana tylko dla metod wymagających dostępu do bazowego kontenera magazynu, a nie za każdym razem, gdy są pobierane obiekty magazynu danych. Na przykład sprawdzanie poprawności odbywa się, jeśli chcesz pobrać pliki z magazynu danych. Jeśli jednak chcesz zmienić domyślny magazyn danych, walidacja nie zostanie wykonana.

Aby uwierzytelnić dostęp do bazowej usługi magazynu, możesz podać klucz konta, tokeny sygnatur dostępu współdzielonego (SAS) lub jednostkę usługi w odpowiedniej register_azure_*() metodzie typu magazynu danych, który chcesz utworzyć. Macierz typów magazynu zawiera listę obsługiwanych typów uwierzytelniania odpowiadających każdemu typowi magazynu danych.

Klucz konta, token SAS i informacje o jednostce usługi można znaleźć w witrynie Azure Portal.

• Aby użyć klucza konta lub tokenu SAS do uwierzytelniania, wybierz pozycję Konta magazynu w okienku po lewej stronie i wybierz konto magazynu, które chcesz zarejestrować

  • Strona Przegląd zawiera nazwę konta, nazwę udziału plików, kontener itp.
    • W przypadku kluczy konta przejdź do pozycji Klucze dostępu w okienku Ustawienia
    • W przypadku tokenów SAS przejdź do pozycji Sygnatury dostępu współdzielonego w okienku Ustawienia

• Aby użyć jednostki usługi do uwierzytelniania, przejdź do Rejestracje aplikacji i wybierz aplikację, której chcesz użyć

  • Odpowiednia strona Przegląd wybranej aplikacji zawiera wymagane informacje — na przykład identyfikator dzierżawy i identyfikator klienta

Uprawnienia

W przypadku kontenera obiektów blob platformy Azure i magazynu usługi Azure Data Lake Gen 2 upewnij się, że poświadczenia uwierzytelniania mają dostęp do czytnika danych obiektu blob usługi Storage. Aby uzyskać więcej informacji, odwiedź stronę Czytelnik danych obiektu blob usługi Storage. Token SAS konta domyślnie nie ma uprawnień.

• W przypadku dostępu do odczytu danych poświadczenia uwierzytelniania muszą mieć co najmniej uprawnienia listy i odczytu dla kontenerów i obiektów

• Dostęp do zapisu danych wymaga również uprawnień do zapisu i dodawania

Tworzenie i rejestrowanie magazynów danych

Rejestracja rozwiązania usługi Azure Storage jako magazynu danych automatycznie tworzy i rejestruje ten magazyn danych w określonym obszarze roboczym. Zapoznaj się z sekcją dostępu do magazynu i uprawnień w tym dokumencie, aby uzyskać wskazówki dotyczące scenariuszy sieci wirtualnych i gdzie można znaleźć wymagane poświadczenia uwierzytelniania.

Ta sekcja zawiera przykłady opisujące sposób tworzenia i rejestrowania magazynu danych za pomocą zestawu SDK języka Python dla tych typów magazynów. Przedstawione w tych przykładach parametry są wymaganymi parametrami do utworzenia i zarejestrowania magazynu danych:

• Kontener obiektów blob platformy Azure
• Udział plików platformy Azure
• Azure Data Lake Storage Generation 2

Aby utworzyć magazyny danych dla innych obsługiwanych usług magazynu, odwiedź dokumentację referencyjną odpowiednich register_azure_* metod.

Aby dowiedzieć się, jak nawiązać połączenie z zasobem magazynu danych za pomocą interfejsu użytkownika, odwiedź stronę Nawiązywanie połączenia z danymi za pomocą usługi Azure Machine Learning Studio.

Kontener obiektów Blob platformy Azure

Aby zarejestrować kontener obiektów blob platformy Azure jako magazyn danych, użyj register_azure_blob_container() metody .

Poniższy przykład kodu tworzy i rejestruje blob_datastore_name magazyn danych do obszaru roboczego ws. Magazyn danych używa podanego klucza dostępu do konta w celu uzyskania dostępu do kontenera my-container-name obiektów blob na koncie my-account-name magazynu. Zapoznaj się z sekcją Dostęp do magazynu i uprawnienia , aby uzyskać wskazówki dotyczące scenariuszy sieci wirtualnej oraz miejsca znajdowania wymaganych poświadczeń uwierzytelniania.

blob_datastore_name='azblobsdk' # Name of the datastore to workspace
container_name=os.getenv("BLOB_CONTAINER", "<my-container-name>") # Name of Azure blob container
account_name=os.getenv("BLOB_ACCOUNTNAME", "<my-account-name>") # Storage account name
account_key=os.getenv("BLOB_ACCOUNT_KEY", "<my-account-key>") # Storage account access key

blob_datastore = Datastore.register_azure_blob_container(workspace=ws, 
                                                         datastore_name=blob_datastore_name, 
                                                         container_name=container_name, 
                                                         account_name=account_name,
                                                         account_key=account_key)

Udział plików platformy Azure

Aby zarejestrować udział plików platformy Azure jako magazyn danych, użyj register_azure_file_share() metody .

Ten przykładowy kod tworzy i rejestruje file_datastore_name magazyn danych w obszarze roboczym ws . Magazyn danych używa my-fileshare-name udziału plików na my-account-name koncie magazynu z podanym kluczem dostępu do konta. Zapoznaj się z sekcją Dostęp do magazynu i uprawnienia , aby uzyskać wskazówki dotyczące scenariuszy sieci wirtualnej oraz miejsca znajdowania wymaganych poświadczeń uwierzytelniania.

file_datastore_name='azfilesharesdk' # Name of the datastore to workspace
file_share_name=os.getenv("FILE_SHARE_CONTAINER", "<my-fileshare-name>") # Name of Azure file share container
account_name=os.getenv("FILE_SHARE_ACCOUNTNAME", "<my-account-name>") # Storage account name
account_key=os.getenv("FILE_SHARE_ACCOUNT_KEY", "<my-account-key>") # Storage account access key

file_datastore = Datastore.register_azure_file_share(workspace=ws,
                                                     datastore_name=file_datastore_name, 
                                                     file_share_name=file_share_name, 
                                                     account_name=account_name,
                                                     account_key=account_key)

Azure Data Lake Storage Generation 2

W przypadku magazynu danych Azure Data Lake Storage Generation 2 (ADLS Gen 2) użyj metody register_azure_data_lake_gen2(), aby zarejestrować magazyn danych poświadczeń połączony z magazynem Azure Data Lake Gen 2 z uprawnieniami głównego użytkownika usługi.

Aby korzystać z jednostki usługi, musisz zarejestrować aplikację i udzielić dostępu do danych jednostki usługi za pośrednictwem kontroli dostępu opartej na rolach (Azure RBAC) lub list kontroli dostępu (ACL). Aby uzyskać więcej informacji, odwiedź stronę Kontrola dostępu skonfigurowana dla usługi ADLS Gen 2.

Ten kod tworzy i rejestruje adlsgen2_datastore_name magazyn danych w obszarze roboczym ws . Ten magazyn danych uzyskuje dostęp do systemu test plików na account_name koncie magazynu przy użyciu podanych poświadczeń jednostki usługi. Zapoznaj się z sekcją Dotyczącą dostępu do magazynu i uprawnień , aby uzyskać wskazówki dotyczące scenariuszy sieci wirtualnej oraz miejsca znalezienia wymaganych poświadczeń uwierzytelniania.

adlsgen2_datastore_name = 'adlsgen2datastore'

subscription_id=os.getenv("ADL_SUBSCRIPTION", "<my_subscription_id>") # subscription id of ADLS account
resource_group=os.getenv("ADL_RESOURCE_GROUP", "<my_resource_group>") # resource group of ADLS account

account_name=os.getenv("ADLSGEN2_ACCOUNTNAME", "<my_account_name>") # ADLS Gen2 account name
tenant_id=os.getenv("ADLSGEN2_TENANT", "<my_tenant_id>") # tenant id of service principal
client_id=os.getenv("ADLSGEN2_CLIENTID", "<my_client_id>") # client id of service principal
client_secret=os.getenv("ADLSGEN2_CLIENT_SECRET", "<my_client_secret>") # the secret of service principal

adlsgen2_datastore = Datastore.register_azure_data_lake_gen2(workspace=ws,
                                                             datastore_name=adlsgen2_datastore_name,
                                                             account_name=account_name, # ADLS Gen2 account name
                                                             filesystem='test', # ADLS Gen2 filesystem
                                                             tenant_id=tenant_id, # tenant id of service principal
                                                             client_id=client_id, # client id of service principal
                                                             client_secret=client_secret) # the secret of service principal

Tworzenie magazynów danych przy użyciu innych narzędzi platformy Azure

Oprócz tworzenia magazynu danych za pomocą zestawu SDK języka Python i programu Studio można również tworzyć magazyny danych za pomocą szablonów usługi Azure Resource Manager lub rozszerzenia programu VS Code usługi Azure Machine Learning.

Azure Resource Manager

Do tworzenia magazynów danych można użyć kilku szablonów https://github.com/Azure/azure-quickstart-templates/tree/master/quickstarts/microsoft.machinelearningservices . Aby uzyskać informacje na temat tych szablonów, odwiedź stronę Tworzenie obszaru roboczego dla usługi Azure Machine Learning przy użyciu szablonu usługi Azure Resource Manager.

Rozszerzenie programu VS Code

Aby uzyskać więcej informacji na temat tworzenia magazynów danych i zarządzania nimi za pomocą rozszerzenia programu VS Code usługi Azure Machine Learning, zapoznaj się z przewodnikiem z instrukcjami dotyczącymi zarządzania zasobami programu VS Code.

Używanie danych w magazynach danych

Po utworzeniu magazynu danych utwórz zestaw danych usługi Azure Machine Learning w celu interakcji z danymi. Zestaw danych pakuje dane do leniwie ocenianego obiektu eksploatacyjnego na potrzeby zadań uczenia maszynowego, takich jak trenowanie. Zestawy danych umożliwiają pobieranie lub instalowanie plików dowolnego formatu z usług Azure Storage na potrzeby trenowania modelu na docelowym obiekcie obliczeniowym. Dowiedz się więcej na temat trenowania modeli uczenia maszynowego przy użyciu zestawów danych.

Pobieranie magazynów danych z obszaru roboczego

Aby uzyskać określony magazyn danych zarejestrowany w bieżącym obszarze roboczym, użyj get() metody statycznej w Datastore klasie:

# Get a named datastore from the current workspace
datastore = Datastore.get(ws, datastore_name='your datastore name')

Aby uzyskać listę magazynów danych zarejestrowanych w danym obszarze roboczym, użyj datastores właściwości w obiekcie obszaru roboczego:

# List all datastores registered in the current workspace
datastores = ws.datastores
for name, datastore in datastores.items():
    print(name, datastore.datastore_type)

W tym przykładzie kodu pokazano, jak uzyskać domyślny magazyn danych obszaru roboczego:

datastore = ws.get_default_datastore()

Możesz również zmienić domyślny magazyn danych przy użyciu następującego przykładu kodu. Tylko zestaw SDK obsługuje tę możliwość:

 ws.set_default_datastore(new_default_datastore)

Uzyskiwanie dostępu do danych podczas oceniania

Usługa Azure Machine Learning oferuje kilka sposobów używania modeli do oceniania. Niektóre z tych metod nie zapewniają dostępu do magazynów danych. W poniższej tabeli opisano metody, które umożliwiają dostęp do magazynów danych podczas oceniania:

Jeśli zestaw SDK nie zapewnia dostępu do magazynów danych, może być możliwe utworzenie niestandardowego kodu przy użyciu odpowiedniego zestawu Azure SDK w celu uzyskania dostępu do danych. Na przykład zestaw SDK usługi Azure Storage dla biblioteki klienta języka Python może uzyskiwać dostęp do danych przechowywanych w obiektach blob lub plikach.

Przenoszenie danych do obsługiwanych rozwiązań usługi Azure Storage

Usługa Azure Machine Learning obsługuje uzyskiwanie dostępu do danych z

• Azure Blob Storage
• Azure Files
• Azure Data Lake Storage Gen1
• Azure Data Lake Storage Gen2
• Azure SQL Database
• Azure Database for PostgreSQL

Jeśli używasz nieobsługiwanego magazynu, zalecamy użycie usługi Azure Data Factory i tych kroków w celu przeniesienia danych do obsługiwanych rozwiązań usługi Azure Storage. Przenoszenie danych do obsługiwanego magazynu może pomóc w oszczędzeniu kosztów ruchu wychodzącego danych podczas eksperymentów uczenia maszynowego.

Usługa Azure Data Factory zapewnia wydajny i odporny transfer danych z ponad 80 wstępnie utworzonymi łącznikami bez dodatkowych kosztów. Te łączniki obejmują usługi danych platformy Azure, lokalne źródła danych, usługi Amazon S3 i Redshift oraz usługę Google BigQuery.

Następne kroki

• Tworzenie zestawu danych usługi Azure Machine Learning
• Szkolenie modelu
• Wdrażanie modelu