Partilhar via


HDInsightCompute Classe

Gerencia um destino de computação de cluster HDInsight no Azure Machine Learning.

O Azure HDInsight é uma plataforma popular para análise de big data. A plataforma fornece o Apache Spark, que pode ser usado para treinar seu modelo. Para obter mais informações, consulte O que são destinos de computação no Azure Machine Learning?

Classe ComputeTarget construtor.

Recupere uma representação na nuvem de um objeto Compute associado ao espaço de trabalho fornecido. Retorna uma instância de uma classe filho correspondente ao tipo específico do objeto Compute recuperado.

Construtor

HDInsightCompute(workspace, name)

Parâmetros

Name Description
workspace
Necessário

O objeto de espaço de trabalho que contém o objeto HDInsightCompute a ser recuperado.

name
Necessário
str

O nome do objeto HDInsightCompute a ser recuperado.

workspace
Necessário

O objeto de espaço de trabalho que contém o objeto Compute a ser recuperado.

name
Necessário
str

O nome do objeto Compute a ser recuperado.

Observações

O exemplo a seguir mostra como criar um cluster Spark para HDInsight no Azure.


   from azureml.core.compute import ComputeTarget, HDInsightCompute
   from azureml.exceptions import ComputeTargetException
   import os

   try:
   # If you want to connect using SSH key instead of username/password you can provide parameters private_key_file and private_key_passphrase

   # Attaching a HDInsight cluster using the public address of the HDInsight cluster is no longer supported.
   # Instead, use resourceId of the HDInsight cluster.
   # The resourceId of the HDInsight Cluster can be constructed using the following string format:
   # /subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>.
   # You can also use subscription_id, resource_group and cluster_name without constructing resourceId.
       attach_config = HDInsightCompute.attach_configuration(resource_id='<resource_id>',
                                                             ssh_port=22,
                                                             username=os.environ.get('hdiusername', '<ssh_username>'),
                                                             password=os.environ.get('hdipassword', '<my_password>'))

       hdi_compute = ComputeTarget.attach(workspace=ws,
                                          name='myhdi',
                                          attach_configuration=attach_config)

   except ComputeTargetException as e:
       print("Caught = {}".format(e.message))


   hdi_compute.wait_for_completion(show_output=True)

A amostra completa está disponível em https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/training/train-in-spark/train-in-spark.ipynb

Métodos

attach

PRETERIDO. Use o attach_configuration método em vez disso.

Associe um recurso HDI existente ao espaço de trabalho fornecido.

attach_configuration

Crie um objeto de configuração para anexar um destino de computação do HDInsight.

Não há mais suporte para anexar um cluster HDInsight usando o endereço público do cluster HDInsight. Em vez disso, use resourceId do cluster HDInsight. O resourceId do Cluster HDInsight pode ser construído usando o seguinte formato de cadeia de caracteres: "/subscriptions/<subscription_id>/resourceGroups/<resource_group>/ providers/Microsoft.HDInsight/clusters/<cluster_name>".

Você também pode usar subscription_id, resource_group e cluster_name sem construir resourceId. Para mais informações: https://aka.ms/azureml-compute-hdi

delete

Não há suporte para Delete para o objeto HDInsightCompute. Utilize detach em substituição.

deserialize

Converter um objeto JSON em um objeto HDInsightCompute.

detach

Desanexa o objeto HDInsightCompute de seu espaço de trabalho associado.

Os objetos de nuvem subjacentes não são excluídos, apenas a associação é removida.

get_credentials

Recupere as credenciais para o destino HDInsightCompute.

refresh_state

Execute uma atualização in-loco das propriedades do objeto.

Este método atualiza as propriedades com base no estado atual do objeto de nuvem correspondente. Isso é usado principalmente para sondagem manual do estado de computação.

serialize

Converta este objeto HDInsightCompute em um dicionário serializado JSON.

attach

PRETERIDO. Use o attach_configuration método em vez disso.

Associe um recurso HDI existente ao espaço de trabalho fornecido.

static attach(workspace, name, username, address, ssh_port='22', password='', private_key_file='', private_key_passphrase='')

Parâmetros

Name Description
workspace
Necessário

O objeto de espaço de trabalho ao qual associar o recurso de computação.

name
Necessário
str

O nome a ser associado ao recurso de computação dentro do espaço de trabalho fornecido. Não precisa corresponder ao nome do recurso de computação a ser anexado.

username
Necessário
str

O nome de usuário necessário para acessar o recurso.

address
Necessário
str

O endereço do recurso a anexar.

ssh_port
int

A porta exposta para o recurso. O padrão é 22.

Default value: 22
password
Necessário
str

A senha necessária para acessar o recurso.

private_key_file
Necessário
str

O caminho para um arquivo que contém a chave privada para o recurso.

private_key_passphrase
Necessário
str

A frase-chave privada necessária para acessar o recurso.

Devoluções

Tipo Description

Uma representação do objeto HDInsightCompute do objeto de computação.

Exceções

Tipo Description

attach_configuration

Crie um objeto de configuração para anexar um destino de computação do HDInsight.

Não há mais suporte para anexar um cluster HDInsight usando o endereço público do cluster HDInsight. Em vez disso, use resourceId do cluster HDInsight. O resourceId do Cluster HDInsight pode ser construído usando o seguinte formato de cadeia de caracteres: "/subscriptions/<subscription_id>/resourceGroups/<resource_group>/ providers/Microsoft.HDInsight/clusters/<cluster_name>".

Você também pode usar subscription_id, resource_group e cluster_name sem construir resourceId. Para mais informações: https://aka.ms/azureml-compute-hdi

static attach_configuration(username, subscription_id=None, resource_group=None, cluster_name=None, resource_id=None, address=None, ssh_port='22', password='', private_key_file='', private_key_passphrase='')

Parâmetros

Name Description
username
Necessário
str

O nome de usuário necessário para acessar o recurso.

subscription_id
str

A ID de assinatura do Azure

Default value: None
resource_group
str

Nome do grupo de recursos no qual o cluster HDI está localizado.

Default value: None
cluster_name
str

O nome do cluster HDI

Default value: None
resource_id
str

A ID de recurso do Azure Resource Manager (ARM) para o recurso a ser anexado.

Default value: None
address
str

O endereço do recurso a ser anexado.

Default value: None
ssh_port
int

A porta exposta para o recurso. O padrão é 22.

Default value: 22
password
Necessário
str

A senha necessária para acessar o recurso.

private_key_file
Necessário
str

O caminho para um arquivo que contém a chave privada para o recurso.

private_key_passphrase
Necessário
str

A frase-chave privada necessária para acessar o recurso.

Devoluções

Tipo Description

Um objeto de configuração a ser usado ao anexar um objeto Compute.

delete

Não há suporte para Delete para o objeto HDInsightCompute. Utilize detach em substituição.

delete()

Exceções

Tipo Description

deserialize

Converter um objeto JSON em um objeto HDInsightCompute.

static deserialize(workspace, object_dict)

Parâmetros

Name Description
workspace
Necessário

O objeto de espaço de trabalho ao qual o objeto HDInsightCompute está associado.

object_dict
Necessário

Um objeto JSON para converter em um objeto HDInsightCompute.

Devoluções

Tipo Description

A representação HDInsightCompute do objeto JSON fornecido.

Exceções

Tipo Description

Observações

Gera um ComputeTargetException se o espaço de trabalho fornecido não for o espaço de trabalho ao qual a computação está associada.

detach

Desanexa o objeto HDInsightCompute de seu espaço de trabalho associado.

Os objetos de nuvem subjacentes não são excluídos, apenas a associação é removida.

detach()

Exceções

Tipo Description

get_credentials

Recupere as credenciais para o destino HDInsightCompute.

get_credentials()

Devoluções

Tipo Description

As credenciais para o destino HDInsightCompute

Exceções

Tipo Description

refresh_state

Execute uma atualização in-loco das propriedades do objeto.

Este método atualiza as propriedades com base no estado atual do objeto de nuvem correspondente. Isso é usado principalmente para sondagem manual do estado de computação.

refresh_state()

serialize

Converta este objeto HDInsightCompute em um dicionário serializado JSON.

serialize()

Devoluções

Tipo Description

A representação JSON deste objeto HDICompute.