HDInsightCompute Classe
Gerencia um destino de computação de cluster HDInsight no Azure Machine Learning.
O Azure HDInsight é uma plataforma popular para análise de big data. A plataforma fornece o Apache Spark, que pode ser usado para treinar seu modelo. Para obter mais informações, consulte O que são destinos de computação no Azure Machine Learning?
Classe ComputeTarget construtor.
Recupere uma representação na nuvem de um objeto Compute associado ao espaço de trabalho fornecido. Retorna uma instância de uma classe filho correspondente ao tipo específico do objeto Compute recuperado.
Construtor
HDInsightCompute(workspace, name)
Parâmetros
| Name | Description |
|---|---|
|
workspace
Necessário
|
O objeto de espaço de trabalho que contém o objeto HDInsightCompute a ser recuperado. |
|
name
Necessário
|
O nome do objeto HDInsightCompute a ser recuperado. |
|
workspace
Necessário
|
O objeto de espaço de trabalho que contém o objeto Compute a ser recuperado. |
|
name
Necessário
|
O nome do objeto Compute a ser recuperado. |
Observações
O exemplo a seguir mostra como criar um cluster Spark para HDInsight no Azure.
from azureml.core.compute import ComputeTarget, HDInsightCompute
from azureml.exceptions import ComputeTargetException
import os
try:
# If you want to connect using SSH key instead of username/password you can provide parameters private_key_file and private_key_passphrase
# Attaching a HDInsight cluster using the public address of the HDInsight cluster is no longer supported.
# Instead, use resourceId of the HDInsight cluster.
# The resourceId of the HDInsight Cluster can be constructed using the following string format:
# /subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>.
# You can also use subscription_id, resource_group and cluster_name without constructing resourceId.
attach_config = HDInsightCompute.attach_configuration(resource_id='<resource_id>',
ssh_port=22,
username=os.environ.get('hdiusername', '<ssh_username>'),
password=os.environ.get('hdipassword', '<my_password>'))
hdi_compute = ComputeTarget.attach(workspace=ws,
name='myhdi',
attach_configuration=attach_config)
except ComputeTargetException as e:
print("Caught = {}".format(e.message))
hdi_compute.wait_for_completion(show_output=True)
A amostra completa está disponível em https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/training/train-in-spark/train-in-spark.ipynb
Métodos
| attach |
PRETERIDO. Use o Associe um recurso HDI existente ao espaço de trabalho fornecido. |
| attach_configuration |
Crie um objeto de configuração para anexar um destino de computação do HDInsight. Não há mais suporte para anexar um cluster HDInsight usando o endereço público do cluster HDInsight. Em vez disso, use resourceId do cluster HDInsight. O resourceId do Cluster HDInsight pode ser construído usando o seguinte formato de cadeia de caracteres: "/subscriptions/<subscription_id>/resourceGroups/<resource_group>/ providers/Microsoft.HDInsight/clusters/<cluster_name>". Você também pode usar subscription_id, resource_group e cluster_name sem construir resourceId. Para mais informações: https://aka.ms/azureml-compute-hdi |
| delete |
Não há suporte para Delete para o objeto HDInsightCompute. Utilize detach em substituição. |
| deserialize |
Converter um objeto JSON em um objeto HDInsightCompute. |
| detach |
Desanexa o objeto HDInsightCompute de seu espaço de trabalho associado. Os objetos de nuvem subjacentes não são excluídos, apenas a associação é removida. |
| get_credentials |
Recupere as credenciais para o destino HDInsightCompute. |
| refresh_state |
Execute uma atualização in-loco das propriedades do objeto. Este método atualiza as propriedades com base no estado atual do objeto de nuvem correspondente. Isso é usado principalmente para sondagem manual do estado de computação. |
| serialize |
Converta este objeto HDInsightCompute em um dicionário serializado JSON. |
attach
PRETERIDO. Use o attach_configuration método em vez disso.
Associe um recurso HDI existente ao espaço de trabalho fornecido.
static attach(workspace, name, username, address, ssh_port='22', password='', private_key_file='', private_key_passphrase='')
Parâmetros
| Name | Description |
|---|---|
|
workspace
Necessário
|
O objeto de espaço de trabalho ao qual associar o recurso de computação. |
|
name
Necessário
|
O nome a ser associado ao recurso de computação dentro do espaço de trabalho fornecido. Não precisa corresponder ao nome do recurso de computação a ser anexado. |
|
username
Necessário
|
O nome de usuário necessário para acessar o recurso. |
|
address
Necessário
|
O endereço do recurso a anexar. |
|
ssh_port
|
A porta exposta para o recurso. O padrão é 22. Default value: 22
|
|
password
Necessário
|
A senha necessária para acessar o recurso. |
|
private_key_file
Necessário
|
O caminho para um arquivo que contém a chave privada para o recurso. |
|
private_key_passphrase
Necessário
|
A frase-chave privada necessária para acessar o recurso. |
Devoluções
| Tipo | Description |
|---|---|
|
Uma representação do objeto HDInsightCompute do objeto de computação. |
Exceções
| Tipo | Description |
|---|---|
attach_configuration
Crie um objeto de configuração para anexar um destino de computação do HDInsight.
Não há mais suporte para anexar um cluster HDInsight usando o endereço público do cluster HDInsight. Em vez disso, use resourceId do cluster HDInsight. O resourceId do Cluster HDInsight pode ser construído usando o seguinte formato de cadeia de caracteres: "/subscriptions/<subscription_id>/resourceGroups/<resource_group>/ providers/Microsoft.HDInsight/clusters/<cluster_name>".
Você também pode usar subscription_id, resource_group e cluster_name sem construir resourceId. Para mais informações: https://aka.ms/azureml-compute-hdi
static attach_configuration(username, subscription_id=None, resource_group=None, cluster_name=None, resource_id=None, address=None, ssh_port='22', password='', private_key_file='', private_key_passphrase='')
Parâmetros
| Name | Description |
|---|---|
|
username
Necessário
|
O nome de usuário necessário para acessar o recurso. |
|
subscription_id
|
A ID de assinatura do Azure Default value: None
|
|
resource_group
|
Nome do grupo de recursos no qual o cluster HDI está localizado. Default value: None
|
|
cluster_name
|
O nome do cluster HDI Default value: None
|
|
resource_id
|
A ID de recurso do Azure Resource Manager (ARM) para o recurso a ser anexado. Default value: None
|
|
address
|
O endereço do recurso a ser anexado. Default value: None
|
|
ssh_port
|
A porta exposta para o recurso. O padrão é 22. Default value: 22
|
|
password
Necessário
|
A senha necessária para acessar o recurso. |
|
private_key_file
Necessário
|
O caminho para um arquivo que contém a chave privada para o recurso. |
|
private_key_passphrase
Necessário
|
A frase-chave privada necessária para acessar o recurso. |
Devoluções
| Tipo | Description |
|---|---|
|
Um objeto de configuração a ser usado ao anexar um objeto Compute. |
delete
Não há suporte para Delete para o objeto HDInsightCompute. Utilize detach em substituição.
delete()
Exceções
| Tipo | Description |
|---|---|
deserialize
Converter um objeto JSON em um objeto HDInsightCompute.
static deserialize(workspace, object_dict)
Parâmetros
| Name | Description |
|---|---|
|
workspace
Necessário
|
O objeto de espaço de trabalho ao qual o objeto HDInsightCompute está associado. |
|
object_dict
Necessário
|
Um objeto JSON para converter em um objeto HDInsightCompute. |
Devoluções
| Tipo | Description |
|---|---|
|
A representação HDInsightCompute do objeto JSON fornecido. |
Exceções
| Tipo | Description |
|---|---|
Observações
Gera um ComputeTargetException se o espaço de trabalho fornecido não for o espaço de trabalho ao qual a computação está associada.
detach
Desanexa o objeto HDInsightCompute de seu espaço de trabalho associado.
Os objetos de nuvem subjacentes não são excluídos, apenas a associação é removida.
detach()
Exceções
| Tipo | Description |
|---|---|
get_credentials
Recupere as credenciais para o destino HDInsightCompute.
get_credentials()
Devoluções
| Tipo | Description |
|---|---|
|
As credenciais para o destino HDInsightCompute |
Exceções
| Tipo | Description |
|---|---|
refresh_state
Execute uma atualização in-loco das propriedades do objeto.
Este método atualiza as propriedades com base no estado atual do objeto de nuvem correspondente. Isso é usado principalmente para sondagem manual do estado de computação.
refresh_state()
serialize
Converta este objeto HDInsightCompute em um dicionário serializado JSON.
serialize()
Devoluções
| Tipo | Description |
|---|---|
|
A representação JSON deste objeto HDICompute. |