DataReference Classe
Representa uma referência aos dados em um armazenamento de dados.
Um DataReference representa um caminho em um armazenamento de dados e pode ser usado para descrever como e onde os dados devem ser disponibilizados em uma execução. Não é mais a abordagem recomendada para acesso e entrega de dados no Azure Machine Learning. O conjunto de dados dá suporte ao acesso a dados do Armazenamento de Blobs do Azure, dos Arquivos do Azure, do Azure Data Lake Storage Gen1, do Azure Data Lake Storage Gen2, do Banco de Dados SQL do Azure e do Banco de Dados do Azure para PostgreSQL por meio de uma interface unificada com recursos de gerenciamento de dados adicionados. É recomendável usar o conjunto de dados para ler dados em seus projetos de machine learning.
Para obter mais informações sobre como usar o conjunto de dados do Azure ML em dois cenários comuns, consulte os artigos:
Construtor DataReference de classe.
Construtor
DataReference(datastore, data_reference_name=None, path_on_datastore=None, mode='mount', path_on_compute=None, overwrite=False)Parâmetros
| Nome | Description |
|---|---|
|
datastore
Obrigatório
|
O armazenamento de dados para referenciar. |
|
data_reference_name
|
O nome da referência de dados. Valor padrão: None
|
|
path_on_datastore
|
O caminho relativo no armazenamento de suporte para referência de dados. Valor padrão: None
|
|
mode
|
A operação na referência de dados. Os valores com suporte são 'mount' (o padrão) e 'download'. Use o modo 'download' quando o script espera um caminho específico (por exemplo, codificado em código) para os dados de entrada.
Nesse caso, especifique o caminho com o Com o modo 'mount', um diretório temporário é criado com os dados montados e uma variável de ambiente $AZUREML_DATAREFERENCE_<data_reference_name> é definida com o caminho para o diretório temporário. Se você passar um DataReference para a lista de argumentos para uma etapa de pipeline (por exemplo, PythonScriptStep), a referência será expandida para o caminho de dados local em runtime. Valor padrão: mount
|
|
path_on_compute
|
O caminho no destino de computação para a referência de dados. Valor padrão: None
|
|
overwrite
|
Indica se os dados existentes devem ser substituídos. Valor padrão: False
|
|
datastore
Obrigatório
|
O armazenamento de dados para referenciar. |
|
data_reference_name
Obrigatório
|
O nome da referência de dados. |
|
path_on_datastore
Obrigatório
|
O caminho relativo no armazenamento de suporte para referência de dados. |
|
mode
Obrigatório
|
A operação na referência de dados. Valores com suporte 'mount' (o padrão) e 'download'. Use o modo 'download' quando o script espera um caminho específico (por exemplo, codificado em código) para os dados de entrada.
Nesse caso, especifique o caminho com o Com o modo 'mount', um diretório temporário é criado com os dados montados e uma variável de ambiente $AZUREML_DATAREFERENCE_<data_reference_name> é definida com o caminho para o diretório temporário. Se você passar um DataReference para a lista de argumentos para uma etapa de pipeline (por exemplo, PythonScriptStep), a referência será expandida para o caminho de dados local em runtime. |
|
path_on_compute
Obrigatório
|
O caminho no destino de computação para a referência de dados. |
|
overwrite
Obrigatório
|
Indica se os dados existentes devem ser substituídos. |
Comentários
Um DataReference define o local dos dados e como os dados são usados na associação de computação de destino (montagem ou upload). O caminho para os dados no armazenamento de dados pode ser a raiz /, um diretório dentro do armazenamento de dados ou um arquivo no armazenamento de dados.
Métodos
| as_download |
Alterne a operação de referência de dados para baixar. O download do DataReference dá suporte apenas ao Blob do Azure e ao Compartilhamento de Arquivos do Azure. Para baixar dados do Blob do Azure, do Compartilhamento de Arquivos do Azure, do Azure Data Lake Gen1 e do Azure Data Lake Gen2, recomendamos usar o Conjunto de Dados do Azure Machine Learning. Para obter mais informações sobre como criar e usar o conjunto de dados, visite https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets. |
| as_mount |
Alterne a operação de referência de dados para montar. A montagem dataReference só dá suporte ao Blob do Azure. Para montar dados no Blob do Azure, no Compartilhamento de Arquivos do Azure, no Azure Data Lake Gen1 e no Azure Data Lake Gen2, recomendamos usar o Conjunto de Dados do Azure Machine Learning. Para obter mais informações sobre como criar e usar o conjunto de dados, visite https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets. |
| as_upload |
Alterne a operação de referência de dados para carregar. Para obter mais informações sobre quais computações e armazenamentos de dados dão suporte ao carregamento dos dados, consulte: https://aka.ms/datastore-matrix. |
| create |
Crie um DataReference usando DataPath e DataPathComputeBinding. |
| path |
Crie uma instância dataReference com base no caminho fornecido. |
| to_config |
Converta o objeto DataReference em objeto DataReferenceConfiguration. |
as_download
Alterne a operação de referência de dados para baixar.
O download do DataReference dá suporte apenas ao Blob do Azure e ao Compartilhamento de Arquivos do Azure. Para baixar dados do Blob do Azure, do Compartilhamento de Arquivos do Azure, do Azure Data Lake Gen1 e do Azure Data Lake Gen2, recomendamos usar o Conjunto de Dados do Azure Machine Learning. Para obter mais informações sobre como criar e usar o conjunto de dados, visite https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.
as_download(path_on_compute=None, overwrite=False)Parâmetros
| Nome | Description |
|---|---|
|
path_on_compute
|
O caminho na computação para a referência de dados. Valor padrão: None
|
|
overwrite
|
Indica se os dados existentes devem ser substituídos. Valor padrão: False
|
Retornos
| Tipo | Description |
|---|---|
|
Um novo objeto de referência de dados. |
as_mount
Alterne a operação de referência de dados para montar.
A montagem dataReference só dá suporte ao Blob do Azure. Para montar dados no Blob do Azure, no Compartilhamento de Arquivos do Azure, no Azure Data Lake Gen1 e no Azure Data Lake Gen2, recomendamos usar o Conjunto de Dados do Azure Machine Learning. Para obter mais informações sobre como criar e usar o conjunto de dados, visite https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.
as_mount()Retornos
| Tipo | Description |
|---|---|
|
Um novo objeto de referência de dados. |
as_upload
Alterne a operação de referência de dados para carregar.
Para obter mais informações sobre quais computações e armazenamentos de dados dão suporte ao carregamento dos dados, consulte: https://aka.ms/datastore-matrix.
as_upload(path_on_compute=None, overwrite=False)Parâmetros
| Nome | Description |
|---|---|
|
path_on_compute
|
O caminho na computação para a referência de dados. Valor padrão: None
|
|
overwrite
|
Indica se os dados existentes devem ser substituídos. Valor padrão: False
|
Retornos
| Tipo | Description |
|---|---|
|
Um novo objeto de referência de dados. |
create
Crie um DataReference usando DataPath e DataPathComputeBinding.
static create(data_reference_name=None, datapath=None, datapath_compute_binding=None)Parâmetros
| Nome | Description |
|---|---|
|
data_reference_name
|
O nome da referência de dados a ser criada. Valor padrão: None
|
|
datapath
|
[Obrigatório] O datapath a ser usado. Valor padrão: None
|
|
datapath_compute_binding
|
[Obrigatório] A associação de computação de datapath a ser usada. Valor padrão: None
|
Retornos
| Tipo | Description |
|---|---|
|
Um objeto DataReference. |
path
Crie uma instância dataReference com base no caminho fornecido.
path(path=None, data_reference_name=None)Parâmetros
| Nome | Description |
|---|---|
|
path
|
O caminho no armazenamento de dados. Valor padrão: None
|
|
data_reference_name
|
O nome da referência de dados. Valor padrão: None
|
Retornos
| Tipo | Description |
|---|---|
|
O objeto de referência de dados. |
to_config
Converta o objeto DataReference em objeto DataReferenceConfiguration.
to_config()Retornos
| Tipo | Description |
|---|---|
|
Um novo objeto DataReferenceConfiguration. |