DataReference Classe
Representa uma referência a dados em um armazenamento de dados.
Um DataReference representa um caminho em um armazenamento de dados e pode ser usado para descrever como e onde os dados devem ser disponibilizados em uma execução. Não é mais a abordagem recomendada para acesso e entrega de dados no Azure Machine Learning. O conjunto de dados dá suporte ao acesso a dados do armazenamento de Blob do Azure, Arquivos do Azure, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Banco de Dados SQL do Azure e Banco de Dados do Azure para PostgreSQL por meio de uma interface unificada com recursos de gerenciamento de dados adicionados. É recomendável usar o conjunto de dados para ler dados em seus projetos de aprendizado de máquina.
Para obter mais informações sobre como usar o conjunto de dados do Azure ML em dois cenários comuns, consulte os artigos:
Construtor Class DataReference.
Construtor
DataReference(datastore, data_reference_name=None, path_on_datastore=None, mode='mount', path_on_compute=None, overwrite=False)Parâmetros
| Name | Description |
|---|---|
|
datastore
Necessário
|
O armazenamento de dados a ser referenciado. |
|
data_reference_name
|
O nome da referência de dados. Default value: None
|
|
path_on_datastore
|
O caminho relativo no armazenamento de backup para a referência de dados. Default value: None
|
|
mode
|
A operação na referência de dados. Os valores suportados são 'mount' (o padrão) e 'download'. Use o modo 'download' quando o script espera um caminho específico (por exemplo, codificado) para os dados de entrada.
Nesse caso, especifique o caminho com o Com o modo 'mount', um diretório temporário é criado com os dados montados e uma variável de ambiente $AZUREML_DATAREFERENCE_<data_reference_name> é definida com o caminho para o diretório temporário. Se você passar um DataReference para a lista de argumentos para uma etapa de pipeline (por exemplo, PythonScriptStep), a referência será expandida para o caminho de dados local em tempo de execução. Default value: mount
|
|
path_on_compute
|
O caminho no destino de computação para a referência de dados. Default value: None
|
|
overwrite
|
Indica se os dados existentes devem ser substituídos. Default value: False
|
|
datastore
Necessário
|
O armazenamento de dados a ser referenciado. |
|
data_reference_name
Necessário
|
O nome da referência de dados. |
|
path_on_datastore
Necessário
|
O caminho relativo no armazenamento de backup para a referência de dados. |
|
mode
Necessário
|
A operação na referência de dados. Valores suportados 'mount' (o padrão) e 'download'. Use o modo 'download' quando o script espera um caminho específico (por exemplo, codificado) para os dados de entrada.
Nesse caso, especifique o caminho com o Com o modo 'mount', um diretório temporário é criado com os dados montados e uma variável de ambiente $AZUREML_DATAREFERENCE_<data_reference_name> é definida com o caminho para o diretório temporário. Se você passar um DataReference para a lista de argumentos para uma etapa de pipeline (por exemplo, PythonScriptStep), a referência será expandida para o caminho de dados local em tempo de execução. |
|
path_on_compute
Necessário
|
O caminho no destino de computação para a referência de dados. |
|
overwrite
Necessário
|
Indica se os dados existentes devem ser substituídos. |
Observações
Um DataReference define o local dos dados e como os dados são usados na ligação de computação de destino (montagem ou upload). O caminho para os dados no armazenamento de dados pode ser a raiz /, um diretório dentro do armazenamento de dados ou um arquivo no armazenamento de dados.
Métodos
| as_download |
Alternar a operação de referência de dados para download. O download do DataReference dá suporte apenas ao Blob do Azure e ao Compartilhamento de Arquivos do Azure. Para baixar dados do Blob do Azure, do Compartilhamento de Arquivos do Azure, do Azure Data Lake Gen1 e do Azure Data Lake Gen2, recomendamos o uso do Conjunto de Dados do Azure Machine Learning. Para obter mais informações sobre como criar e usar o conjunto de dados, visite https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets. |
| as_mount |
Operação de referência de dados do switch para montagem. A montagem DataReference suporta apenas o Blob do Azure. Para montar dados no Blob do Azure, no Compartilhamento de Arquivos do Azure, no Azure Data Lake Gen1 e no Azure Data Lake Gen2, recomendamos o uso do Conjunto de Dados do Azure Machine Learning. Para obter mais informações sobre como criar e usar o conjunto de dados, visite https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets. |
| as_upload |
Alternar a operação de referência de dados para carregar. Para obter mais informações sobre quais cálculos e armazenamentos de dados suportam o carregamento dos dados, consulte: https://aka.ms/datastore-matrix. |
| create |
Crie um DataReference usando DataPath e DataPathComputeBinding. |
| path |
Crie uma instância DataReference com base no caminho fornecido. |
| to_config |
Converta o objeto DataReference em objeto DataReferenceConfiguration. |
as_download
Alternar a operação de referência de dados para download.
O download do DataReference dá suporte apenas ao Blob do Azure e ao Compartilhamento de Arquivos do Azure. Para baixar dados do Blob do Azure, do Compartilhamento de Arquivos do Azure, do Azure Data Lake Gen1 e do Azure Data Lake Gen2, recomendamos o uso do Conjunto de Dados do Azure Machine Learning. Para obter mais informações sobre como criar e usar o conjunto de dados, visite https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.
as_download(path_on_compute=None, overwrite=False)Parâmetros
| Name | Description |
|---|---|
|
path_on_compute
|
O caminho no cálculo para a referência de dados. Default value: None
|
|
overwrite
|
Indica se os dados existentes devem ser substituídos. Default value: False
|
Devoluções
| Tipo | Description |
|---|---|
|
Um novo objeto de referência de dados. |
as_mount
Operação de referência de dados do switch para montagem.
A montagem DataReference suporta apenas o Blob do Azure. Para montar dados no Blob do Azure, no Compartilhamento de Arquivos do Azure, no Azure Data Lake Gen1 e no Azure Data Lake Gen2, recomendamos o uso do Conjunto de Dados do Azure Machine Learning. Para obter mais informações sobre como criar e usar o conjunto de dados, visite https://docs.microsoft.com/en-us/azure/machine-learning/how-to-train-with-datasets.
as_mount()Devoluções
| Tipo | Description |
|---|---|
|
Um novo objeto de referência de dados. |
as_upload
Alternar a operação de referência de dados para carregar.
Para obter mais informações sobre quais cálculos e armazenamentos de dados suportam o carregamento dos dados, consulte: https://aka.ms/datastore-matrix.
as_upload(path_on_compute=None, overwrite=False)Parâmetros
| Name | Description |
|---|---|
|
path_on_compute
|
O caminho no cálculo para a referência de dados. Default value: None
|
|
overwrite
|
Indica se os dados existentes devem ser substituídos. Default value: False
|
Devoluções
| Tipo | Description |
|---|---|
|
Um novo objeto de referência de dados. |
create
Crie um DataReference usando DataPath e DataPathComputeBinding.
static create(data_reference_name=None, datapath=None, datapath_compute_binding=None)Parâmetros
| Name | Description |
|---|---|
|
data_reference_name
|
O nome da referência de dados a ser criada. Default value: None
|
|
datapath
|
[Obrigatório] O caminho de dados a ser usado. Default value: None
|
|
datapath_compute_binding
|
[Obrigatório] A ligação de computação do caminho de dados a ser usada. Default value: None
|
Devoluções
| Tipo | Description |
|---|---|
|
Um objeto DataReference. |
path
Crie uma instância DataReference com base no caminho fornecido.
path(path=None, data_reference_name=None)Parâmetros
| Name | Description |
|---|---|
|
path
|
O caminho no armazenamento de dados. Default value: None
|
|
data_reference_name
|
O nome da referência de dados. Default value: None
|
Devoluções
| Tipo | Description |
|---|---|
|
O objeto de referência de dados. |
to_config
Converta o objeto DataReference em objeto DataReferenceConfiguration.
to_config()Devoluções
| Tipo | Description |
|---|---|
|
Um novo objeto DataReferenceConfiguration. |