data Pacote
Contém módulos que dão suporte à representação de dados para Datastore e Conjunto de Dados no Azure Machine Learning.
Esse pacote contém suporte Datastore à funcionalidade principal e Dataset classes no core pacote. Os objetos de armazenamento de dados contêm informações de conexão para os serviços de armazenamento do Azure que podem ser facilmente referenciados por nome sem a necessidade de trabalhar diretamente com ou informações de conexão de código rígido em scripts. O Datastore dá suporte a vários serviços diferentes representados por classes neste pacote, incluindo AzureBlobDatastore, AzureFileDatastoree AzureDataLakeDatastore. Para obter uma lista completa dos serviços de armazenamento com suporte, consulte a Datastore classe.
Embora um Armazenamento de Dados atue como um contêiner para seus arquivos de dados, você pode pensar em um conjunto de dados como uma referência ou ponteiro para dados específicos que estão em seu armazenamento de dados. Há suporte para os seguintes tipos de conjuntos de dados:
TabularDataset representa dados em um formato tabular criado analisando o arquivo fornecido ou a lista de arquivos.
FileDataset faz referência a arquivos únicos ou múltiplos em seus armazenamentos de dados ou URLs públicas.
Para obter mais informações, consulte o artigo Adicionar ®istrar conjuntos de dados. Para começar a trabalhar com conjuntos de dados, consulte https://aka.ms/tabulardataset-samplenotebook e https://aka.ms/filedataset-samplenotebook.
Módulos
| abstract_dataset |
Contém a classe base abstrata para conjuntos de dados no Azure Machine Learning. |
| abstract_datastore |
Contém a funcionalidade base para armazenamentos de dados que salvam informações de conexão nos serviços de armazenamento do Azure. |
| azure_data_lake_datastore |
Contém a funcionalidade base para armazenamentos de dados que salvam informações de conexão no Azure Data Lake Storage. |
| azure_my_sql_datastore |
Contém a funcionalidade base para armazenamentos de dados que salvam informações de conexão no Banco de Dados do Azure para MySQL. |
| azure_postgre_sql_datastore |
Contém a funcionalidade base para armazenamentos de dados que salvam informações de conexão no Banco de Dados do Azure para PostgreSQL. |
| azure_sql_database_datastore |
Contém a funcionalidade base para armazenamentos de dados que salvam informações de conexão no banco de dados SQL do Azure. |
| azure_storage_datastore |
Contém funcionalidade para armazenamentos de dados que salvam informações de conexão no Blob do Azure e no Armazenamento de Arquivos do Azure. |
| constants |
Constantes usadas no pacote azureml.data. Somente para uso interno. |
| context_managers |
Contém funcionalidade para gerenciar o contexto de dados de armazenamentos de dados e conjuntos de dados. Somente para uso interno. |
| data_reference |
Contém a funcionalidade que define como criar referências a dados em armazenamentos de dados. |
| datacache |
Contém a funcionalidade para gerenciar o DatacacheStore e o Datacache no Azure Machine Learning. |
| datacache_client |
Somente para uso interno. |
| datacache_consumption_config |
Contém a funcionalidade para a configuração de consumo do DataCache. |
| datacache_singularity_settings |
Contém objetos necessários para a representação de configurações do Datacache Singularity. |
| datapath |
Contém a funcionalidade para criar referências a dados em armazenamentos de dados. Este módulo contém a DataPath classe, que representa o local dos dados e a DataPathComputeBinding classe, que representa como os dados são disponibilizados nos destinos de computação. |
| dataset_action_run |
Contém a funcionalidade que gerencia a execução de ações do conjunto de dados. Este módulo fornece métodos de conveniência para criar ações de conjunto de dados e obter seus resultados após a conclusão. |
| dataset_consumption_config |
Contém a funcionalidade para a configuração de consumo do conjunto de dados. |
| dataset_definition |
Contém funcionalidade para gerenciar a definição do conjunto de dados e suas operações. Observação Este módulo foi preterido. Para obter mais informações, consulte https://aka.ms/dataset-deprecation. |
| dataset_error_handling |
Contém exceções para tratamento de erros de conjunto de dados no Azure Machine Learning. |
| dataset_factory |
Contém a funcionalidade para criar conjuntos de dados para o Azure Machine Learning. |
| dataset_profile |
Classe para coletar estatísticas resumidas sobre os dados produzidos por um fluxo de dados. A funcionalidade neste módulo inclui coletar informações sobre qual execução produziu o perfil, quer o perfil esteja obsoleto ou não. |
| dataset_profile_run |
Contém a configuração para monitorar a execução do perfil do conjunto de dados no Azure Machine Learning. A funcionalidade neste módulo inclui a execução do perfil de conjunto de dados de tratamento e monitoramento associado a um objeto de experimento e id de execução individual. |
| dataset_profile_run_config |
Contém a configuração para gerar resumo de estatísticas de conjuntos de dados no Azure Machine Learning. A funcionalidade neste módulo inclui métodos para enviar a execução de perfil local ou remoto e visualizar o resultado da execução do perfil enviado. |
| dataset_snapshot |
Contém a funcionalidade para gerenciar operações de instantâneo do conjunto de dados. Observação Este módulo foi preterido. Para obter mais informações, consulte https://aka.ms/dataset-deprecation. |
| dataset_type_definitions |
Contém valores de enumeração usados com Dataset. |
| datastore_client |
Somente para uso interno. |
| dbfs_datastore |
Contém funcionalidade para armazenamentos de dados que salvam informações de conexão no DBFS (Databricks File Sytem). |
| file_dataset |
Contém funcionalidade para referenciar arquivos únicos ou múltiplos em armazenamentos de dados ou URLs públicas. Para obter mais informações, consulte o artigo Adicionar ®istrar conjuntos de dados. Para começar a trabalhar com um conjunto de dados de arquivo, consulte https://aka.ms/filedataset-samplenotebook. |
| hdfs_datastore |
Contém a funcionalidade base para armazenamentos de dados que salvam informações de conexão em um cluster HDFS. |
| output_dataset_config |
Contém configurações que especificam como as saídas de um trabalho devem ser carregadas e promovidas para um conjunto de dados. Para obter mais informações, consulte o artigo como especificar saídas. |
| sql_data_reference |
Contém a funcionalidade para criar referências a dados em armazenamentos de dados que salvam informações de conexão em bancos de dados SQL. |
| stored_procedure_parameter |
Contém a funcionalidade para criar um parâmetro a ser passado para um procedimento armazenado do SQL. |
| tabular_dataset |
Contém a funcionalidade para representar dados em um formato tabular analisando o arquivo fornecido ou a lista de arquivos. Para obter mais informações, consulte o artigo Adicionar ®istrar conjuntos de dados. Para começar a trabalhar com um conjunto de dados tabular, consulte https://aka.ms/tabulardataset-samplenotebook. |
Classes
| DataType |
Configura tipos de dados de coluna para um conjunto de dados criado no Azure Machine Learning. Os métodos DataType são usados nos TabularDatasetFactory métodos de classe |
| DatacacheStore |
Observação Esta é uma classe experimental e pode mudar a qualquer momento. Consulte https://aka.ms/azuremlexperimental para obter mais informações. Representa uma abstração de armazenamento em uma conta de armazenamento do Azure Machine Learning. Os DatacacheStores são anexados a workspaces e são usados para armazenar informações relacionadas à solução de datacache subjacente. Atualmente, há suporte apenas para a solução de blob particionado. Os repositórios de dados definem vários armazenamentos de dados de Blob que podem ser usados para cache. Use essa classe para executar operações de gerenciamento, incluindo registrar, listar, obter e atualizar armazenamentos de dados.
DatacacheStores para cada serviço são criados com os Obtenha um armazenamento de dados pelo nome. Essa chamada fará uma solicitação para o serviço datacache. |
| FileDataset |
Representa uma coleção de referências de arquivo em armazenamentos de dados ou URLs públicas a serem usadas no Azure Machine Learning. Um FileDataset define uma série de operações imutáveis avaliadas de modo preguiçoso para carregar dados da fonte de dados em fluxos de arquivos. Os dados não são carregados da origem até que FileDataset seja solicitado a fornecer dados. Um FileDataset é criado usando o from_files método da classe FileDatasetFactory. Para obter mais informações, consulte o artigo Adicionar ®istrar conjuntos de dados. Para começar a trabalhar com um conjunto de dados de arquivo, consulte https://aka.ms/filedataset-samplenotebook. Inicialize o objeto FileDataset. Este construtor não deve ser invocado diretamente. O conjunto de dados destina-se a ser criado usando FileDatasetFactory a classe. |
| HDFSOutputDatasetConfig |
Represente como gerar para um caminho HDFS e ser promovido como um FileDataset. Inicialize um HDFSOutputDatasetConfig. |
| LinkFileOutputDatasetConfig |
Observação Esta é uma classe experimental e pode mudar a qualquer momento. Consulte https://aka.ms/azuremlexperimental para obter mais informações. Represente como vincular a saída de uma execução e ser promovido como um FileDataset. O LinkFileOutputDatasetConfig permite vincular um conjunto de dados de arquivo como conjunto de dados de saída
Inicialize um LinkFileOutputDatasetConfig. |
| LinkTabularOutputDatasetConfig |
Observação Esta é uma classe experimental e pode mudar a qualquer momento. Consulte https://aka.ms/azuremlexperimental para obter mais informações. Represente como vincular a saída de uma execução e ser promovido como um TabularDataset. O LinkTabularOutputDatasetConfig permite vincular um arquivo tabular como conjunto de dados de saída
Inicialize um LinkTabularOutputDatasetConfig. |
| OutputFileDatasetConfig |
Represente como copiar a saída de uma execução e ser promovido como um FileDataset. O OutputFileDatasetConfig permite que você especifique como deseja que um caminho local específico no destino de computação seja carregado para o destino especificado. Se nenhum argumento for passado para o construtor, geraremos automaticamente um nome, um destino e um caminho local. Um exemplo de não passar argumentos:
Um exemplo de como criar uma saída e, em seguida, promover a saída para um conjunto de dados tabular e registrá-la com o nome foo:
Inicialize um OutputFileDatasetConfig. O OutputFileDatasetConfig permite que você especifique como deseja que um caminho local específico no destino de computação seja carregado para o destino especificado. Se nenhum argumento for passado para o construtor, geraremos automaticamente um nome, um destino e um caminho local. Um exemplo de não passar argumentos:
Um exemplo de como criar uma saída e, em seguida, promover a saída para um conjunto de dados tabular e registrá-la com o nome foo:
|
| TabularDataset |
Representa um conjunto de dados tabular a ser usado no Azure Machine Learning. Um TabularDataset define uma série de operações imutáveis avaliadas de modo preguiçoso para carregar dados da fonte de dados em representação tabular. Os dados não são carregados da origem até que TabularDataset seja solicitado a entregar dados. TabularDataset é criado usando métodos como from_delimited_files a TabularDatasetFactory da classe. Para obter mais informações, consulte o artigo Adicionar ®istrar conjuntos de dados. Para começar a trabalhar com um conjunto de dados tabular, consulte https://aka.ms/tabulardataset-samplenotebook. Inicializar um objeto TabularDataset. Este construtor não deve ser invocado diretamente. O conjunto de dados destina-se a ser criado usando TabularDatasetFactory a classe. |