Dataset Classe

Arquive um conjunto de dados ativo ou preterido.

archive()

Retornos

Comentários

Após o arquivamento, qualquer tentativa de consumir o conjunto de dados resultará em um erro. Se arquivado por acidente, a reativação o ativará.

Analisa os arquivos no caminho especificado e retorna um novo conjunto de dados.

static auto_read_files(path, include_path=False, partition_format=None)

Parâmetros

Retornos

Comentários

Use esse método quando os formatos de arquivo e delimitadores forem detectados automaticamente.

Depois de criar um conjunto de dados, você deve usar get_profile para listar tipos de coluna detectados e estatísticas de resumo para cada coluna.

O conjunto de dados retornado não está registrado no workspace.

Compare o perfil do conjunto de dados atual com outro perfil de conjunto de dados.

Isso mostra as diferenças nas estatísticas resumidas entre dois conjuntos de dados. O parâmetro 'rhs_dataset' significa "lado direito" e é simplesmente o segundo conjunto de dados. O primeiro conjunto de dados (o objeto de conjunto de dados atual) é considerado o "lado esquerdo".

compare_profiles(rhs_dataset, profile_arguments={}, include_columns=None, exclude_columns=None, histogram_compare_method=HistogramCompareMethod.WASSERSTEIN)

Parâmetros

Retornos

Comentários

Isso é somente para conjuntos de dados registrados. Gerará uma exceção se o perfil do conjunto de dados atual não existir. Para conjuntos de dados não registrados, use o método profile.compare.

Crie um instantâneo do conjunto de dados registrado.

create_snapshot(snapshot_name, compute_target=None, create_data_snapshot=False, target_datastore=None)

Parâmetros

Retornos

Comentários

Instantâneos capturam estatísticas de resumo pontual dos dados subjacentes e uma cópia opcional dos dados em si. Para saber mais sobre como criar instantâneos, acesse https://aka.ms/azureml/howto/createsnapshots.

Exclua o instantâneo do conjunto de dados pelo nome.

delete_snapshot(snapshot_name)

Parâmetros

Retornos

Comentários

Use isso para liberar o armazenamento consumido pelos dados salvos em instantâneos que você não precisa mais.

Preterir um conjunto de dados ativo em um workspace por outro conjunto de dados.

deprecate(deprecate_by_dataset_id)

Parâmetros

Retornos

Comentários

Os conjuntos de dados preteridos registrarão avisos quando forem consumidos. A substituição de um conjunto de dados preteri todas as suas definições.

Conjuntos de dados preteridos ainda podem ser consumidos. Para impedir completamente que um conjunto de dados seja consumido, arquive-o.

Se for preterido por acidente, a reativação o ativará.

Difame o conjunto de dados atual com rhs_dataset.

diff(rhs_dataset, compute_target=None, columns=None)

Parâmetros

Retornos

Crie um conjunto de dados não registrado na memória a partir de arquivos binários.

static from_binary_files(path)

Parâmetros

Retornos

Comentários

Use esse método para ler arquivos como fluxos de dados binários. Retorna um objeto de fluxo de arquivo por leitura de arquivo. Use esse método ao ler imagens, vídeos, áudio ou outros dados binários.

get_profile e create_snapshot não funcionará conforme o esperado para um conjunto de dados criado por esse método.

O conjunto de dados retornado não está registrado no workspace.

Crie um conjunto de dados não registrado na memória com base em arquivos delimitados.

   # Create a dataset from delimited files with header option as ALL_FILES_HAVE_SAME_HEADERS
   dataset = Dataset.Tabular.from_delimited_files(path=(datastore, 'data/crime-spring.csv'),
       header='ALL_FILES_HAVE_SAME_HEADERS')

   df = dataset.to_pandas_dataframe()

static from_delimited_files(path, separator=',', header=PromoteHeadersBehavior.ALL_FILES_HAVE_SAME_HEADERS, encoding=FileEncoding.UTF8, quoting=False, infer_column_types=True, skip_rows=0, skip_mode=SkipLinesBehavior.NO_ROWS, comment=None, include_path=False, archive_options=None, partition_format=None)

Parâmetros

   archive_options = ArchiveOptions(archive_type = ArchiveType.ZIP, entry_glob = '*10-20.csv')

Retornos

Comentários

Use esse método para ler arquivos de texto delimitados quando quiser controlar as opções usadas.

Depois de criar um conjunto de dados, você deve usar get_profile para listar tipos de coluna detectados e estatísticas de resumo para cada coluna.

O conjunto de dados retornado não está registrado no workspace.

Crie um conjunto de dados não registrado na memória a partir de arquivos do Excel.

static from_excel_files(path, sheet_name=None, use_column_headers=False, skip_rows=0, include_path=False, infer_column_types=True, partition_format=None)

Parâmetros

Retornos

Comentários

Use este método para ler arquivos do Excel no formato .xlsx. Os dados podem ser lidos de uma planilha em cada arquivo do Excel. Depois de criar um conjunto de dados, você deve usar get_profile para listar tipos de coluna detectados e estatísticas de resumo para cada coluna. O conjunto de dados retornado não está registrado no workspace.

Crie um conjunto de dados não registrado na memória a partir de arquivos JSON.

static from_json_files(path, encoding=FileEncoding.UTF8, flatten_nested_arrays=False, include_path=False, partition_format=None)

Parâmetros

Retornos

Crie um conjunto de dados não registrado na memória a partir de um dataframe do Pandas.

static from_pandas_dataframe(dataframe, path=None, in_memory=False)

Parâmetros

Retornos

Comentários

Use esse método para converter um dataframe do Pandas em um objeto de conjunto de dados. Um conjunto de dados criado por esse método não pode ser registrado, pois os dados são da memória.

Se in_memory for False, o DataFrame do Pandas será convertido em um arquivo CSV localmente. Se pat for do tipo DataReference, o quadro Pandas será carregado no armazenamento de dados e o conjunto de dados será baseado na DataReference. Se 'path' for uma pasta local, o conjunto de dados será criado com base no arquivo local que não pode ser excluído.

Gerará uma exceção se o DataReference atual não for um caminho de pasta.

Crie um conjunto de dados não registrado na memória a partir de arquivos parquet.

static from_parquet_files(path, include_path=False, partition_format=None)

Parâmetros

Retornos

Comentários

Use este método para ler arquivos Parquet.

Depois de criar um conjunto de dados, você deve usar get_profile para listar tipos de coluna detectados e estatísticas de resumo para cada coluna.

O conjunto de dados retornado não está registrado no workspace.

Crie um conjunto de dados não registrado na memória a partir de uma consulta SQL.

static from_sql_query(data_source, query)

Parâmetros

Retornos

Gere um novo perfil para o conjunto de dados.

generate_profile(compute_target=None, workspace=None, arguments=None)

Parâmetros

Retornos

Comentários

A chamada síncrona será bloqueada até que ela seja concluída. Chame get_result para obter o resultado da ação.

Obtenha um conjunto de dados que já existe no workspace especificando seu nome ou ID.

static get(workspace, name=None, id=None)

Parâmetros

Retornos

Comentários

Você pode fornecer um name ou id. Uma exceção será gerada se:

• ambos name e id são especificados, mas não correspondem.

• o conjunto de dados com o especificado name ou id não pode ser encontrado no workspace.

Obtenha todos os conjuntos de dados registrados no workspace.

get_all()

Parâmetros

Retornos

Obtenha todos os instantâneos do conjunto de dados.

get_all_snapshots()

Retornos

Obtenha um conjunto de dados que é salvo no workspace.

get_by_id(id, **kwargs)

Parâmetros

Retornos

Obtenha um conjunto de dados registrado do workspace pelo nome de registro.

get_by_name(name, version='latest', **kwargs)

Parâmetros

Retornos

Obtenha uma definição específica do conjunto de dados.

get_definition(version_id=None)

Parâmetros

Retornos

Comentários

Se version_id for fornecido, o Azure Machine Learning tentará obter a definição correspondente a essa versão. Se essa versão não existir, uma exceção será gerada. Se version_id for omitido, a versão mais recente será recuperada.

Obtenha todas as definições do conjunto de dados.

get_definitions()

Retornos

Comentários

Um conjunto de dados registrado em um workspace do AzureML pode ter várias definições, cada uma criada chamando update_definition. Cada definição tem um identificador exclusivo. A definição atual é a mais recente criada.

Para conjuntos de dados não registrados, existe apenas uma definição.

Obtenha estatísticas resumidas sobre o conjunto de dados calculado anteriormente.

get_profile(arguments=None, generate_if_not_exist=True, workspace=None, compute_target=None)

Parâmetros

Retornos

Comentários

Para um conjunto de dados registrado com um workspace do Azure Machine Learning, esse método recupera um perfil existente que foi criado anteriormente chamando get_profile se ele ainda for válido. Os perfis são invalidados quando dados alterados são detectados no conjunto de dados ou os argumentos para get_profile serem diferentes dos usados quando o perfil foi gerado. Se o perfil não estiver presente ou invalidado, generate_if_not_exist determinará se um novo perfil é gerado.

Para um conjunto de dados que não está registrado em um workspace do Azure Machine Learning, esse método sempre executa generate_profile e retorna o resultado.

Obtenha um instantâneo do conjunto de dados pelo nome.

get_snapshot(snapshot_name)

Parâmetros

Retornos

Efetue pull do número especificado de registros especificados desse conjunto de dados e os retorna como um DataFrame.

head(count)

Parâmetros

Retornos

Liste todos os conjuntos de dados no workspace, incluindo os que têm is_visible propriedade igual a False.

static list(workspace)

Parâmetros

Retornos

Reativar um conjunto de dados arquivado ou preterido.

reactivate()

Retornos

Registre o conjunto de dados no workspace, disponibilizando-o para outros usuários do workspace.

register(workspace, name, description=None, tags=None, visible=True, exist_ok=False, update_if_exist=False)

Parâmetros

Retornos

Gere um novo exemplo do conjunto de dados de origem usando a estratégia de amostragem e os parâmetros fornecidos.

sample(sample_strategy, arguments)

Parâmetros

Retornos

Comentários

Os exemplos são gerados executando o pipeline de transformação definido por esse conjunto de dados e, em seguida, aplicando a estratégia de amostragem e os parâmetros aos dados de saída. Cada método de amostragem dá suporte aos seguintes argumentos opcionais:

• top_n

  • Argumentos opcionais

    • n, digite inteiro. Selecione as linhas N superiores como sua amostra.

• simple_random

  • Argumentos opcionais

    • probabilidade, tipo float. Amostragem aleatória simples em que cada linha tem a mesma probabilidade de ser selecionada. A probabilidade deve ser um número entre 0 e 1.

    • semente, tipo float. Usado pelo gerador de número aleatório. Use para repetibilidade.

• Estratificada

  • Argumentos opcionais

    • colunas, lista de tipos[str]. Lista de colunas de estratos nos dados.

    • semente, tipo float. Usado pelo gerador de número aleatório. Use para repetibilidade.

    • frações, tipo dict[tupla, float]. Tupla: os valores de coluna que definem um estrato devem estar na mesma ordem que os nomes de coluna. Float: peso anexado a um estrato durante a amostragem.

Os snippets de código a seguir são padrões de design de exemplo para diferentes métodos de exemplo.

   # sample_strategy "top_n"
   top_n_sample_dataset = dataset.sample('top_n', {'n': 5})

   # sample_strategy "simple_random"
   simple_random_sample_dataset = dataset.sample('simple_random', {'probability': 0.3, 'seed': 10.2})

   # sample_strategy "stratified"
   fractions = {}
   fractions[('THEFT',)] = 0.5
   fractions[('DECEPTIVE PRACTICE',)] = 0.2

   # take 50% of records with "Primary Type" as THEFT and 20% of records with "Primary Type" as
   # DECEPTIVE PRACTICE into sample Dataset
   sample_dataset = dataset.sample('stratified', {'columns': ['Primary Type'], 'fractions': fractions})

Crie um dataframe do Pandas executando o pipeline de transformação definido por essa definição de conjunto de dados.

to_pandas_dataframe()

Retornos

Comentários

Retornar um DataFrame pandas totalmente materializado na memória.

Crie um DataFrame do Spark que possa executar o pipeline de transformação definido por essa definição de conjunto de dados.

to_spark_dataframe()

Retornos

Comentários

O Dataframe do Spark retornado é apenas um plano de execução e não contém dados, pois os Dataframes do Spark são avaliados lentamente.

Atualize os atributos mutáveis do conjunto de dados no workspace e retorne o conjunto de dados atualizado do workspace.

update(name=None, description=None, tags=None, visible=None)

Parâmetros

Retornos

Atualize a definição do conjunto de dados.

update_definition(definition, definition_update_message)

Parâmetros

Retornos

Comentários

Para consumir o conjunto de dados atualizado, use o objeto retornado por esse método.

Retorne a definição atual do conjunto de dados.

Retornos

Comentários

Uma definição de conjunto de dados é uma série de etapas que especificam como ler e transformar dados.

Um conjunto de dados registrado em um workspace do AzureML pode ter várias definições, cada uma criada chamando update_definition. Cada definição tem um identificador exclusivo. Ter várias definições permite que você faça alterações em conjuntos de dados existentes sem quebrar modelos e pipelines que dependem da definição mais antiga.

Para conjuntos de dados não registrados, existe apenas uma definição.

Retorne a versão da definição atual do conjunto de dados.

Retornos

Comentários

Uma definição de conjunto de dados é uma série de etapas que especificam como ler e transformar dados.

Um conjunto de dados registrado em um workspace do AzureML pode ter várias definições, cada uma criada chamando update_definition. Cada definição tem um identificador exclusivo. A definição atual é a mais recente criada, cuja ID é retornada por isso.

Para conjuntos de dados não registrados, existe apenas uma definição.

Retorne a descrição do conjunto de dados.

Retornos

Comentários

Especificar uma descrição dos dados no conjunto de dados permite que os usuários do workspace entendam o que os dados representam e como eles podem usá-los.

Se o conjunto de dados tiver sido registrado em um workspace, retorne a ID do conjunto de dados. Caso contrário, retorne None.

Retornos

Controlar a visibilidade de um conjunto de dados registrado na interface do usuário do workspace do Azure ML.

Retornos

Comentários

Valores retornados:

• True: o conjunto de dados está visível na interface do usuário do workspace. Padrão.

• False: o conjunto de dados está oculto na interface do usuário do workspace.

Não tem efeito sobre conjuntos de dados não registrados.

Retornar o nome do conjunto de dados.

Retornos

Retornar o estado do conjunto de dados.

Retornos

Comentários

O significado e o efeito dos estados são os seguintes:

• Ativo. Definições ativas são exatamente o que parecem, todas as ações podem ser executadas em definições ativas.

• Preterido. A definição preterida pode ser usada, mas resultará em um aviso sendo registrado nos logs sempre que os dados subjacentes forem acessados.

• Arquivados. Uma definição arquivada não pode ser usada para executar qualquer ação. Para executar ações em uma definição arquivada, ela deve ser reativada.

Retorne as marcas associadas ao conjunto de dados.

Retornos

Se o conjunto de dados tiver sido registrado em um workspace, retorne-o. Caso contrário, retorne None.

Retornos