Partilhar via

Automatize o processo de gerenciamento de bibliotecas por meio de cmdlets do Azure PowerShell e APIs REST

Você pode querer gerenciar suas bibliotecas para seus pools Apache Spark sem servidor sem entrar nas páginas da interface do usuário do Synapse Analytics. Por exemplo, você pode achar que:

  • você desenvolve um pacote personalizado e deseja carregá-lo em seu espaço de trabalho e usá-lo em seu pool do Spark. E você deseja concluir as etapas em suas ferramentas locais sem visitar as interfaces do usuário de gerenciamento de pacotes.
  • você está atualizando seus pacotes através do processo CI/CD

Neste artigo, forneceremos um guia geral para ajudá-lo a gerenciar bibliotecas por meio de cmdlets do Azure PowerShell ou APIs REST.

Gerenciar pacotes por meio de cmdlets do Azure PowerShell

Adicionar novas bibliotecas

  1. O comando New-AzSynapseWorkspacePackage pode ser usado para carregar novas bibliotecas no espaço de trabalho.

    New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"

  2. A combinação dos comandos New-AzSynapseWorkspacePackage e Update-AzSynapseSparkPool pode ser usada para carregar novas bibliotecas no espaço de trabalho e anexar a biblioteca a um pool do Spark.

    $package = New-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Package ".\ContosoPackage.whl"
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $package

  3. Se você quiser anexar uma biblioteca de espaço de trabalho existente ao seu pool do Spark, consulte a combinação de comandos Get-AzSynapseWorkspacePackage e Update-AzSynapseSparkPool.

    $packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Remover bibliotecas

  1. Para remover um pacote instalado do seu pool do Spark, consulte a combinação de comandos Get-AzSynapseWorkspacePackage e Update-AzSynapseSparkPool.

    $package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

  2. Você também pode recuperar um pool do Spark e remover todas as bibliotecas de espaço de trabalho anexadas do pool chamando os comandos Get-AzSynapseSparkPool e Update-AzSynapseSparkPool .

    $pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Para obter mais recursos de cmdlets do Azure PowerShell, consulte Cmdlets do Azure PowerShell para o Azure Synapse Analytics.

Gerenciar pacotes por meio de APIs REST

Gerenciar os pacotes de espaço de trabalho

Com a capacidade de APIs REST, você pode adicionar/excluir pacotes ou listar todos os arquivos carregados do seu espaço de trabalho. Consulte todas as APIs suportadas, consulte Visão geral das APIs da biblioteca de espaços de trabalho.

Gerenciar os pacotes de pool do Spark

Você pode aproveitar a API REST do pool do Spark para anexar ou remover suas bibliotecas personalizadas ou de código aberto aos pools do Spark.

  1. Para bibliotecas personalizadas, especifique a lista de arquivos personalizados como a propriedade customLibraries no corpo da solicitação.

    "customLibraries": [
    {
        "name": "samplejartestfile.jar",
        "path": "<workspace-name>/libraries/<jar-name>.jar",
        "containerName": "prep",
        "uploadedTimestamp": "1970-01-01T00:00:00Z",
        "type": "jar"
    }
]

  2. Você também pode atualizar suas bibliotecas do pool do Spark especificando a propriedade libraryRequirements no corpo da solicitação.

    "libraryRequirements": {
      "content": "",
      "filename": "requirements.txt"
}

Próximos passos

  • Last updated on