Comando sync

O sync grupo de comandos dentro da CLI Databricks permite a sincronização unidirecional do código local e das alterações de ficheiros num diretório na sua máquina de desenvolvimento local para uma pasta no seu espaço de trabalho remoto Azure Databricks.

Databricks sincronização

Sincronize um diretório local com um diretório de espaço de trabalho.

databricks sync [flags] SRC DST

Arguments

SRC

    O caminho do diretório de origem

DST

    O caminho do diretório de destino

Opções

--dry-run

    Simule a execução da sincronização sem fazer alterações reais

--exclude strings

    Padrões a serem excluídos da sincronização (podem ser especificados várias vezes)

--exclude-from string

    Arquivo contendo padrões a serem excluídos da sincronização (um padrão por linha)

--full

    Executar sincronização completa (o padrão é incremental)

--include strings

    Padrões a serem incluídos em sincronia (podem ser especificados várias vezes)

--include-from string

    Arquivo contendo padrões a serem incluídos para sincronização (um padrão por linha)

--interval duration

    Intervalo de sondagem do sistema de arquivos (para --watch) (padrão 1s)

--watch

    Observe as alterações no sistema de arquivos local

Bandeiras globais

Examples

As seções a seguir mostram como usar o sync comando.

Sincronizar incrementalmente alterações de arquivos locais em um diretório remoto

Para executar uma sincronização única, incremental e unidirecional de alterações de arquivo dentro de um diretório local para uma pasta em um espaço de trabalho remoto do Azure Databricks, execute o sync comando, da seguinte maneira:

databricks sync <local-directory-path> <remote-directory-path>

Por exemplo, para fazer uma sincronização incremental, unidirecional e única de todas as alterações de arquivo na pasta nomeada my-local-folder no diretório de trabalho atual local, para a pasta my-workspace-folder no espaço de trabalho remoto, execute o seguinte comando:

databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder

Neste exemplo, apenas as alterações de arquivo desde a sync última execução do comando são sincronizadas com ./Users/someone@example.com/my-workspace-folder Por padrão, a URL do espaço de trabalho no perfil do DEFAULT chamador é usada para determinar o espaço de trabalho remoto com o qual sincronizar.

Sincronize apenas ficheiros específicos

Para incluir ou excluir ficheiros específicos para sincronização com base em padrões especificados, use as opções --include, --include-from, --exclude ou --exclude-from.

databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --exclude-from .gitignore

O exemplo a seguir exclui determinados padrões de arquivo da sincronização:

databricks sync --exclude "*.pyc" --exclude "__pycache__" ./my-local-folder /Users/someone@example.com/my-workspace-folder

Sincronize totalmente as alterações de arquivos locais em um diretório remoto

Para executar uma sincronização única, completa e unidirecional de alterações de arquivo dentro de um diretório local para uma pasta em um espaço de trabalho remoto do Azure Databricks, independentemente de quando o último sync comando foi executado, use a --full opção, por exemplo:

databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --full

Sincronizar continuamente alterações de arquivos locais em um diretório remoto

Para ativar a sincronização contínua e unidirecional de alterações de arquivo em um diretório local para uma pasta em um workspace remoto do Azure Databricks, use a opção --watch, por exemplo:

databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --watch

A sincronização unidirecional continua até que o comando seja interrompido a partir do terminal, normalmente pressionando Ctrl + c ou Ctrl + z.

A sondagem para possíveis eventos de sincronização acontece uma vez por segundo por padrão. Para alterar esse intervalo, use a --interval opção juntamente com o número de segundos para sondar seguido pelo caractere s, por exemplo, por cinco segundos:

databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --watch --interval 5s

Alterar o formato de saída do progresso da sincronização

As informações de progresso da sincronização são enviadas para o terminal em formato de texto por padrão. Para especificar o formato de saída do progresso da sincronização, use a opção --output, especificando ou text (o padrão, se --output não for especificado de outra forma) ou json; por exemplo:

databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --output json

Visualizar operações de ficheiro para uma sincronização

Para visualizar uma sincronização sem realmente executar as operações de sincronização de arquivos, use a --dry-run opção, por exemplo:

databricks sync ./my-local-folder /Users/someone@example.com/my-workspace-folder --dry-run

Warn: Running in dry-run mode. No actual changes will be made.
Action: PUT: test.txt
Uploaded test.txt
Initial Sync Complete

Bandeiras globais

--debug

  Se o log de depuração deve ser habilitado.

-h ou --help

    Exiba a ajuda para a CLI do Databricks ou para o grupo de comandos relacionado ou para o comando relacionado.

--log-file string

    Uma cadeia de caracteres que representa o ficheiro onde os registos de saída são gravados. Se esse sinalizador não for especificado, o padrão é gravar logs de saída no stderr.

--log-format Formato

    O tipo de formato de log, text ou json. O valor predefinido é text.

--log-level string

    Uma cadeia de caracteres que representa o nível de formato de log. Se não for especificado, o nível de formato de log será desativado.

-o, --output tipo

    O tipo de saída do comando, text ou json. O valor predefinido é text.

-p, --profile string

    O nome do perfil no arquivo ~/.databrickscfg a ser usado para executar o comando. Se esse sinalizador não for especificado, se ele existir, o perfil nomeado DEFAULT será usado.

--progress-format Formato

    O formato para exibir logs de progresso: default, append, inplace, ou json

-t, --target string

    Se aplicável, o destino do pacote a ser usado