Jak skonfigurować usługę Azure SQL Managed Instance w działaniu kopiowania

W tym artykule opisano sposób używania działania kopiowania w potoku do kopiowania danych z i do usługi Azure SQL Managed Instance.

Obsługiwana konfiguracja

W przypadku konfiguracji każdej zakładki podczas czynności kopiowania przejdź odpowiednio do poniższych sekcji.

• Ogólne
• Źródło
• Destination
• Mapowanie
• Settings

General

Zapoznaj się z wskazówkami dotyczącymi ustawień ogólnych, aby skonfigurować kartę ustawień ogólnych.

Źródło

Następujące właściwości są obsługiwane w przypadku usługi Azure SQL Managed Instance na karcie Źródło działania kopiowania.

Wymagane są następujące właściwości:

• Połączenie: wybierz połączenie usługi Azure SQL Managed Instance z listy połączeń. Jeśli połączenie nie istnieje, utwórz nowe połączenie usługi Azure SQL Managed Instance, wybierając pozycję Nowy.

• Typ połączenia: wybierz pozycję Azure SQL Managed Instance.

• Użyj zapytania: określ sposób odczytywania danych. Możesz wybrać tabelę, kwerendę lub procedurę składowaną. Poniższa lista zawiera opis konfiguracji każdego ustawienia:

  • Tabela: odczyt danych z określonej tabeli. Wybierz tabelę źródłową z listy rozwijanej lub wybierz pozycję Edytuj , aby wprowadzić ją ręcznie.

  • Zapytanie: określ niestandardowe zapytanie SQL do odczytu danych. Przykładem jest select * from MyTable. Możesz też wybrać ikonę ołówka, aby edytować w edytorze kodu.

    

  • Procedura składowana: użyj procedury składowanej, która odczytuje dane z tabeli źródłowej. Ostatnia instrukcja SQL musi być instrukcją SELECT w procedurze składowanej.

    • Nazwa procedury składowanej: wybierz procedurę składowaną lub określ nazwę procedury składowanej ręcznie podczas wybierania pozycji Edytuj , aby odczytać dane z tabeli źródłowej.

    • Parametry procedury składowanej: określ wartości parametrów procedury składowanej. Dozwolone wartości to pary nazw lub wartości. Nazwy i wielkość liter parametrów muszą być zgodne z nazwami i wielkością parametrów procedury składowanej. Możesz wybrać pozycję Importuj parametry , aby uzyskać parametry procedury składowanej.

      

W obszarze Zaawansowane można określić następujące pola:

• Limit czasu zapytania (minuty): określ limit czasu wykonywania polecenia zapytania, wartość domyślna to 120 minut. Jeśli parametr jest ustawiony dla tej właściwości, dozwolone wartości to przedział czasu, taki jak "02:00:00" (120 minut).

• Poziom izolacji: określa zachowanie blokowania transakcji dla źródła SQL. Dozwolone wartości to: Odczyt zatwierdzony, Odczyt niezatwierdzony, Powtarzalny odczyt, Serializable, Migawka. Jeśli nie zostanie określony, zostanie użyty domyślny poziom izolacji bazy danych. Aby uzyskać więcej informacji, zapoznaj się z wyliczeniem IsolationLevel .

  

• Opcja partycji: określ opcje partycjonowania danych używane do ładowania danych z usługi Azure SQL Managed Instance. Dozwolone wartości to: Brak (wartość domyślna), Partycje fizyczne tabeli i Zakres dynamiczny. Jeśli opcja partycji jest włączona (czyli nie brak), stopień równoległości równoczesnego ładowania danych z usługi Azure SQL Managed Instance jest kontrolowany przez stopień równoległości kopiowania na karcie ustawień działania kopiowania.

  • Brak: wybierz to ustawienie, aby nie używać partycji.

  • Partycje fizyczne tabeli: w przypadku korzystania z partycji fizycznej kolumna partycji i mechanizm są automatycznie określane na podstawie definicji tabeli fizycznej.

  • Zakres dynamiczny: Gdy używasz zapytania z włączoną równoległością, wymagany jest parametr partycji zakresu?DfDynamicRangePartitionCondition. Przykładowe zapytanie: SELECT * FROM <TableName> WHERE ?DfDynamicRangePartitionCondition.

    • Nazwa kolumny partycji: określ nazwę kolumny źródłowej w typie całkowitym lub daty/daty i godziny (int, smallint, bigint, date, smalldatetime, datetime, datetime2, lub datetimeoffset) wykorzystywaną przez partycjonowanie zakresu na potrzeby kopiowania równoległego. Jeśli nie zostanie określony, indeks lub klucz podstawowy tabeli zostanie automatycznie wykryty i użyty jako kolumna partycji.

      Jeśli używasz zapytania do pobierania danych źródłowych, umieść ?DfDynamicRangePartitionCondition w klauzuli WHERE. Aby zapoznać się z przykładem, zobacz sekcję Kopiowanie równoległe z usługi Azure SQL Managed Instance .

    • Górna granica partycji: określ maksymalną wartość kolumny partycji dla podziału zakresu partycji. Ta wartość służy do decydowania o kroku partycji, a nie do filtrowania wierszy w tabeli. Wszystkie wiersze w tabeli lub wyniku zapytania zostaną podzielone na partycje i skopiowane. Jeśli nie zostanie określony, działanie kopiowania automatycznie wykrywa wartość. Aby zapoznać się z przykładem, zobacz sekcję Kopiowanie równoległe z usługi Azure SQL Managed Instance .

    • Dolna granica partycji: określ minimalną wartość kolumny partycji dla podziału zakresu partycji. Ta wartość służy do decydowania o kroku partycji, a nie do filtrowania wierszy w tabeli. Wszystkie wiersze w tabeli lub wyniku zapytania zostaną podzielone na partycje i skopiowane. Jeśli nie zostanie określony, działanie kopiowania automatycznie wykrywa wartość. Aby zapoznać się z przykładem, zobacz sekcję Kopiowanie równoległe z usługi Azure SQL Managed Instance .

• dodatkowe kolumny: Dodaj dodatkowe kolumny danych, aby przechowywać ścieżkę względną plików źródłowych lub wartość statyczną. Wyrażenie jest obsługiwane dla tego ostatniego przypadku.

Zwróć uwagę na następujące kwestie:

• Jeśli zapytanie jest określone dla źródła, działanie kopiowania uruchamia to zapytanie względem źródła usługi Azure SQL Managed Instance w celu pobrania danych. Można również określić procedurę składowaną, określając nazwę procedury składowanej i parametry procedury składowanej, jeśli procedura składowana przyjmuje parametry.
• W przypadku używania procedury składowanej w źródle do pobierania danych należy pamiętać, że procedura składowana jest zaprojektowana jako zwracanie innego schematu po przekazaniu innej wartości parametru, może wystąpić błąd lub nieoczekiwany wynik podczas importowania schematu z interfejsu użytkownika lub podczas kopiowania danych do bazy danych SQL z automatycznym tworzeniem tabeli.

Destynacja

Następujące właściwości są obsługiwane w przypadku usługi Azure SQL Managed Instance na karcie Miejsce docelowe działania kopiowania.

Wymagane są następujące właściwości:

• Połączenie: wybierz połączenie usługi Azure SQL Managed Instance z listy połączeń. Jeśli połączenie nie istnieje, utwórz nowe połączenie usługi Azure SQL Managed Instance, wybierając pozycję Nowy.

• Typ połączenia: wybierz pozycję Azure SQL Managed Instance.

• Opcja tabeli: możesz wybrać opcję Użyj istniejącej , aby użyć określonej tabeli. Możesz też wybrać pozycję Automatycznie utwórz tabelę , aby automatycznie utworzyć tabelę docelową, jeśli tabela nie istnieje w schemacie źródłowym, i pamiętaj, że ten wybór nie jest obsługiwany, gdy procedura składowana jest używana jako zachowanie zapisu.

  Jeśli wybierzesz Użyj istniejącej:

  • Tabela: wybierz tabelę w docelowej bazie danych z listy rozwijanej. Możesz też ręcznie zaznaczyć pozycję Edytuj , aby wprowadzić nazwę tabeli.

  Jeśli wybierzesz opcję : Automatycznie utwórz tabelę:

  • Tabela: określ nazwę tabeli docelowej utworzonej automatycznie.

W obszarze Zaawansowane można określić następujące pola:

• Zachowanie zapisu: definiuje zachowanie zapisu, gdy źródłem są pliki z magazynu danych opartego na plikach. Możesz wybrać pozycję Wstaw, **Upsert lub Procedurę składowaną.

  • Wstaw: wybierz tę opcję, aby załadować dane do instancji zarządzanej Azure SQL przy użyciu trybu zapisu dodawania.

  • Upsert: Wybierz tę opcję, aby załadować dane do usługi Azure SQL Managed Instance przy użyciu zachowania zapisu typu upsert.

    • Użyj bazy danych TempDB: określ, czy używać globalnej tabeli tymczasowej, czy tabeli fizycznej jako tabeli tymczasowej dla operacji upsert. Domyślnie usługa używa globalnej tabeli tymczasowej jako tabeli pośredniej, a ta właściwość jest zaznaczona.

      

    • Wybierz schemat bazy danych użytkownika: jeśli nie wybrano opcji Użyj bazy danych TempDB , określ schemat tymczasowy do utworzenia tabeli tymczasowej, jeśli jest używana tabela fizyczna.

      Uwaga / Notatka

      Musisz mieć uprawnienia do tworzenia i usuwania tabel. Domyślnie tabela tymczasowa będzie współdzielić ten sam schemat co tabela docelowa.

      

    • Kolumny kluczy: określ nazwy kolumn dla unikatowej identyfikacji wierszy. Można użyć pojedynczego klucza lub serii kluczy. Jeśli nie zostanie określony, używany jest klucz podstawowy.

  • Procedura składowana: użyj procedury składowanej, która definiuje sposób stosowania danych źródłowych do tabeli docelowej. Ta procedura składowana jest wywoływana na partię. W przypadku operacji, które są uruchamiane tylko raz i nie mają nic wspólnego z danymi źródłowymi, na przykład usunięcie lub obcięcie, użyj właściwości skryptu przed kopiowaniem .

    • Nazwa procedury składowanej: wybierz procedurę składowaną lub określ nazwę procedury składowanej ręcznie podczas sprawdzania pozycji Edytuj , aby odczytać dane z tabeli źródłowej.

    • Parametry procedury składowanej:

      • Typ tabeli: określ nazwę typu tabeli, która ma być używana w procedurze składowanej. Działanie kopiowania powoduje, że dane przenoszone są dostępne w tabeli tymczasowej o tym typie tabeli. Kod procedury składowanej może następnie scalić dane kopiowane z istniejącymi danymi.
      • Nazwa parametru typu tabeli: określ nazwę parametru typu tabeli określonego w procedurze składowanej.
      • Parametry: określ wartości parametrów procedury składowanej. Dozwolone wartości to pary nazw lub wartości. Nazwy i wielkość liter parametrów muszą być zgodne z nazwami i wielkością parametrów procedury składowanej. Możesz wybrać pozycję Importuj parametry , aby uzyskać parametry procedury składowanej.

      

• Blokada tabeli podczas zbiorczego wstawiania: wybierz Tak lub Nie (ustawienie domyślne). Użyj tego ustawienia, aby poprawić wydajność kopiowania podczas operacji masowego wstawiania z wielu klientów do tabeli bez indeksu. Właściwość tę można określić, wybierając Wstaw lub Upsert jako sposób zapisu. Aby uzyskać więcej informacji, zobacz BULK INSERT (Transact-SQL)

• Skrypt wstępny: określ skrypt do wykonania działania kopiowania przed zapisaniem danych w tabeli docelowej w każdym przebiegu. Za pomocą tej właściwości można wyczyścić wstępnie załadowane dane.

• Przekroczenie limitu czasu dla operacji zapisu wsadowego: określ czas oczekiwania na zakończenie operacji wstawiania wsadowego przed przekroczeniem limitu czasu. Dozwoloną wartością jest przedział czasu. Jeśli żadna wartość nie zostanie określona, limit czasu zostanie domyślnie ustawiony na "02:00:00".

• Rozmiar partii zapisu: określ liczbę wierszy do wstawienia do tabeli SQL na partię. Dozwolona wartość to liczba całkowita (liczba wierszy). Domyślnie usługa dynamicznie określa odpowiedni rozmiar partii na podstawie rozmiaru wiersza.

• Maksymalna liczba współbieżnych połączeń: górny limit połączeń współbieżnych ustanowionych z magazynem danych podczas uruchamiania działania. Określ wartość tylko wtedy, gdy chcesz ograniczyć połączenia współbieżne.

Mapowanie

W przypadku konfiguracji karty Mapowanie, jeśli nie zastosujesz usługi Azure SQL Managed Instance z automatycznym tworzeniem tabeli jako miejsca docelowego, przejdź do obszaru Mapowanie.

Jeśli zastosujesz usługę Azure SQL Managed Instance z automatycznie utworzoną tabelą jako lokalizacją docelową, z wyjątkiem konfiguracji w obszarze Mapowanie, możesz edytować typ kolumn docelowych. Po wybraniu pozycji Importuj schematy można określić typ kolumny w miejscu docelowym.

Na przykład typ danych kolumny ID w źródle to int i można go zmienić na typ float podczas mapowania na kolumnę docelową.

Ustawienia

Aby uzyskać konfigurację karty Ustawienia, przejdź do Konfiguruj pozostałe ustawienia na karcie ustawień.

Kopiowanie równoległe z usługi Azure SQL Managed Instance

Łącznik usługi Azure SQL Managed Instance w działaniu kopiowania zapewnia wbudowane partycjonowanie danych w celu równoległego kopiowania danych. Opcje partycjonowania danych można znaleźć na karcie Źródło działania kopiowania.

Po włączeniu kopii partycjonowanej działanie kopiowania uruchamia zapytania równoległe względem źródła usługi Azure SQL Managed Instance w celu załadowania danych według partycji. Stopień równoległy jest kontrolowany przez stopień równoległości kopiowania na karcie ustawień działania kopiowania. Jeśli na przykład ustawisz opcję Stopień równoległości kopiowania na cztery, usługa jednocześnie generuje i uruchamia cztery zapytania na podstawie określonej opcji partycji i ustawień, a każde zapytanie pobiera część danych z usługi Azure SQL Managed Instance.

Zaleca się włączenie kopiowania równoległego przy użyciu partycjonowania danych, szczególnie w przypadku ładowania dużej ilości danych z usługi Azure SQL Managed Instance. Poniżej przedstawiono sugerowane konfiguracje dla różnych scenariuszy. Podczas kopiowania danych do magazynu danych opartego na plikach zaleca się zapisywanie w folderze jako wielu plików (tylko określ nazwę folderu), w tym przypadku wydajność jest lepsza niż zapisywanie w jednym pliku.

Najlepsze rozwiązania dotyczące ładowania danych z opcją partycji:

• Wybierz charakterystyczną kolumnę jako kolumnę partycji (np. klucz podstawowy lub unikatowy klucz), aby uniknąć niesymetryczności danych.
• Jeśli tabela ma wbudowane partycjonowanie, użyj opcji partycji Fizyczne partycje tabeli, aby uzyskać lepszą wydajność.

Przykładowe zapytanie do sprawdzania partycji fizycznej

SELECT DISTINCT s.name AS SchemaName, t.name AS TableName, pf.name AS PartitionFunctionName, c.name AS ColumnName, iif(pf.name is null, 'no', 'yes') AS HasPartition
FROM sys.tables AS t
LEFT JOIN sys.objects AS o ON t.object_id = o.object_id
LEFT JOIN sys.schemas AS s ON o.schema_id = s.schema_id
LEFT JOIN sys.indexes AS i ON t.object_id = i.object_id 
LEFT JOIN sys.index_columns AS ic ON ic.partition_ordinal > 0 AND ic.index_id = i.index_id AND ic.object_id = t.object_id 
LEFT JOIN sys.columns AS c ON c.object_id = ic.object_id AND c.column_id = ic.column_id 
LEFT JOIN sys.partition_schemes ps ON i.data_space_id = ps.data_space_id 
LEFT JOIN sys.partition_functions pf ON pf.function_id = ps.function_id 
WHERE s.name='[your schema]' AND t.name = '[your table name]'

Jeśli tabela ma partycję fizyczną, zostanie wyświetlona wartość "HasPartition" jako "tak", jak pokazano poniżej.

Podsumowanie tabeli

Zapoznaj się z poniższą tabelą, aby uzyskać podsumowanie i więcej informacji na temat działania kopiowania usługi Azure SQL Managed Instance.

Informacje źródłowe

Informacje o lokalizacji docelowej

Treści powiązane

• Omówienie usługi Azure SQL Managed Instance