Oczyszczanie danych przy użyciu danych referencyjnych (zewnętrznych) — Data Quality Services (DQS)

Dotyczy:programu SQL Server

W tym temacie opisano sposób czyszczenia danych przy użyciu wiedzy od dostawców danych referencyjnych. Mimo że wszystkie kroki uruchamiania działania czyszczenia pozostają niezmienne w przypadku czyszczenia danych z wykorzystaniem wiedzy od dostawców danych referencyjnych, jak wyjaśniono w Oczyszczanie danych przy użyciu wiedzy DQS (Internal), ten temat zawiera informacje specyficzne dla czyszczenia danych przy użyciu serwisu danych referencyjnych w usługach Data Quality Services (DQS).

Jeśli używasz funkcji usługi danych referencyjnych w programie DQS do czyszczenia danych, proces czyszczenia DQS wysyła zamapowane wartości domeny do dostawcy usługi danych referencyjnych jako żądanie wsadowe. Usługa danych referencyjnych odpowiada następującymi informacjami:

• Sugerowana korekta

• Pewność siebie

• Dodatkowe informacje o zamapowanej domenie. Dane referencyjne mogą również ustandaryzować, analizować lub wzbogacać źródło dodatkowymi danymi. Te informacje znajdują się w dodatkowych polach w odpowiedzi.

Po uzyskaniu odpowiedzi od usługi danych referencyjnych w DQS podczas działania czyszczenia wykonuje się następujące etapy:

• Na podstawie wartości progu automatycznej korekty oraz minimalnej ufności określonych podczas mapowania domen z usługą danych referencyjnych, wartości domeny są automatycznie poprawiane lub sugerowane na podstawie poziomu ufności.

  Notatka

  Wartości progowe określone podczas mapowania domeny na usługę danych referencyjnych są stosowane podczas czyszczenia danych przy użyciu wiedzy w usłudze danych referencyjnych, a nie tych, które są określone na karcie Ustawienia ogólne w sekcji konfiguracji. Aby uzyskać informacje na temat określania wartości progowych do czyszczenia danych referencyjnych, zobacz krok 9 w Dołączanie domeny lub domeny złożonej do danych referencyjnych.

• Wartości domeny są podzielone na następujące kategorie: Sugerowane, Nowe, Nieprawidłowe, Poprawionei Prawidłowe.

• Dodatkowe dane są dołączane do źródła, a informacje są dostępne wraz z oczyszczonymi danymi do eksportowania.

Przed rozpoczęciem

Warunki wstępne

Wymagane domeny muszą być mapowane w bazie wiedzy DQS do odpowiedniej usługi danych referencyjnych. Ponadto baza wiedzy musi zawierać wiedzę na temat typu danych, które mają zostać oczyszczone. Jeśli na przykład chcesz oczyścić dane źródłowe zawierające adresy USA, musisz zamapować domeny na dostawcę usług danych referencyjnych, który udostępnia dane wysokiej jakości dla adresów amerykańskich. Więcej informacji znajdziesz w sekcji Dołączanie domeny lub domeny złożonej do danych referencyjnych.

Zabezpieczenia

Uprawnienia

Aby przeprowadzić czyszczenie danych, musisz mieć rolę dqs_kb_editor lub dqs_kb_operator w bazie danych DQS_MAIN.

Oczyszczanie danych przy użyciu wiedzy na temat danych referencyjnych

Będziemy kontynuować używanie tych samych domen, które zmapowaliśmy w poprzednim temacie, Attach Domain or Composite Domain to Reference Data, z usługą Melissa Data na platformie Azure Marketplace. Teraz użyjemy tych samych domen, aby oczyścić przykładowe adresy USA. Kroki oczyszczania danych są takie same, jak opisano w Oczyszczanie Danych z wykorzystaniem wiedzy DQS (wewnętrznej). Jednak w razie potrzeby w trakcie tego procesu zwrócimy twoją uwagę.

1. Utwórz projekt jakości danych i wybierz działanie Czyszczenie. Zobacz Create a Data Quality Project (Tworzenie projektu jakości danych).

2. Na stronie Map zamapuj następujące 4 domeny z odpowiednimi kolumnami w danych źródłowych: Wiersz adresu, Miasto, Stani Kod pocztowy. Kliknij przycisk Dalej.

   Notatka

   Ponieważ wszystkie 4 domeny zostały zamapowane w weryfikacja adresu domenie złożonej, czyszczenie danych będzie teraz wykonywane na poziomie domeny złożonej, a nie na poziomie pojedynczej domeny.

3. Na stronie Oczyszczanie uruchom komputerowy proces czyszczenia, klikając Uruchom. Po zakończeniu procesu czyszczenia kliknij przycisk Dalej.

   Notatka

   Na stronie Oczyszczanie, DQS wyświetla informacje o domenach podłączonych do usługi danych referencyjnych na następujące dwa sposoby:

   • Poniżej przycisku Uruchom zostanie wyświetlony komunikat: "Domeny <Domain1>, <Domain2>, ... <DomainN> są oczyszczane za pomocą dostawcy usług danych referencyjnych." W tym przykładzie zostanie wyświetlony następujący komunikat: "Weryfikacja adresu domeny jest czyszczona za pomocą dostawcy usług danych referencyjnych".
   • Ikona Domain is attached to RDSDomain is attached to RDSProfilera w odniesieniu do domen dołączonych do usług dostawcy danych referencyjnych. Domena. W tym przykładzie ikona zostanie wyświetlona na tle weryfikacji adresu kompozytowej domeny.

4. Na stronie Zarządzanie wynikami i wyświetlanie ich przejrzyj wartości domeny. Usługa danych referencyjnych może wyświetlać więcej niż jedną sugestię dla wartości, jeśli jest to możliwe, w zależności od maksymalnej liczby sugestii określonej w polu sugerowanych kandydatów podczas mapowania domeny na usługę danych referencyjnych. Na przykład dla następującego adresu USA są wyświetlane dwie sugestie:

   Oryginalna wartość:

   Linia adresu	Miasto	Stan	Suwak
   1 msft way	Redmond		98052

   sugerowane wartości :

   Linia adresu	Miasto	Stan	Suwak
   1 Microsoft Way	Redmond	WA	98052
   Skrzynka pocztowa 1	Redmond	WA	98073

   czyszczenie

   Notatka

   W przypadku domen złożonych DQS wyróżnia również poszczególne domeny w innym kolorze, które zostały poprawione podczas procesu czyszczenia wspomaganego przez komputer. Na przykład w tym przypadku domeny wiersza adresu i state domeny zostały poprawione i dlatego wyróżnione w cyjanku.

5. Po zakończeniu przeglądania wszystkich wartości domeny kliknij przycisk Dalej, aby wyeksportować dane.

6. Na stronie Eksport zauważysz, że oprócz regularnych informacji o działaniu czyszczenia dla każdej domeny (źródło, przyczyna, pewność oraz stan) istnieją dodatkowe informacje udostępniane przez usługę danych referencyjnych Melissa na temat danych adresowych, takich jak szerokość i długość geograficzna adresu, nazwa powiatu, typ adresu (budynek wielopiętrowy, ulica itp.).

7. Wyeksportuj dane do wymaganego miejsca docelowego (SQL Server, CSV lub Excel), a następnie kliknij Zakończ, aby zamknąć projekt.

   Ważny

   Jeśli używasz 64-bitowej wersji programu Excel, nie można wyeksportować oczyszczonych danych do pliku programu Excel; Można wyeksportować tylko do bazy danych programu SQL Server lub do pliku .csv.