Jak utworzyć niestandardowy projekt klasyfikacji tekstu

Skorzystaj z tego artykułu, aby dowiedzieć się, jak skonfigurować wymagania dotyczące rozpoczynania od niestandardowej klasyfikacji tekstu i tworzenia projektu.

Wymagania wstępne

Przed rozpoczęciem korzystania z niestandardowej klasyfikacji tekstu potrzebne są następujące elementy:

• Subskrypcja platformy Azure — utwórz bezpłatnie.

Tworzenie zasobu języka

Przed rozpoczęciem korzystania z niestandardowej klasyfikacji tekstu potrzebny jest zasób języka platformy Azure w narzędziach Foundry. Zalecamy utworzenie zasobu Language i połączenie z nim konta magazynu w portalu Azure. Utworzenie zasobu w witrynie Azure Portal umożliwia jednoczesne utworzenie konta usługi Azure Storage ze wszystkimi wymaganymi uprawnieniami wstępnie skonfigurowanymi. Możesz również przeczytać więcej w artykule, aby dowiedzieć się, jak używać istniejącego zasobu i skonfigurować go do pracy z niestandardową klasyfikacją tekstu.

Potrzebne jest również konto usługi Azure Storage, do której można przesłać .txt dokumenty używane do trenowania modelu do klasyfikowania tekstu.

Tworzenie zasobu języka i łączenie konta magazynu

New-AzResourceGroupDeployment -Name ExampleDeployment -ResourceGroupName ExampleResourceGroup `
  -TemplateFile <path-to-arm-template> `
  -TemplateParameterFile <path-to-parameters-file>

Korzystanie z istniejącego zasobu języka

Aby użyć niestandardowej klasyfikacji tekstu, musisz utworzyć konto usługi Azure Storage, jeśli jeszcze go nie masz.

Włączanie zarządzania tożsamościami dla zasobu

Aby umożliwić korzystanie z witryny Azure Portal, zasób języka musi mieć zarządzanie tożsamościami:

1. Przejdź do zasobu Language
2. W menu po lewej stronie w sekcji Zarządzanie zasobami wybierz pozycję Tożsamość
3. Na karcie Przypisane przez system upewnij się, że ustawiono opcję Stan na Włączone

Włączanie niestandardowej funkcji klasyfikacji tekstu

Upewnij się, że w witrynie Azure Portal włączono funkcję niestandardowej klasyfikacji tekstu/niestandardowego rozpoznawania nazwanych jednostek.

1. Przejdź do zasobu language w witrynie Azure Portal
2. W menu po lewej stronie w sekcji Zarządzanie zasobami wybierz pozycję Funkcje
3. Włączanie niestandardowej klasyfikacji tekstu/niestandardowej funkcji rozpoznawania nazwanych jednostek
4. Łączenie konta magazynu
5. Wybierz Zastosuj

Ustaw role dla zasobów językowych Azure i konta magazynu

Wykonaj poniższe kroki, aby ustawić wymagane role dla zasobu języka i konta magazynu.

Role dla zasobu Azure Language w Foundry Tools

1. Przejdź do swojego konta magazynu lub zasobu językowego w witrynie Azure Portal.

2. Wybierz pozycję Kontrola dostępu (IAM) w panelu po lewej stronie.

3. Wybierz pozycję Dodaj, aby dodać przypisania ról, a następnie wybierz odpowiednią rolę dla twojego konta.

   Musisz mieć przypisaną rolę właściciela lub współautora w zasobie Język.

4. W obszarze Przypisz dostęp do wybierz pozycję Użytkownik, grupa lub jednostka usługi

5. Wybierz pozycję Wybierz członków

6. Wybierz nazwę użytkownika. Nazwy użytkowników można wyszukać w polu Wybierz . Powtórz to dla wszystkich ról.

7. Powtórz te kroki dla wszystkich kont użytkowników, które potrzebują dostępu do tego zasobu.

Role dla konta magazynu

1. Przejdź do strony konta magazynu w witrynie Azure Portal.
2. Wybierz pozycję Kontrola dostępu (IAM) w panelu po lewej stronie.
3. Wybierz pozycję Dodaj, aby dodać przypisania ról, a następnie wybierz rolę Współautor danych obiektu blob usługi Storage na koncie magazynu.
4. W obszarze Przypisz dostęp do wybierz pozycję Tożsamość zarządzana.
5. Wybierz pozycję Wybierz członków
6. Wybierz swoją subskrypcję i język jako tożsamość zarządzaną. Nazwy użytkowników można wyszukać w polu Wybierz .

Włączanie mechanizmu CORS dla konta magazynu

Upewnij się, że metody (GET, PUT, DELETE) są dozwolone podczas włączania współużytkowania zasobów między źródłami (CORS). Ustaw pole dozwolonych źródeł na https://language.cognitive.azure.comwartość . Zezwalaj na wszystkie nagłówki przez dodanie * do dozwolonych wartości nagłówka i ustaw maksymalny wiek na 500wartość .

Tworzenie niestandardowego projektu klasyfikacji tekstu (interfejs API REST)

Po skonfigurowaniu zasobu i kontenera magazynu utwórz nowy niestandardowy projekt klasyfikacji tekstu. Projekt to obszar roboczy umożliwiający tworzenie niestandardowych modeli sztucznej inteligencji na podstawie danych. Projekt jest dostępny tylko dla Ciebie i innych osób, które mają dostęp do używanego zasobu platformy Azure. Jeśli dane zostały oznaczone etykietą, możesz je zaimportować , aby rozpocząć pracę.

Aby rozpocząć tworzenie niestandardowego modelu klasyfikacji tekstu, należy utworzyć projekt. Tworzenie projektu umożliwia etykietowanie danych, trenowanie, ocenianie, ulepszanie i wdrażanie modeli.

Utwórz żądanie PATCH przy użyciu następującego adresu URL, nagłówków i treści JSON, aby utworzyć projekt.

Adres URL żądania

Użyj następującego adresu URL, aby utworzyć projekt. Zastąp wartości symboli zastępczych własnymi wartościami.

{Endpoint}/language/authoring/analyze-text/projects/{projectName}?api-version={API-VERSION}

Nagłówki

Użyj następującego nagłówka, aby uwierzytelnić żądanie.

Treść

Użyj następującego kodu JSON w żądaniu. Zastąp wartości symboli zastępczych własnymi wartościami.

{
  "projectName": "{PROJECT-NAME}",
  "language": "{LANGUAGE-CODE}",
  "projectKind": "customMultiLabelClassification",
  "description": "Project description",
  "multilingual": "True",
  "storageInputContainerName": "{CONTAINER-NAME}"
}

{
  "projectName": "{PROJECT-NAME}",
  "language": "{LANGUAGE-CODE}",
  "projectKind": "customSingleLabelClassification",
  "description": "Project description",
  "multilingual": "True",
  "storageInputContainerName": "{CONTAINER-NAME}"
}

To żądanie zwraca odpowiedź 201, co oznacza, że projekt został utworzony.

To żądanie zwraca błąd, jeśli:

• Wybrany zasób nie ma odpowiednich uprawnień dla konta magazynu.

Importowanie niestandardowego projektu klasyfikacji tekstu (interfejs API REST)

Jeśli dane są już oznaczone, możesz ich użyć, aby rozpocząć korzystanie z usługi. Upewnij się, że dane oznaczone etykietami są zgodne z akceptowanymi formatami danych.

Prześlij żądanie POST przy użyciu następującego adresu URL, nagłówków i treści JSON, aby zaimportować plik etykiet. Upewnij się, że plik etykiet jest zgodne z akceptowanym formatem.

Jeśli projekt o tej samej nazwie już istnieje, dane tego projektu zostaną zastąpione.

{Endpoint}/language/authoring/analyze-text/projects/{projectName}/:import?api-version={API-VERSION}

Nagłówki

Użyj następującego nagłówka, aby uwierzytelnić żądanie.

Treść

Użyj następującego kodu JSON w żądaniu. Zastąp wartości symboli zastępczych własnymi wartościami.

{
  "projectFileVersion": "{API-VERSION}",
  "stringIndexType": "Utf16CodeUnit",
  "metadata": {
    "projectName": "{PROJECT-NAME}",
    "storageInputContainerName": "{CONTAINER-NAME}",
    "projectKind": "customMultiLabelClassification",
    "description": "Trying out custom multi label text classification",
    "language": "{LANGUAGE-CODE}",
    "multilingual": true,
    "settings": {}
  },
  "assets": {
    "projectKind": "customMultiLabelClassification",
    "classes": [
      {
        "category": "Class1"
      },
      {
        "category": "Class2"
      }
    ],
    "documents": [
      {
        "location": "{DOCUMENT-NAME}",
        "language": "{LANGUAGE-CODE}",
        "dataset": "{DATASET}",
        "classes": [
          {
            "category": "Class1"
          },
          {
            "category": "Class2"
          }
        ]
      },
      {
        "location": "{DOCUMENT-NAME}",
        "language": "{LANGUAGE-CODE}",
        "dataset": "{DATASET}",
        "classes": [
          {
            "category": "Class2"
          }
        ]
      }
    ]
  }
}

{
  "projectFileVersion": "{API-VERSION}",
  "stringIndexType": "Utf16CodeUnit",
  "metadata": {
    "projectName": "{PROJECT-NAME}",
    "storageInputContainerName": "{CONTAINER-NAME}",
    "projectKind": "customSingleLabelClassification",
    "description": "Trying out custom multi label text classification",
    "language": "{LANGUAGE-CODE}",
    "multilingual": true,
    "settings": {}
  },
  "assets": {
    "projectKind": "customSingleLabelClassification",
        "classes": [
            {
                "category": "Class1"
            },
            {
                "category": "Class2"
            }
        ],
        "documents": [
            {
                "location": "{DOCUMENT-NAME}",
                "language": "{LANGUAGE-CODE}",
                "dataset": "{DATASET}",
                "class": {
                    "category": "Class2"
                }
            },
            {
                "location": "{DOCUMENT-NAME}",
                "language": "{LANGUAGE-CODE}",
                "dataset": "{DATASET}",
                "class": {
                    "category": "Class1"
                }
            }
        ]
    }
}

Po wysłaniu żądania interfejsu API otrzymasz odpowiedź wskazującą 202 , że zadanie zostało przesłane poprawnie. W nagłówkach odpowiedzi wyodrębnij operation-location wartość sformatowaną w następujący sposób:

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}/import/jobs/{JOB-ID}?api-version={API-VERSION}

{JOB-ID} służy do identyfikowania żądania, ponieważ ta operacja jest asynchroniczna. Ten adres URL służy do pobierania stanu zadania importu.

Możliwe scenariusze błędów dla tego żądania:

• Wybrany zasób nie ma odpowiednich uprawnień dla konta magazynu.
• Określona storageInputContainerName wartość nie istnieje.
• Jest używany nieprawidłowy kod języka lub jeśli typ kodu języka nie jest ciągiem.
• multilingual wartość jest ciągiem, a nie wartością logiczną.

Pobieranie szczegółów projektu (interfejs API REST)

Aby uzyskać niestandardowe szczegóły projektu klasyfikacji tekstu, prześlij żądanie GET przy użyciu następującego adresu URL i nagłówków. Zastąp wartości symboli zastępczych własnymi wartościami.

{ENDPOINT}/language/authoring/analyze-text/projects/{PROJECT-NAME}?api-version={API-VERSION}

Nagłówki

Użyj następującego nagłówka, aby uwierzytelnić żądanie.

Treść odpowiedzi

Po wysłaniu żądania otrzymasz następującą odpowiedź.

{
  "createdDateTime": "2022-04-23T13:39:09.384Z",
  "lastModifiedDateTime": "2022-04-23T13:39:09.384Z",
  "lastTrainedDateTime": "2022-04-23T13:39:09.384Z",
  "lastDeployedDateTime": "2022-04-23T13:39:09.384Z",
  "projectKind": "customSingleLabelClassification",
  "storageInputContainerName": "{CONTAINER-NAME}",
  "projectName": "{PROJECT-NAME}",
  "multilingual": true,
  "description": "Project description",
  "language": "{LANGUAGE-CODE}"
}

Po wysłaniu żądania API otrzymasz odpowiedź 200 wskazującą powodzenie oraz treść odpowiedzi JSON ze szczegółami projektu.

Usuwanie projektu (interfejs API REST)

Jeśli projekt nie jest już potrzebny, możesz go usunąć za pomocą następującego żądania DELETE . Zastąp wartości symboli zastępczych własnymi wartościami.

{Endpoint}/language/authoring/analyze-text/projects/{projectName}?api-version={API-VERSION}

Nagłówki

Użyj następującego nagłówka, aby uwierzytelnić żądanie.

Po wysłaniu żądania API otrzymasz odpowiedź wskazującą 202 powodzenie, co oznacza, że projekt został usunięty. Wyniki pomyślnego wywołania z nagłówkiem Operation-Location służącym do sprawdzania stanu zadania.

Następne kroki

• Należy zaplanować schemat projektu używany do etykietowania danych.

• Po utworzeniu projektu można rozpocząć etykietowanie danych. Etykietowanie informuje model klasyfikacji tekstu, jak interpretować tekst i jest używane do trenowania i oceny.