Typy wdrożeń dla modeli Microsoft Foundry

Firma Microsoft Foundry udostępnia modele przy użyciu koncepcji wdrażania modelu w usługach Foundry Services (wcześniej nazywanych usługami Azure AI). Wdrożenia modelu są również zasobami platformy Azure, a podczas tworzenia zapewniają dostęp do danego modelu w ramach niektórych konfiguracji. Taka konfiguracja obejmuje infrastrukturę wymaganą do przetwarzania żądań.

Modele rozwiązania Foundry zapewniają klientom wybór struktury hostingu, które pasują do wzorców biznesowych i użycia. Te opcje są tłumaczone na różne typy wdrożeń (lub jednostki SKU), które są dostępne w czasie wdrażania modelu w zasobie Foundry.

Usługa oferuje dwa główne typy wdrożeń: standardowe i aprowizowane. W przypadku danego typu wdrożenia klienci mogą dostosować swoje obciążenia do wymagań dotyczących przetwarzania danych. Mogą wybrać lokalizację geograficzną platformy Azure (Standard lub Provisioned-Managed), strefę danych określoną przez firmę Microsoft (DataZone- Standard lub DataZone Provisioned-Managed) albo opcję przetwarzania globalnego (Global-Standard lub Global Provisioned-Managed).

W przypadku dopasowanych modeli dodatkowy Developer typ wdrożenia zapewnia kosztowo efektywne środki do oceny modelu dopasowanego, ale bez wymogu lokalizacji danych.

Wszystkie wdrożenia mogą wykonywać dokładnie te same operacje wnioskowania, ale rozliczenia, skala i wydajność są znacznie inne. W ramach projektu rozwiązania należy podjąć kluczowe decyzje w dwóch kategoriach:

• Lokalizacja przetwarzania danych
• Głośność wywołań

Lokalizacje przetwarzania danych wdrożenia rozwiązania Foundry

W przypadku wdrożeń standardowych dostępne są trzy opcje typu wdrożenia: globalna, strefa danych i lokalizacja geograficzna platformy Azure. W przypadku wdrożeń aprowizowanych dostępne są dwie opcje typu wdrożenia: lokalizacja geograficzna globalna i geograficzna platformy Azure. Zalecamy standard globalny jako punkt wyjścia.

Wdrożenia globalne

Wdrożenia globalne wykorzystują globalną infrastrukturę platformy Azure do dynamicznego kierowania ruchu klientów do centrum danych o najlepszej dostępności żądań inferencji klienta. Oznacza to, że usługa global oferuje najwyższe początkowe limity przepustowości i najlepszą dostępność modelu, ale nadal zapewnia nasze SLA czasu pracy i niski poziom opóźnień. W przypadku obciążeń o dużej skali powyżej określonych poziomów użycia w warstwach Standardowa i Globalna Standardowa może wystąpić zwiększona zmienność opóźnień. W przypadku klientów, którzy wymagają mniejszej wariancji opóźnień przy dużych obciążeniach roboczych, zalecamy korzystanie z typów wdrożeń z przydzielonymi zasobami.

Nasze wdrożenia globalne są pierwszą lokalizacją dla wszystkich nowych modeli i funkcji. W zależności od wolumenu połączeń klienci z dużym wolumenem i niskimi wymaganiami dotyczącymi wariancji opóźnień powinni rozważyć nasze dedykowane typy wdrożeń.

Wdrożenia strefy danych

W przypadku dowolnego typu wdrożenia oznaczonego jako Globalny monity i odpowiedzi mogą być przetwarzane w dowolnej lokalizacji geograficznej, w której wdrożono odpowiedni model rozwiązania Foundry. Dowiedz się więcej w sekcji "Dostępność regionu modelu według typu wdrożenia" w temacie Modele rozwiązania Foundry sprzedawane bezpośrednio przez platformę Azure.

W przypadku dowolnego typu wdrożenia oznaczonego jako DataZone zapytania i odpowiedzi mogą być przetwarzane w danym regionie geograficznym w określonej strefie danych, zgodnie z definicją Microsoftu. Jeśli utworzysz wdrożenie DataZone w zasobie Foundry znajdującym się w Stanach Zjednoczonych, monity i odpowiedzi mogą być przetwarzane w dowolnym miejscu w Stanach Zjednoczonych. W przypadku utworzenia wdrożenia DataZone w zasobie Foundry znajdującym się w kraju członkowskim Unii Europejskiej, monity i odpowiedzi mogą być przetwarzane w tym lub w innym kraju członkowskim Unii Europejskiej.

W przypadku typów wdrożeń Global i DataZone wszystkie dane przechowywane w spoczynku, takie jak przekazane dane, są przechowywane w lokalizacji geograficznej wyznaczonej przez klienta. Dotyczy to tylko lokalizacji przetwarzania, gdy klient używa typu wdrożenia Global lub DataZone w zasobie foundry; Zobowiązania dotyczące przetwarzania danych i zgodności platformy Azure pozostają stosowane.

Standardowa globalna

• Nazwa SKU w kodzie: GlobalStandard

Wdrożenia globalne są dostępne w tych samych zasobach rozwiązania Foundry co typy wdrożeń innych niż globalne. Umożliwiają one jednak dynamiczne kierowanie ruchu do centrum danych przy użyciu globalnej infrastruktury platformy Azure z najlepszą dostępnością dla każdego żądania. Global Standard zapewnia najwyższy limit przydziału domyślnego i eliminuje konieczność równoważenia obciążenia w wielu zasobach.

Klienci z dużą, stałą ilością mogą doświadczać większej zmienności opóźnienia. Próg jest ustawiany dla modelu. Aby dowiedzieć się więcej, zobacz zakładkę Limity. W przypadku aplikacji, które wymagają mniejszej wariancji opóźnienia przy dużym obciążeniu, zalecamy zakup zagwarantowanej przepływności.

Globalne wdrożenie według standardu umożliwia przetwarzanie priorytetowe, zapewniając niezawodną, szybką wydajność z elastycznym modelem 'pay-as-you-go'. Aby dowiedzieć się więcej, zobacz Przetwarzanie priorytetowe modeli Foundry (wersja zapoznawcza).

Globalne przydzielenie

• Nazwa SKU w kodzie: GlobalProvisionedManaged

Wdrożenia globalne są dostępne w tych samych zasobach rozwiązania Foundry co typy wdrożeń innych niż globalne. Umożliwiają one jednak dynamiczne kierowanie ruchu do centrum danych przy użyciu globalnej infrastruktury platformy Azure z najlepszą dostępnością dla każdego żądania. Globalne wdrożenia aprowizowane zapewniają zarezerwowaną pojemność przetwarzania modeli na potrzeby wysokiej i przewidywalnej przepływności, wykorzystując globalną infrastrukturę Azure.

Globalna partia

• Nazwa SKU w kodzie: GlobalBatch

Usługa Global Batch została zaprojektowana tak, aby wydajnie obsługiwać zadania przetwarzania dużych i dużych ilości. Możesz przetwarzać asynchroniczne grupy żądań z oddzielnym limitem przydziału i 24-godzinnym zwrotem docelowym, przy 50% niższych kosztach niż Global Standard. W przypadku przetwarzania wsadowego zamiast wysyłania jednego żądania jednocześnie wysyła się dużą liczbę żądań w jednym pliku. Globalne żądania usługi Batch mają oddzielny limit przydziału tokenu w kolejce, co pozwala uniknąć zakłóceń obciążeń online.

Najważniejsze przypadki użycia:

• Przetwarzanie danych na dużą skalę: szybko analizuj obszerne zestawy danych równolegle.
• Generowanie zawartości: utwórz duże ilości tekstu, takie jak opisy produktów lub artykuły.
• Przegląd i podsumowanie dokumentów: automatyzowanie przeglądu i podsumowania długich dokumentów.
• Automatyzacja obsługi klienta: obsługa wielu zapytań jednocześnie w celu uzyskania szybszych odpowiedzi.
• Wyodrębnianie i analiza danych: wyodrębnianie i analizowanie informacji z ogromnych ilości danych bez struktury.
• Zadania przetwarzania języka naturalnego (NLP): wykonaj zadania, takie jak analiza tonacji lub tłumaczenie dużych zestawów danych.
• Marketing i personalizacja: generowanie spersonalizowanej zawartości i rekomendacji na dużą skalę.

Strefa danych Standard

• Nazwa SKU w kodzie: DataZoneStandard

Standardowa warstwa strefy danych jest dostępna w tym samym zasobie Foundry, co wszystkie inne typy wdrożeń. Umożliwiają one jednak dynamiczne kierowanie ruchu do centrum danych w strefie danych zdefiniowanej przez firmę Microsoft przy użyciu globalnej infrastruktury platformy Azure z najlepszą dostępnością dla każdego żądania. Standard strefy danych zapewnia wyższe domyślne limity przydziału niż typy wdrożeń opartych na lokalizacji geograficznej platformy Azure.

Klienci z dużą, stałą ilością mogą doświadczać większej zmienności opóźnienia. Próg jest ustawiany dla modelu. Aby dowiedzieć się więcej, zobacz stronę limitów i przydziałów. W przypadku obciążeń, które wymagają małej wariancji opóźnień przy dużym wolumenie, zalecamy korzystanie z ofert wdrożeniowych z zarezerwowanymi zasobami.

Standardowe wdrożenie w strefie danych obsługuje korzystanie z przetwarzania priorytetowego w celu zapewnienia niezawodnej, szybkiej wydajności z elastycznością płatności zgodnie z modelem "pay-as-you-go". Aby dowiedzieć się więcej, zobacz Przetwarzanie priorytetowe modeli Foundry (wersja zapoznawcza).

Przydzielona strefa danych

• Nazwa SKU w kodzie: DataZoneProvisionedManaged

Wdrożenia aprowizowania strefy danych są dostępne w tym samym zasobie usługi Foundry co wszystkie inne typy wdrożeń rozwiązania Foundry. Umożliwiają one jednak dynamiczne kierowanie ruchu do centrum danych w strefie danych określonej przez firmę Microsoft przy użyciu globalnej infrastruktury platformy Azure z najlepszą dostępnością dla każdego żądania. Wdrożenia z zastrzeżoną strefą danych zapewniają zarezerwowaną pojemność przetwarzania modelu dla wysokiej i przewidywalnej przepływności, korzystając z infrastruktury platformy Azure w strefie danych określonej przez firmę Microsoft.

Partie Strefy Danych

• Nazwa SKU w kodzie: DataZoneBatch

Wdrożenia usługi Batch w strefie danych zapewniają te same funkcje co wdrożenia usługi Batch globalnej. Umożliwiają one jednak używanie globalnej infrastruktury platformy Azure do dynamicznego kierowania ruchu do tylko centrów danych w strefie danych zdefiniowanej przez firmę Microsoft z najlepszą dostępnością dla każdego żądania.

Standard

• Nazwa SKU w kodzie: Standard

Standardowe wdrożenia oferują model rozliczeń za połączenie w ramach wybranego modelu. Ten model może być szybkim sposobem rozpoczęcia pracy, ponieważ płacisz tylko za to, co zużywasz. Modele dostępne w każdym regionie oraz przepustowość mogą być ograniczone.

Wdrożenia standardowe są zoptymalizowane pod kątem obciążeń o małej i średniej intensywności przy dużej zmienności obciążenia. Klienci z dużą, stałą ilością mogą doświadczać większej zmienności opóźnienia.

Konfiguracja regionalna

• Nazwa SKU w kodzie: ProvisionedManaged

Wdrożenia aprowizacji regionalnej umożliwiają określenie wymaganej przepływności we wdrożeniu. Następnie usługa przydziela niezbędną pojemność do przetwarzania modeli i upewnia się, że jest ona gotowa do użycia. Przepływność jest definiowana pod względem aprowizowanych jednostek przepływności, czyli znormalizowanego sposobu reprezentowania przepływności dla wdrożenia. Każda para wersji modelu wymaga różnych ilości aprowizowanych jednostek przepływności do wdrożenia i zapewnia różne ilości przepływności na aprowizowaną jednostkę przepływności. Dowiedz się więcej w artykule o pojęciach aprowizowanej przepływności.

Wyłączanie dostępu do wdrożeń globalnych w ramach subskrypcji

Usługa Azure Policy pomaga wymuszać standardy organizacyjne i oceniać zgodność na dużą skalę. Za pośrednictwem pulpitu nawigacyjnego zgodności udostępnia on zagregowany widok umożliwiający ocenę ogólnego stanu środowiska z możliwością przejścia do poziomu szczegółowości dla poszczególnych zasobów i zasad. Pomaga również zapewnić zgodność zasobów dzięki korygowaniu zbiorczemu istniejących zasobów i automatycznemu korygowaniu nowych zasobów. Dowiedz się więcej o usłudze Azure Policy i określonych, wbudowanych kontrolkach narzędzi Foundry Tools.

Poniższe zasady umożliwiają wyłączenie dostępu do dowolnego typu wdrożenia rozwiązania Foundry. Aby wyłączyć dostęp do określonego typu wdrożenia, zastąp GlobalStandard ciąg nazwą jednostki SKU typu wdrożenia, do którego chcesz wyłączyć dostęp.

{
    "mode": "All",
    "policyRule": {
        "if": {
            "allOf": [
                {
                    "field": "type",
                    "equals": "Microsoft.CognitiveServices/accounts/deployments"
                },
                {
                    "field": "Microsoft.CognitiveServices/accounts/deployments/sku.name",
                    "equals": "GlobalStandard"
                }
            ]
        }
    }
}

Deweloper (dla dostrojonych modeli)

• Nazwa SKU w kodzie: DeveloperTier

Modele dopracowane obsługują wdrożenie Developer, stworzone z myślą o wsparciu niestandardowej oceny modelu. Nie oferuje gwarancji rezydencji danych ani umowy SLA. Aby dowiedzieć się więcej na temat używania Developer typu wdrożenia, zobacz przewodnik dostosowywania.

Wdrażanie modeli

Aby dowiedzieć się więcej na temat tworzenia zasobów i wdrażania modeli, zapoznaj się z przewodnikiem tworzenia zasobów.

Treści powiązane

• Limity i kwoty modeli usługi Microsoft Foundry
• Prywatność danych i zabezpieczenia Foundry Models