Nuta
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować się zalogować lub zmienić katalog.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Uwaga / Notatka
Ten dokument odnosi się do portalu Microsoft Foundry (klasycznego).
🔍 Zapoznaj się z dokumentacją rozwiązania Microsoft Foundry (nową), aby dowiedzieć się więcej o nowym portalu.
Wykaz modeli w rozwiązaniu Microsoft Foundry to centrum do odnajdywania i używania szerokiej gamy modeli foundry do tworzenia aplikacji generacyjnych sztucznej inteligencji. Musisz wdrożyć modele, aby udostępnić je do odbierania żądań wnioskowania. Platforma Foundry oferuje kompleksowy zestaw opcji wdrażania dla modeli foundry w zależności od potrzeb i wymagań dotyczących modelu.
Opcje wdrożenia
Narzędzie Foundry udostępnia kilka opcji wdrażania w zależności od typu modeli i zasobów, które należy aprowizować. Dostępne są następujące opcje wdrażania:
- Standardowe wdrożenie w zasobach Foundry
- Wdrażanie interfejsu API do bezserwerowych punktów końcowych
- Wdrażanie w zarządzanych obliczeniach
Portal foundry może automatycznie wybrać opcję wdrożenia na podstawie środowiska i konfiguracji. Zawsze, gdy jest to możliwe, użyj zasobów usługi Foundry do wdrożenia. Modele, które obsługują wiele opcji wdrażania, domyślnie korzystają z zasobów Foundry do wdrożenia. Aby uzyskać dostęp do innych opcji wdrażania, użyj interfejsu wiersza polecenia platformy Azure lub zestawu Azure Machine Learning SDK do wdrożenia.
Standardowe wdrożenie w zasobach Foundry
Zasoby usługi Foundry (wcześniej nazywane zasobami usług Azure AI Services) są preferowaną opcją wdrażania w rozwiązaniu Foundry. Oferuje najszerszy zakres możliwości, w tym przetwarzanie regionalne, strefowe lub globalne, oraz oferuje standardowe i zarezerwowaną przepustowość (PTU). Modele flagowe w Foundry Models obsługują tę opcję wdrażania.
Ta opcja wdrożenia jest dostępna w:
- Zasoby Foundry
- Zasoby usługi Azure OpenAI1
- Azure AI Hub, po połączeniu z zasobem Foundry
1Jeśli używasz zasobów usługi Azure OpenAI, wykaz modeli zawiera tylko usługę Azure OpenAI w modelach usługi Foundry na potrzeby wdrażania. Pełną listę modeli Foundry można uzyskać, przechodząc na zasób Foundry.
Aby rozpocząć standardowe wdrażanie w zasobach Foundry, zobacz Instrukcje: wdrażanie modeli do Modeli Foundry.
Punkt końcowy bezserwerowego interfejsu API
Ta opcja wdrożenia jest dostępna tylko wzasobach centrum sztucznej inteligencji platformy Azure. Umożliwia tworzenie dedykowanych punktów końcowych do hostowania modelu, dostępnego za pośrednictwem interfejsu API. Modele foundry obsługują bezserwerowe punkty końcowe API z rozliczaniem według rzeczywistego użycia, a dla bezserwerowych punktów końcowych API można tworzyć tylko wdrożenia regionalne.
Aby rozpocząć wdrażanie w punkcie końcowym interfejsu API bez serwera, zobacz Wdrażanie modeli jako bezserwerowych wdrożeń interfejsu API.
Zarządzane obliczenia
Ta opcja wdrożenia jest dostępna tylko wzasobach centrum sztucznej inteligencji platformy Azure. Umożliwia utworzenie dedykowanego punktu końcowego do hostowania modelu w dedykowanym środowisku obliczeniowym. Aby hostować model, musisz mieć limit przydziału zasobów obliczeniowych w ramach subskrypcji, a opłaty są naliczane za czas pracy obliczeniowej.
Wdrożenie zarządzanego środowiska obliczeniowego jest wymagane w przypadku kolekcji modeli, które obejmują:
- Przytulanie twarzy
- Mikrousługi wnioskowania firmy NVIDIA (NIM)
- Modele branżowe (Saifr, Rockwell, Bayer, Cerence, Sight Machine, Page AI, SDAIA)
- Databricks
- Modele niestandardowe
Aby rozpocząć, zobacz Jak wdrożyć i przeprowadzić inferencję na zarządzanej infrastrukturze obliczeniowej oraz Wdrażanie modelów Foundry na zarządzanej infrastrukturze obliczeniowej z rozliczaniem "pay-as-you-go" (Jak wdrażać i wnioskować zarządzane modele obliczeniowe przy użyciu rozliczeń z płatnością zgodnie z rzeczywistym użyciem).
Możliwości opcji wdrażania
Używaj Standardowych wdrożeń w zasobach Foundry, gdy tylko to możliwe. Ta opcja wdrożenia zapewnia najwięcej możliwości spośród dostępnych opcji wdrażania. W poniższej tabeli wymieniono szczegółowe informacje o określonych możliwościach dla każdej opcji wdrażania:
| Zdolność | Standardowe wdrożenie w zasobach Foundry | Punkt końcowy bezserwerowego interfejsu API | Zarządzane obliczenia |
|---|---|---|---|
| Które modele można wdrożyć? | Modele odlewnicze | Modele Foundry z rozliczeniami typu pay-as-you-go | Otwieranie i modele niestandardowe |
| Zasób wdrożenia | Zasób usługi Foundry | Projekt sztucznej inteligencji (w zasobie centrum sztucznej inteligencji) | Projekt sztucznej inteligencji (w zasobie centrum sztucznej inteligencji) |
| Wymaga centrów sztucznej inteligencji | Nie. | Tak | Tak |
| Opcje przetwarzania danych | Regionalny Strefa danych Światowy |
Regionalne | Regionalne |
| Sieć prywatna | Tak | Tak | Tak |
| Filtrowanie zawartości | Tak | Tak | Nie. |
| Niestandardowe filtrowanie zawartości | Tak | Nie. | Nie. |
| Uwierzytelnianie bez klucza | Tak | Nie. | Nie. |
| Podstawy rozliczeń | Użycie tokenów i jednostki przepływności o zastrzeżonej przepustowości | Użycie tokenu2 | 3 godziny rdzeni obliczeniowych |
2 Minimalna infrastruktura punktu końcowego jest rozliczana na minutę. Nie są naliczane opłaty za infrastrukturę, która hostuje model we wdrożeniu bezserwerowym. Po usunięciu punktu końcowego nie będą naliczane żadne dodatkowe opłaty.
3 Rozliczenia są naliczane na minutę, w zależności od warstwy produktu i liczby wystąpień używanych we wdrożeniu od momentu utworzenia. Po usunięciu punktu końcowego nie będą naliczane żadne dodatkowe opłaty.