Wybieranie między modelami sztucznej inteligencji opartymi na chmurze i lokalnymi

W przypadku deweloperów aplikacji, którzy chcą zintegrować funkcje sztucznej inteligencji, firma Microsoft Windows oferuje kompleksową i elastyczną platformę, która obsługuje zarówno lokalne, lokalne, na urządzeniach, jak i skalowalne rozwiązania oparte na chmurze.

Wybór między lokalnymi i opartymi na chmurze modelami sztucznej inteligencji zależy od konkretnych potrzeb i priorytetów. Czynniki, które należy wziąć pod uwagę, obejmują:

• Prywatność, zgodność i zabezpieczenia danych
• Dostępność zasobów
• Ułatwienia dostępu i współpraca
• Koszt
• Konserwacja i aktualizacje
• Wydajność i opóźnienie
• Skalowalność
• Wymagania dotyczące łączności
• Rozmiar i złożoność modelu
• Narzędzia i skojarzony ekosystem
• Dostosowywanie i kontrola

Kluczowe czynniki decyzyjne dla deweloperów aplikacji

• Prywatność, zgodność i zabezpieczenia danych

  • • Lokalna, lokalna: Ponieważ dane pozostają na urządzeniu, uruchomienie modelu lokalnie może oferować korzyści związane z bezpieczeństwem i prywatnością, a odpowiedzialność za bezpieczeństwo danych spoczywa na użytkowniku. Deweloper ponosi odpowiedzialność za zarządzanie aktualizacjami, zapewnianie zgodności i monitorowanie luk w zabezpieczeniach.
  • • Chmura: Dostawcy usług w chmurze oferują niezawodne środki zabezpieczeń, ale dane muszą być przesyłane do chmury, co może budzić obawy dotyczące prywatności danych dla osoby odpowiedzialnej za działalność biznesową lub usługę app service w niektórych przypadkach. Wysyłanie danych do chmury musi być również zgodne z przepisami dotyczącymi ochrony danych, takimi jak RODO lub HIPAA, w zależności od charakteru danych i regionu, w którym działa aplikacja. Dostawcy usług w chmurze zwykle obsługują aktualizacje zabezpieczeń i konserwację, ale użytkownicy muszą upewnić się, że korzystają z bezpiecznych interfejsów API i przestrzegają najlepszych rozwiązań dotyczących obsługi danych.

• Dostępność zasobów

  • Lokalna, lokalna: Uruchomienie modelu zależy od zasobów dostępnych na używanym urządzeniu, w tym procesora CPU, procesora GPU, procesora NPU, pamięci i pojemności magazynu. Może to być ograniczenie, jeśli urządzenie nie ma dużej mocy obliczeniowej lub wystarczającej ilości miejsca do magazynowania. Małe modele językowe (SLM), takie jak Phi, są bardziej odpowiednie do użytku lokalnego na urządzeniu. Copilot+Komputery oferują wbudowane modele z funkcjami sztucznej inteligencji gotowymi do użycia obsługiwanymi przez Microsoft Foundry on Windows.

  • • Chmura: Platformy w chmurze, takie jak Azure usługi sztucznej inteligencji, oferują skalowalne zasoby. Możesz użyć jak najwięcej mocy obliczeniowej lub magazynu, ile potrzebujesz, i płacić tylko za to, czego używasz. Duże modele językowe (LLM), takie jak modele języka openAI , wymagają większej ilości zasobów, ale są również bardziej zaawansowane.

• Ułatwienia dostępu i współpraca

  • • Lokalna, lokalna: Model i dane są dostępne tylko na urządzeniu, chyba że zostały udostępnione ręcznie. Może to sprawić, że współpraca nad danymi modelu będzie trudniejsza.
  • • Chmura: Dostęp do modelu i danych można uzyskać z dowolnego miejsca z łącznością z Internetem. Może to być lepsze w przypadku scenariuszy współpracy.

• Koszt

  • Lokalna, lokalna: Nie ma dodatkowych kosztów poza początkową inwestycją w sprzęt urządzenia.

  • Chmura: Podczas gdy platformy w chmurze działają w modelu płatności zgodnie z rzeczywistym użyciem, koszty mogą kumulować się na podstawie używanych zasobów i czasu trwania użycia.

• Konserwacja i aktualizacje

  • Lokalna, lokalna: Użytkownik jest odpowiedzialny za utrzymanie systemu i instalowanie aktualizacji.

  • Chmura: Konserwacja, aktualizacje systemu i nowe aktualizacje funkcji są obsługiwane przez dostawcę usług w chmurze, co zmniejsza obciążenie związane z konserwacją użytkownika.

• Wydajność i opóźnienie

  • Lokalna, lokalna: Uruchamianie modelu lokalnie może zmniejszyć opóźnienie, ponieważ dane nie muszą być wysyłane za pośrednictwem sieci. Jednak wydajność jest ograniczona przez możliwości sprzętowe urządzenia.

  • Chmura: Modele oparte na chmurze mogą korzystać z zaawansowanego sprzętu, ale mogą powodować opóźnienia ze względu na komunikację sieciową. Wydajność może się różnić w zależności od połączenia internetowego użytkownika i czasu odpowiedzi usługi w chmurze.

• Skalowalność

  • Lokalna, lokalna: Skalowanie modelu na urządzeniu lokalnym może wymagać znacznych uaktualnień sprzętowych lub dodania większej liczby urządzeń, co może być kosztowne i czasochłonne.

  • Chmura: Platformy w chmurze oferują łatwą skalowalność, umożliwiając szybkie dostosowywanie zasobów na podstawie zapotrzebowania bez konieczności wprowadzania fizycznych zmian sprzętu.

• Wymagania dotyczące łączności

  • Lokalna, lokalna: Urządzenie lokalne nie wymaga połączenia internetowego z uruchomionym modelem, co może być korzystne w środowiskach z ograniczoną łącznością.

  • Chmura: Modele oparte na chmurze wymagają stabilnego połączenia internetowego w celu uzyskania dostępu i mogą mieć wpływ na problemy z siecią.

• Rozmiar i złożoność modelu

  • Lokalna, lokalna: Urządzenia lokalne mogą mieć ograniczenia dotyczące rozmiaru i złożoności modeli, które mogą być uruchamiane z powodu ograniczeń sprzętowych. Mniejsze modele, takie jak Phi, są bardziej odpowiednie do wykonywania lokalnego.

  • Chmura: Platformy w chmurze mogą obsługiwać większe i bardziej złożone modele, takie jak te udostępniane przez platformę OpenAI, ze względu na ich skalowalną infrastrukturę.

• Narzędzia i skojarzony ekosystem

  • Lokalne, lokalne wdrożenie: Lokalne rozwiązania sztucznej inteligencji, takie jak Microsoft FoundryMicrosoft Foundry on Windows, Windows ML i Foundry Local, integrują się z zestawem SDK aplikacji Windows i środowiskiem uruchomieniowym ONNX, dzięki czemu deweloperzy mogą osadzać modele bezpośrednio w aplikacjach desktopowych lub brzegowych, z minimalnymi zależnościami zewnętrznymi.

  • Chmura: Rozwiązania sztucznej inteligencji w chmurze, takie jak Microsoft Foundry, Azure usługi sztucznej inteligencji i Azure usługa OpenAI, zapewniają kompleksowy zestaw interfejsów API i zestawów SDK do tworzenia aplikacji sztucznej inteligencji. Te usługi zostały zaprojektowane tak, aby bezproblemowo integrować się z usługami Azure DevOps, GitHub Copilot, Semantic Kernel i innymi Azure usługami, umożliwiając kompleksową aranżację, wdrażanie modelu i monitorowanie na dużą skalę.

• Dostosowywanie i kontrola

  • Lokalna, lokalna: Lokalne modele mogą być używane bez konieczności posiadania wysokiej wiedzy. Microsoft Foundry on Windows oferuje takie modele, jak Phi Silica te, które są gotowe do użycia. Alternatywnie uczenie Windows maszynowe umożliwia deweloperom uruchamianie modeli niestandardowych, takich jak wytrenowane za pomocą środowiska uruchomieniowego ONNX, bezpośrednio na Windows urządzeniach. Zapewnia to wysoki poziom kontroli nad modelem i jego zachowaniem, co pozwala na precyzyjne dostrajanie i optymalizację w oparciu o konkretne przypadki użycia. Foundry Local Umożliwia również deweloperom uruchamianie modeli lokalnie na Windows urządzeniach, zapewniając wysoki poziom kontroli nad modelem i jego zachowaniem.

  • Chmura: Modele oparte na chmurze oferują również zarówno gotowe do użycia, jak i dostosowywalne opcje, dzięki czemu deweloperzy mogą korzystać ze wstępnie wytrenowanych funkcji, jednocześnie dostosowując model do określonych potrzeb. Microsoft Foundry to ujednolicona Azure oferta typu "platforma jako usługa" dla operacji sztucznej inteligencji przedsiębiorstwa, konstruktorów modeli i tworzenia aplikacji. Ta podstawa łączy infrastrukturę klasy produkcyjnej z przyjaznymi interfejsami, umożliwiając deweloperom skupienie się na tworzeniu aplikacji zamiast zarządzania infrastrukturą.

Przykłady sztucznej inteligencji w chmurze

Jeśli rozwiązanie oparte na chmurze działa lepiej w twoim Windows scenariuszu aplikacji, możesz zainteresować się niektórymi z poniższych samouczków.

Wiele interfejsów API jest dostępnych do uzyskiwania dostępu do modeli opartych na chmurze w celu zasilania funkcji sztucznej inteligencji w aplikacji Windows , niezależnie od tego, czy te modele są dostosowane, czy gotowe do użycia. Użycie modelu opartego na chmurze może umożliwić aplikacji pozostanie usprawnione przez delegowanie zadań intensywnie korzystających z zasobów do chmury. Kilka zasobów ułatwia dodawanie opartych na chmurze interfejsów API opartych na sztucznej inteligencji oferowanych przez firmę Microsoft lub OpenAI:

• Dodawanie uzupełniania czatu OpenAI do interfejsu WinUI 3 / Windows Aplikacja klasyczna zestawu SDK aplikacji: samouczek dotyczący integrowania opartych na chmurze funkcji uzupełniania OpenAI ChatGPT w aplikacji klasycznej WinUI 3 / Windows App SDK.

• Dodawanie DALL-E do interfejsu WinUI 3 / Windows Aplikacja klasyczna zestawu SDK aplikacji: samouczek dotyczący integrowania opartego na chmurze interfejsu OpenAI DALL-E możliwości generowania obrazów w aplikacji klasycznej WinUI 3 / Windows App SDK.

• Tworzenie aplikacji rekomendacyjnej z wykorzystaniem .NET MAUI i ChatGPT: samouczek dotyczący tworzenia przykładowej aplikacji rekomendacyjnej, która integruje oparte na chmurze funkcjonalności OpenAI ChatGPT do uzupełniania tekstu w aplikacji .NET MAUI.

• Dodawanie DALL-E do aplikacji klasycznej .NET MAUIWindows: samouczek dotyczący integrowania chmurowych funkcji generowania obrazów DALL-E openAI w aplikacji .NET MAUI.

• Azure Usługa OpenAI: Jeśli chcesz, aby aplikacja Windows mogła uzyskiwać dostęp do modeli OpenAI, takich jak GPT-4, GPT-4 Turbo with Vision, GPT-3.5-Turbo, DALLE-3 lub z serii modeli Osadzanie, z dodanymi funkcjami Azurezabezpieczeń i przedsiębiorstwa, możesz znaleźć wskazówki w tej Azure dokumentacji openAI.

• Azure Usługi sztucznej inteligencji: Azure oferuje cały pakiet usług sztucznej inteligencji dostępny za pośrednictwem interfejsów API REST i zestawów SDK biblioteki klienta w popularnych językach programowania. Aby uzyskać więcej informacji, zobacz dokumentację każdej usługi. Te usługi oparte na chmurze ułatwiają deweloperom i organizacjom szybkie tworzenie inteligentnych, najnowocześniejszych, gotowych na rynek i odpowiedzialnych aplikacji z wbudowanymi i wstępnie utworzonymi i dostosowywalnymi interfejsami API oraz modelami. Przykładowe aplikacje obejmują przetwarzanie języka naturalnego na potrzeby konwersacji, wyszukiwania, monitorowania, tłumaczenia, mowy, przetwarzania obrazów i podejmowania decyzji.