Co to jest Microsoft Foundry on Windows?

Microsoft Foundry on Windows Udostępnia wiele funkcji opartych na sztucznej inteligencji oraz APIs dla komputerów Copilot+ uruchamianych lokalnie i w tle przez cały czas.

Microsoft Foundry on Windows zawiera kilka składników, które obsługują unikatowe środowiska sztucznej inteligencji:

1. Windows AI APIs: użyj wbudowanej sztucznej APIs inteligencji systemu Windows, aby zintegrować usługi sztucznej inteligencji z aplikacjami systemu Windows. Należą do nich APIs następujące elementy:

   • Krzemionka Phi: gotowy do użycia, lokalny model językowy.
   • Dostosowywanie modelu językowego: dostrój model "Phi Silica" z Adaptacją o Niskiej Randze (LoRA).
   • Obrazowanie: Skalowanie i wyostrzanie obrazu (Super rozdzielczość obrazu), generowanie tekstu opisującego obraz (Opis obrazu), identyfikowanie obiektów na obrazie (Segmentacja obrazów), usuwanie obiektów z obrazu (wymazywanie obiektów) i generowanie obrazów z tekstu monitu (Generowanie obrazu).
   • Super rozdzielczość wideo (VSR): Podnoszenie jakości strumieni wideo o niskiej rozdzielczości.
   • Analiza tekstu: wykrywanie i wyodrębnianie tekstu na obrazach i konwertowanie go na strumienie znaków z możliwością odczytu maszynowego (Text Recognition), formatowanie odpowiedzi monitu w formacie tabeli ustrukturyzowanej, podsumowywanie tekstu monitu i konwersacje oraz ponowne zapisywanie tekstu monitu w celu zoptymalizowania jasności, czytelności i tonu (lub stylu).
   • Wyszukiwanie zawartości aplikacji: indeksuj zawartość w aplikacji, aby umożliwić wyszukiwanie według słowa kluczowego lub semantycznego znaczenia oraz utworzyć lokalny system rozszerzonego generowania (RAG, Retrieval Augmented Generation) i bazę wiedzy na urządzeniu dla lokalnego lub chmurowego dużego modelu językowego (LLM, Large Language Model).

2. Foundry Local: popularne modele systemu operacyjnego, które można wykorzystać i ściągnąć do aplikacji

3. Windows ML: umożliwia wnioskowanie sztucznej inteligencji przy użyciu własnego modelu ONNX

4. Narzędzia deweloperskie: narzędzia, takie jak Visual Studio AI Toolkit i Galeria deweloperów sztucznej inteligencji , które pomogą Ci w pomyślnym tworzeniu możliwości sztucznej inteligencji

Jak można używać sztucznej inteligencji w aplikacji systemu Windows?

Oto kilka sposobów wykorzystania modeli uczenia maszynowego (ML) dla aplikacji systemu Windows w celu zwiększenia ich funkcjonalności i środowiska użytkownika przy użyciu sztucznej inteligencji:

• Aplikacje mogą używać modeli generacyjnych sztucznej inteligencji do zrozumienia złożonych tematów podsumowywania, ponownego zapisywania, raportowania lub rozszerzania.
• Aplikacje mogą używać modeli, które przekształcają zawartość bezpłatną w format ustrukturyzowany, który aplikacja może zrozumieć.
• Aplikacje mogą używać modeli wyszukiwania semantycznego, które umożliwiają użytkownikom wyszukiwanie zawartości według znaczenia i szybkie znajdowanie powiązanej zawartości.
• Aplikacje mogą używać modeli przetwarzania języka naturalnego do analizowania złożonych wymagań języka naturalnego oraz planowania i wykonywania działań w celu spełnienia prośby użytkownika.
• Aplikacje mogą używać modeli manipulowania obrazami do inteligentnego modyfikowania obrazów, wymazywania lub dodawania tematów, skalowania w górę lub generowania nowej zawartości.
• Aplikacje mogą używać predykcyjnych modeli diagnostycznych, aby pomóc w identyfikowaniu i przewidywaniu problemów oraz prowadzić użytkownika lub robić to za niego.

Korzystanie ze sztucznej inteligencji APIs systemu Windows w porównaniu z wprowadzaniem własnych modeli

Korzystanie ze sztucznej inteligencji systemu Windows APIs

Gdy lokalny model sztucznej inteligencji jest właściwym rozwiązaniem, możesz użyć sztucznej inteligencji systemu Windows APIs , aby zintegrować usługi sztucznej inteligencji dla użytkowników na komputerach Copilot+ . Są one APIs wbudowane w komputerze i umożliwiają unikatowe funkcje oparte na sztucznej inteligencji przy stosunkowo małym obciążeniu.

Trenowanie własnego modelu

Jeśli masz możliwość trenowania własnego modelu przy użyciu własnych danych prywatnych z platformami takimi jak TensorFlow lub PyTorch. Możesz zintegrować ten model niestandardowy z aplikacją systemu Windows, uruchamiając go lokalnie na sprzęcie urządzenia przy użyciu programu ONNX Runtime i AI Toolkit dla programu Visual Studio Code.

AI Toolkit Dla programu Visual Studio Code to rozszerzenie programu VS Code, które umożliwia pobieranie i uruchamianie modeli sztucznej inteligencji lokalnie, w tym dostęp do przyspieszania sprzętowego w celu uzyskania lepszej wydajności i skalowania za pomocą języka DirectML. AI Tookit może również pomóc w:

• Testowanie modeli w intuicyjnym środowisku zabaw lub w aplikacji przy użyciu interfejsu API REST.
• Dostrajanie modelu sztucznej inteligencji zarówno lokalnie, jak i w chmurze (na maszynie wirtualnej) w celu utworzenia nowych umiejętności, zwiększenia niezawodności odpowiedzi, ustawienia tonu i formatu odpowiedzi.
• Dostrajanie popularnych modeli małych języków (SLMs), takich jak Phi-3 i Mistral.
• Wdróż funkcję sztucznej inteligencji w chmurze lub za pomocą aplikacji działającej na urządzeniu.
• Wykorzystanie przyspieszania sprzętowego w celu uzyskania lepszej wydajności dzięki funkcjom sztucznej inteligencji przy użyciu języka DirectML. DirectML to interfejs API niskiego poziomu, który umożliwia sprzętowi urządzenia z systemem Windows przyspieszenie wydajności modeli uczenia maszynowego przy użyciu procesora GPU lub procesora NPU urządzenia. Parowanie języka DirectML z funkcją ONNX Runtime jest zwykle najprostszym sposobem, w jaki deweloperzy mogą zapewnić użytkownikom sztuczną inteligencję przyspieszaną sprzętowo. Dowiedz się więcej: Omówienie języka DirectML.
• Kwantyzowanie i weryfikacja modelu do użycia na NPU przy wykorzystaniu możliwości konwersji modelu

Możesz również przyjrzeć się tym koncepcjom dostosowywania modelu aby dostosować wstępnie wytrenowany model do danych.

Korzystanie z modeli sztucznej inteligencji w chmurze

Jeśli korzystanie z lokalnych funkcji sztucznej inteligencji nie jest właściwą ścieżką, użycie modeli i zasobów sztucznej inteligencji w chmurze może być rozwiązaniem.

Inne funkcje sztucznej inteligencji

1. Akcje aplikacji w systemie Windows: tworzenie akcji dla aplikacji umożliwiających nowe i unikatowe możliwości sztucznej inteligencji dla użytkowników

Korzystanie z praktyk dotyczących odpowiedzialnej sztucznej inteligencji

Za każdym razem, gdy dołączasz funkcje sztucznej inteligencji do swojej aplikacji na Windows, zdecydowanie zalecamy przestrzeganie wytycznych dotyczących tworzenia i wdrażania odpowiedzialnych aplikacji oraz funkcji generatywnej sztucznej inteligencji na Windows.