AI on Windows code samples and tutorials (Sztuczna inteligencja w przykładach i samouczkach kodu systemu Windows)

Kolekcja przykładów, które pokazują różne sposoby ulepszania aplikacji systemu Windows przy użyciu lokalnych interfejsów API i modeli uczenia maszynowego(ML), lokalnego przyspieszania sprzętowego przy użyciu języka DirectML i interfejsów API opartych na chmurze.

Podczas dodawania obsługi nowych funkcji sztucznej inteligencji do aplikacji systemu Windows zalecamy najpierw sprawdzenie dostępności modelu.

W przypadku korzystania z funkcji sztucznej inteligencji zalecamy zapoznanie się z tematem Tworzenie odpowiedzialnych aplikacji i funkcji generatywnej sztucznej inteligencji w systemie Windows. Moderowanie zawartości tekstowej jest włączone we wszystkich interfejsach API sztucznej inteligencji systemu Windows w celu zminimalizowania potencjalnie szkodliwej zawartości. Dowiedz się więcej: Moderowanie bezpieczeństwa zawartości za pomocą rozwiązania Microsoft Foundry w systemie Windows.

Ulepszanie aplikacji systemu Windows przy użyciu sztucznej inteligencji przy użyciu lokalnych interfejsów API i modeli uczenia maszynowego

W tych przykładach pokazano, jak ulepszyć aplikacje systemu Windows przy użyciu sztucznej inteligencji przy użyciu lokalnych interfejsów API i modeli uczenia maszynowego.

Galeria deweloperów sztucznej inteligencji

Repozytorium GitHub: galeria deweloperów sztucznej inteligencji

Opis: Galeria deweloperów sztucznej inteligencji to aplikacja typu open source przeznaczona dla deweloperów systemu Windows, którzy chcą zintegrować funkcje sztucznej inteligencji we własnych aplikacjach i projektach. Oferuje ponad 25 interaktywnych przykładów obsługiwanych przez lokalne modele sztucznej inteligencji, w tym przykłady dla wszystkich interfejsów API sztucznej inteligencji systemu Windows. Aplikacja oferuje prosty interfejs do eksplorowania, pobierania i uruchamiania modeli z platformy Hugging Face i GitHub, wykorzystując procesor NPU komputera, procesor CPU lub procesor GPU na podstawie możliwości urządzenia. Ponadto zapewnia możliwość wyświetlania kodu źródłowego języka C# i eksportowania każdego przykładu do autonomicznego projektu programu Visual Studio.

Funkcje: Interaktywne przykłady z łatwym do skopiowania kodem, wnioskowanie modelu lokalnego, prezentacja interfejsów API sztucznej inteligencji systemu Windows

typ aplikacji: C#, WinUI 3

Edytor audio oparty na sztucznej inteligencji

repozytorium GitHub: przykładowy edytor audio sztucznej inteligencji

Description: Edytor audio oparty na sztucznej inteligencji demonstruje tworzenie aplikacji do edycji dźwięku WinUI 3, która wykorzystuje sztuczną inteligencję do dopasowywania fragmentów dźwięku do odpowiedniego zapytania. Przykładem przypadków użycia może być twórca podcastów, który chce utworzyć krótkie klipy audio swojej zawartości do promowania w mediach społecznościowych. W przykładzie użyto lokalnego wnioskowania modelu uczenia maszynowego do obsługi transkrypcji i wyszukiwania semantycznego.

funkcje: wnioskowanie modelu lokalnego za pomocą środowiska uruchomieniowego ONNX, model szeptu, model osadzania

typ aplikacji: C#, WinUI 3

Aplikacja notatek opartych na sztucznej inteligencji

Repozytorium GitHub: Aplikacja przykładowa do notatek oparta na sztucznej inteligencji

Opis: Ta aplikacja do notatek korzystająca ze sztucznej inteligencji demonstruje użycie interfejsów API, w tym rozpoznawania tekstu OCR, transkrypcji audio za pomocą lokalnego modelu uczenia maszynowego, semantycznego wyszukiwania przy użyciu lokalnego modelu osadzeń, stosowania lokalnego modelu językowego Phi3 do celów podsumowywania, autouzupełniania oraz rozumowania tekstu, a także Generacja Wspomagana Wyszukiwaniem (RAG) do powiązania modeli językowych z rzeczywistymi danymi.

funkcje: wyszukiwanie semantyczne za pomocą modelu lokalnego, transkrypcja audio z modelem lokalnym, generowanie rozszerzonej generacji lokalnych retreval (RAG) z Phi3, podsumowanie lokalnego tekstu i rozumowanie za pomocą narzędzia Phi3, wyodrębnianie tekstu z obrazów za pomocą interfejsu API OCR

typ aplikacji: C#, WinUI 3

Pobieranie rozszerzonej generacji (RAG) przy użyciu plików PDF i Phi3

repozytorium GitHub: RAG PDF Analyzer WPF Sample App

Opis: ta przykładowa aplikacja WPF pokazuje, jak utworzyć środowisko z lokalnym modelem językowym (takim jak Phi3), aby odpowiedzieć na pytania dotyczące zawartości w dokumencie PDF. Przykład znajduje odpowiedzi, odwołując się do bazy wiedzy spoza własnych danych treningowych modelu, przed wygenerowaniem odpowiedzi. Wzorzec ten, zwany Retrieval Augmented Generation (RAG), to przykład sposobu oparcia modelu językowego w rzeczywistych autorytatywnych danych.

funkcje : pobieranie rozszerzonej generacji (RAG), generowanie sztucznej inteligencji środowiska uruchomieniowego ONNX, DirectML

typ aplikacji: C#, WPF

Phi3 Czat z Generatywną AI

repozytorium GitHub: przykładowy czat Phi3 WinUI 3

Opis: ten przykład aplikacji WinUI 3 pokazuje, jak używać biblioteki AI generowania środowiska uruchomieniowego ONNX w celu utworzenia środowiska czatu z lokalnym modelem językowym, w szczególności modelem SLM (Phi3 Small Language Model).

Funkcje: Phi3, ONNX Runtime do generatywnej sztucznej inteligencji, DirectML

typ aplikacji: C#, WinUI 3

typ aplikacji: C#, WPF

Lokalne przyspieszanie sprzętowe za pomocą języka DirectML

Przyspieszona sprzętowo Stable Diffusion w sieci

repozytorium GitHub: WebNN Stable Diffusion Turbo

Opis: Ten przykład pokazuje, jak używać WebNN z webowym środowiskiem uruchomieniowym ONNX do uruchamiania Stable Diffusion lokalnie na GPU z użyciem DirectML. SD-Turbo to szybki model generowania tekstu do obrazu, który może syntetyzować fotorealistyczne obrazy z polecenia tekstowego przy jednorazowej analizie sieci. W czasie pokazu możesz wygenerować obraz w 2 sekundy na urządzeniach AI PC, korzystając z interfejsu API WebNN, specjalistycznego interfejsu API niskopoziomowego przeznaczonego do sprzętowego przyspieszania wnioskowania w sieciach neuronowych.

funkcje: lokalne generowanie obrazów, WebNN, DirectML

Typ aplikacji: JavaScript, aplikacje internetowe

Przyspieszony sprzętowo Segment Anything w sieci

repozytorium GitHub: WebNN Segmentuj Cokolwiek

Opis: Ten przykład pokazuje, jak używać WebNN z ONNX Runtime Web do lokalnego uruchamiania Segment Anything na procesorze GPU za pomocą DirectML. Segment wszystko to nowy model sztucznej inteligencji z meta AI, który może "wyciąć" dowolny obiekt. W wersji demonstracyjnej można segmentować dowolny obiekt z przesłanych obrazów.

funkcje: segmentacja obrazu lokalnego, WebNN, DirectML

Typ aplikacji: JavaScript, aplikacje internetowe

Przyspieszony sprzętowo Whisper w sieci

repozytorium GitHub: WebNN Whisper Base

Opis: W tym przykładzie pokazano, jak używać sieci WebNN ze środowiskiem uruchomieniowym ONNX w sieci do uruchamiania funkcji zamiany mowy na tekst modelu Whisper lokalnie na procesorze GPU lub NPU z DirectML. Whisper Base to wstępnie wytrenowany model automatycznego rozpoznawania mowy (ASR) i tłumaczenia mowy. W demonstracji możesz doświadczyć funkcji zamiany mowy na tekst, wykorzystując inferencję na urządzeniu, obsługiwaną przez interfejs API WebNN i DirectML, w szczególności przyspieszenie przez NPU.

Funkcje: lokalna zamiana mowy na tekst, WebNN, DirectML

Typ aplikacji: JavaScript, aplikacje internetowe

Przyspieszone sprzętowo i wstępnie zoptymalizowane modele języka środowiska uruchomieniowego ONNX (Phi3, Llama3 itp.) przy użyciu języka DirectML

Repozytorium GitHub: przykłady DirectML w repozytorium Olive

Opis: w tym przykładzie pokazano, jak uruchomić wstępnie zoptymalizowany model języka ONNX Runtime (ORT) lokalnie na procesorze GPU za pomocą języka DirectML. Przykład zawiera instrukcje dotyczące sposobu konfigurowania środowiska, pobierania najnowszych wstępnie wytrenowanych modeli językowych przy użyciu interfejsu API generowania ORT i uruchamiania modelu w aplikacji Gradio.

funkcje: przyspieszanie sprzętowe, GenAI, ONNX, ONNX Runtime, DirectML

typ aplikacji: Python, Gradio

Modele PyTorch przyspieszane sprzętowo (Phi3, Llama3 itp.) z DirectML

repozytorium GitHub: przykłady PyTorch DirectML

Opis: w tym przykładzie pokazano, jak uruchomić model języka PyTorch lokalnie na procesorze GPU za pomocą języka DirectML. Przykład zawiera instrukcje dotyczące konfigurowania środowiska, pobierania najnowszych wstępnie wytrenowanych modeli językowych i uruchamiania modelu w aplikacji Gradio. Ten przykład obsługuje różne modele języka open source, takie jak modele Llama, Phi3-mini, Phi2 i Mistral-7B.

funkcje: przyspieszanie sprzętowe, PyTorch, DirectML

typ aplikacji: Python, Gradio

Ulepszanie aplikacji systemu Windows za pomocą sztucznej inteligencji przy użyciu interfejsów API w chmurze

Więcej przykładów interfejsu API opartych na chmurze można znaleźć w dokumentacji usług azure AI .

Dodaj uzupełnienia czatu OpenAI do swojej aplikacji WinUI 3 / Windows App SDK

Samouczek : Dodawanie uzupełnień czatu OpenAI do aplikacji WinUI 3/Windows App SDK

Opis: integrowanie możliwości uzupełniania czatu OpenAI w aplikacji klasycznej Zestawu SDK aplikacji WinUI 3/Windows App.

Funkcje: Uzupełnianie czatu OpenAI

typ aplikacji: C#, WinUI 3

Dodaj DALL-E do swojej aplikacji klasycznej WinUI 3 / Windows App SDK

Samouczek : Dodaj DALL-E do aplikacji desktopowej WinUI 3 / Windows App SDK

Opis: integrowanie możliwości generowania obrazów interfejsu OpenAI DALL-E z aplikacją klasyczną WinUI 3/Windows App SDK.

funkcje: generowanie obrazu

typ aplikacji: C#, WinUI 3

Stwórz aplikację rekomendującą z użyciem platformy .NET MAUI i ChatGPT

Samouczek: Stwórz aplikację rekomendacyjną z .NET MAUI i ChatGPT

Opis: Integrowanie możliwości uzupełniania czatu OpenAI w aplikacji na komputery stacjonarne .NET MAUI.

funkcje: generowanie obrazu

typ aplikacji: C#, .NET MAUI

Dodaj DALL-E do aplikacji komputerowej .NET MAUI na system Windows

Tutorial: Dodaj DALL-E do swojej aplikacji pulpitowej .NET MAUI Windows

Opis: Integracja możliwości generowania obrazów OpenAI DALL-E w aplikacji desktopowej .NET MAUI.

funkcje: generowanie obrazu

typ aplikacji: C#, .NET MAUI

Starsze przykłady winML

repozytorium GitHub: przykłady WinML w witrynie GitHub

Opis: WinML nadal jest obsługiwany, ale te przykłady nie zostały zaktualizowane, aby odzwierciedlać współczesne zastosowania sztucznej inteligencji.