Wprowadzenie do lokalnego programu Foundry

Foundry Local to lokalna wersja rozwiązania Microsoft Foundry, która umożliwia lokalne wykonywanie dużych modeli językowych (LLM) bezpośrednio na urządzeniu z systemem Windows. Jest to dobra alternatywa, jeśli chcesz bardziej szczegółowo zaimplementować scenariusz sztucznej inteligencji, który nie jest dostępny w interfejsach API sztucznej inteligencji systemu Windows.

To rozwiązanie wnioskowania sztucznej inteligencji na urządzeniu zapewnia korzyści związane z prywatnością, dostosowywaniem i kosztami w porównaniu z alternatywami opartymi na chmurze. Najlepiej, że pasuje do istniejących przepływów pracy i aplikacji za pomocą łatwego w użyciu interfejsu wiersza polecenia i interfejsu API REST. Aby uzyskać więcej informacji na temat lokalnego narzędzia Foundry, zobacz dokumentację usługi Foundry Local.