Tworzenie aplikacji za pomocą jądra semantycznego i rozwiązania Microsoft Foundry

Z tego artykułu dowiesz się, jak używać Semantic Kernel z modelami wdrożonych z katalogu modeli Foundry w portalu Microsoft Foundry.

Wymagania wstępne

• Konto Azure z aktywną subskrypcją. Jeśli go nie masz, utwórz bezpłatne konto platformy Azure, które obejmuje subskrypcję bezpłatnej wersji próbnej.

• Projekt Foundry opisany w artykule Create a project in Foundry portal (Tworzenie projektu w portalu Foundry).

• Model, który obsługuje interfejs API wnioskowania modelu AI platformy Azure, został wdrożony. W tym artykule wykorzystuje się Mistral-Large wdrożenie. Możesz użyć dowolnego modelu. Do korzystania z funkcji osadzania w usłudze LlamaIndex potrzebny jest model osadzania, taki jak cohere-embed-v3-multilingual.

  • Postępuj zgodnie z instrukcjami w temacie Wdrażanie modeli jako bezserwerowych wdrożeń interfejsu API.

• Zainstalowano środowisko Python w wersji 3.10 lub nowszej, w tym narzędzie.

• Zainstalowane jądro semantyczne. Możesz użyć następującego polecenia:

  pip install semantic-kernel
  

• W tym artykule użyto interfejsu API wnioskowania modelu, dlatego zainstaluj odpowiednie zależności platformy Azure. Możesz użyć następującego polecenia:

  pip install semantic-kernel[azure]
  

Konfigurowanie środowiska

Aby używać modeli językowych wdrożonych w portalu Foundry, potrzebny jest punkt końcowy i poświadczenia do nawiązania połączenia z projektem. Wykonaj następujące kroki, aby uzyskać potrzebne informacje z modelu:

1. Zaloguj się do usługi Microsoft Foundry.

2. Otwórz projekt, w którym wdrożono model, jeśli nie jest jeszcze otwarty.

3. Przejdź do pozycji Modele i punkty końcowe i wybierz wdrożony model zgodnie z wymaganiami wstępnymi.

4. Skopiuj adres URL punktu końcowego i klucz.

   Wskazówka

   Jeśli model został wdrożony przy użyciu obsługi identyfikatora Entra firmy Microsoft, nie potrzebujesz klucza.

W tym przykładzie użyto zmiennych środowiskowych zarówno dla adresu URL punktu końcowego, jak i klucza:

export AZURE_AI_INFERENCE_ENDPOINT="<your-model-endpoint-goes-here>"
export AZURE_AI_INFERENCE_API_KEY="<your-key-goes-here>"

Po skonfigurowaniu punktu końcowego i klucza utwórz klienta w celu nawiązania połączenia z punktem końcowym:

from semantic_kernel.connectors.ai.azure_ai_inference import AzureAIInferenceChatCompletion

chat_completion_service = AzureAIInferenceChatCompletion(ai_model_id="<deployment-name>")

Alternatywnie, jeśli punkt końcowy obsługuje identyfikator Entra firmy Microsoft, możesz użyć następującego kodu, aby utworzyć klienta:

export AZURE_AI_INFERENCE_ENDPOINT="<your-model-endpoint-goes-here>"

from semantic_kernel.connectors.ai.azure_ai_inference import AzureAIInferenceChatCompletion

chat_completion_service = AzureAIInferenceChatCompletion(ai_model_id="<deployment-name>")

Modele usługi Azure OpenAI

Jeśli używasz modelu usługi Azure OpenAI, możesz użyć następującego kodu, aby utworzyć klienta:

from azure.ai.inference.aio import ChatCompletionsClient
from azure.identity.aio import DefaultAzureCredential

from semantic_kernel.connectors.ai.azure_ai_inference import AzureAIInferenceChatCompletion

chat_completion_service = AzureAIInferenceChatCompletion(
    ai_model_id="<deployment-name>",
    client=ChatCompletionsClient(
        endpoint=f"{str(<your-azure-open-ai-endpoint>).strip('/')}/openai/deployments/{<deployment_name>}",
        credential=DefaultAzureCredential(),
        credential_scopes=["https://cognitiveservices.azure.com/.default"],
    ),
)

Parametry wnioskowania

Możesz skonfigurować sposób wnioskowania przy użyciu AzureAIInferenceChatPromptExecutionSettings klasy :

from semantic_kernel.connectors.ai.azure_ai_inference import AzureAIInferenceChatPromptExecutionSettings

execution_settings = AzureAIInferenceChatPromptExecutionSettings(
    max_tokens=100,
    temperature=0.5,
    top_p=0.9,
    # extra_parameters={...},    # model-specific parameters
)

Wywoływanie usługi

Najpierw wywołaj usługę uzupełniania czatu z prostą historią czatu:

import asyncio

async def main():
    ...

if __name__ == "__main__":
    asyncio.run(main())

from semantic_kernel.contents.chat_history import ChatHistory

chat_history = ChatHistory()
chat_history.add_user_message("Hello, how are you?")

response = await chat_completion_service.get_chat_message_content(
    chat_history=chat_history,
    settings=execution_settings,
)
print(response)

Alternatywnie możesz przesłać strumieniowo odpowiedź z usługi:

chat_history = ChatHistory()
chat_history.add_user_message("Hello, how are you?")

response = chat_completion_service.get_streaming_chat_message_content(
    chat_history=chat_history,
    settings=execution_settings,
)

chunks = []
async for chunk in response:
    chunks.append(chunk)
    print(chunk, end="")

full_response = sum(chunks[1:], chunks[0])

Tworzenie długotrwałej konwersacji

Możesz utworzyć długotrwałą konwersację przy użyciu pętli:

while True:
    response = await chat_completion_service.get_chat_message_content(
        chat_history=chat_history,
        settings=execution_settings,
    )
    print(response)
    chat_history.add_message(response)
    chat_history.add_user_message(user_input = input("User:> "))

Jeśli przesyłasz strumieniowo odpowiedź, możesz użyć następującego kodu:

while True:
    response = chat_completion_service.get_streaming_chat_message_content(
        chat_history=chat_history,
        settings=execution_settings,
    )

    chunks = []
    async for chunk in response:
        chunks.append(chunk)
        print(chunk, end="")

    full_response = sum(chunks[1:], chunks[0])
    chat_history.add_message(full_response)
    chat_history.add_user_message(user_input = input("User:> "))

Korzystanie z modeli osadzania

Skonfiguruj środowisko podobnie do poprzednich kroków, ale użyj AzureAIInferenceEmbeddings klasy :

from semantic_kernel.connectors.ai.azure_ai_inference import AzureAIInferenceTextEmbedding

embedding_generation_service = AzureAIInferenceTextEmbedding(ai_model_id="<deployment-name>")

Poniższy kod pokazuje, jak pobrać osadzanie z usługi:

embeddings = await embedding_generation_service.generate_embeddings(
    texts=["My favorite color is blue.", "I love to eat pizza."],
)

for embedding in embeddings:
    print(embedding)

Treści powiązane

• Jak rozpocząć pracę z zestawami SDK usługi Azure AI
• Dokumentacja integracji modelu jądra semantycznego