자습서: Microsoft Foundry 모델에서 DeepSeek-R1 추론 모델 시작

이 자습서에서는 Microsoft Foundry에서 DeepSeek 추론 모델을 배포하고 사용하는 방법을 알아봅니다. 이 자습서에서는 일러스트레이션을 위해 DeepSeek-R1 을 사용합니다. 그러나 콘텐츠는 최신 DeepSeek-R1-0528 추론 모델에도 적용됩니다.

이 자습서에서 수행하는 단계는 다음과 같습니다.

• Foundry 모델에서 DeepSeek-R1 사용하도록 Azure 리소스를 만들고 구성합니다.
• 모델 배포를 구성합니다.
• 코드에서 모델을 사용하기 위해 차세대 v1 Azure OpenAI API와 함께 DeepSeek-R1를 사용하세요.

필수 조건

이 문서를 완료하려면 다음이 필요합니다.

• Azure 구독. GitHub 모델을 사용하는 경우 환경을 업그레이드하고 프로세스에서 Azure 구독을 만들 수 있습니다. GitHub 모델에서 Foundry 모델로 업그레이드(해당하는 경우)를 읽습니다.

추론 모델

추론 모델은 수학, 코딩, 과학, 전략 및 물류와 같은 도메인에서 더 높은 수준의 성능에 도달할 수 있습니다. 이러한 모델이 출력을 생성하는 방법은 대답을 생성하기 전에 생각 체인을 명시적으로 사용하여 가능한 모든 경로를 탐색하는 것입니다. 그들은 답변을 만들면서 확인하여 더 정확한 결론에 도달하는 데 도움이 됩니다. 결과적으로, 추론 모델은 효과적인 결과를 생성하기 위해 프롬프트에 더 적은 컨텍스트가 필요할 수 있습니다.

모델의 성능을 스케일링하는 이러한 방법은 더 높은 대기 시간 및 비용에 대해 성능을 거래하기 때문에 유추 컴퓨팅 시간 이라고 합니다. 반면, 다른 방법은 학습 컴퓨팅 시간을 통해 확장될 수 있습니다.

추론 모델은 다음 두 가지 유형의 콘텐츠를 출력으로 생성합니다.

• 추론 완료
• 출력 완료

이러한 두 완성은 모두 모델에서 생성된 콘텐츠에 포함됩니다. 따라서 모델과 관련된 토큰 제한 및 비용에 기여합니다. 같은 DeepSeek-R1일부 모델은 추론 콘텐츠로 응답할 수 있습니다. 다른 항목(예: o1)은 완료만 출력합니다.

리소스 만들기

DeepSeek-R1에 대한 배포를 지원하는 Foundry 프로젝트를 만들려면 다음 단계를 수행합니다. Bicep을 사용하여 Azure CLI 또는 인프라를 코드로 사용하여 리소스를 만들 수도 있습니다.

모델 배포

놀이터에서 모델 사용

실험실 환경에서 모델을 사용하여 모델의 기능을 탐색하면서 시작할 수 있습니다.

프롬프트 추론 모델

추론 모델에 대한 프롬프트를 작성할 때 다음 사항을 고려합니다.

추론 모델은 응답을 생성하는 데 시간이 더 오래 걸릴 수 있습니다. 그들은 더 깊고 구조화 된 문제 해결을 가능하게 생각의 긴 추론 체인을 사용합니다. 또한 자체 확인을 수행하여 답변을 교차 확인하고 실수를 수정하여 새로운 자기 반사 동작을 보여 줍니다.

코드에서 모델 사용

Foundry 모델 엔드포인트 및 자격 증명을 사용하여 모델에 연결합니다.

차세대 v1 Azure OpenAI API를 사용하여 코드에서 모델을 사용합니다. 이러한 코드 예제에서는 Azure ID 라이브러리를 통해 안전한 키 없는 인증 방법인 Microsoft Entra ID를 사용합니다.

pip install --upgrade openai

from openai import OpenAI
from azure.identity import DefaultAzureCredential, get_bearer_token_provider

token_provider = get_bearer_token_provider(
    DefaultAzureCredential(), "https://cognitiveservices.azure.com/.default"
)

client = OpenAI(  
  base_url = "https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/",  
  api_key=token_provider,
)
response = client.chat.completions.create(
  model="DeepSeek-R1", # Replace with your model deployment name.
  messages=[
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "How many languages are in the world?"}
  ]
)

#print(response.choices[0].message)
print(response.model_dump_json(indent=2))

npm install @azure/identity

import { DefaultAzureCredential, getBearerTokenProvider } from "@azure/identity";
import { OpenAI } from "openai";

const tokenProvider = getBearerTokenProvider(
    new DefaultAzureCredential(),
    'https://cognitiveservices.azure.com/.default');

const client = new OpenAI({
    baseURL: "https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/",
    apiKey: tokenProvider
});

const messages = [
    { role: 'system', content: 'You are a helpful assistant.' },
    { role: 'user', content: 'How many languages are in the world?' }
];

// Make the API request with top-level await
const result = await client.chat.completions.create({ 
    messages, 
    model: 'DeepSeek-R1', // Your model deployment name
    max_tokens: 100 
});

// Print the full response
console.log('Full response:', result);

// Print just the message content from the response
console.log('Response content:', result.choices[0].message.content);

dotnet add package Azure.Identity

using Azure.Identity;
using OpenAI;
using OpenAI.Chat;
using System.ClientModel.Primitives;

#pragma warning disable OPENAI001

BearerTokenPolicy tokenPolicy = new(
    new DefaultAzureCredential(),
    "https://cognitiveservices.azure.com/.default");

ChatClient client = new(
    model: "DeepSeek-R1", // Replace with your model deployment name.
    authenticationPolicy: tokenPolicy,
    options: new OpenAIClientOptions() { 
        Endpoint = new Uri("https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1")
   }
);

ChatCompletion completion = client.CompleteChat("How many languages are in the world?");

Console.WriteLine($"[ASSISTANT]: {completion.Content[0].Text}");

<dependency>
    <groupId>com.azure</groupId>
    <artifactId>azure-identity</artifactId>
    <version>1.18.0</version>
</dependency>

Credential tokenCredential = BearerTokenCredential.create(
        AuthenticationUtil.getBearerTokenSupplier(
                new DefaultAzureCredentialBuilder().build(),
                "https://cognitiveservices.azure.com/.default"));
OpenAIClient client = OpenAIOkHttpClient.builder()
        .baseUrl("https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/")
        .credential(tokenCredential)
        .build();

package com.example;

import com.openai.client.OpenAIClient;
import com.openai.client.okhttp.OpenAIOkHttpClient;
import com.openai.models.ChatModel;
import com.openai.models.chat.completions.ChatCompletion;
import com.openai.models.chat.completions.ChatCompletionCreateParams;

public class OpenAITest {
    public static void main(String[] args) {
        String resourceName = "https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1";
        String modelDeploymentName = "DeepSeek-R1"; //replace with you model deployment name

        try {
            OpenAIClient client = OpenAIOkHttpClient.builder()
                    .baseUrl(resourceName)
                    // Set the Azure Entra ID
                    .credential(BearerTokenCredential.create(AuthenticationUtil.getBearerTokenSupplier(
                        new DefaultAzureCredentialBuilder().build(), "https://cognitiveservices.azure.com/.default")))
                    .build();

           ChatCompletionCreateParams params = ChatCompletionCreateParams.builder()
              .addUserMessage("How many languages are in the world?")
              .model(modelDeploymentName)
              .build();
           ChatCompletion chatCompletion = client.chat().completions().create(params);
        }
    }
}

curl -X POST https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $AZURE_OPENAI_AUTH_TOKEN" \
  -d '{
      "model": "DeepSeek-R1",
      "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "How many languages are in the world?"
      }
    ]
  }'

curl -X GET https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/chat/completions/{response_id} \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $AZURE_OPENAI_AUTH_TOKEN"

추론은 더 긴 응답을 생성하고 더 많은 수의 토큰을 사용할 수 있습니다. DeepSeek-R1 모델에 적용되는 속도 제한을 볼 수 있습니다. 속도 제한을 처리하기 위한 재시도 전략을 사용하는 것이 좋습니다. 기본 한도로 증가를 요청할 수도 있습니다.

추론 콘텐츠

DeepSeek-R1과 같은 일부 추론 모델은 완성을 생성하고 그 뒤에 추론을 포함합니다. 완료와 관련된 추론은 태그 <think> 및 </think> 내의 응답 콘텐츠에 포함됩니다. 모델은 추론 콘텐츠를 생성할 시나리오를 선택할 수 있습니다. 다음 예제에서는 Python을 사용하여 추론 콘텐츠를 생성하는 방법을 보여줍니다.

import re

match = re.match(r"<think>(.*?)</think>(.*)", response.choices[0].message.content, re.DOTALL)

print("Response:", )
if match:
    print("\tThinking:", match.group(1))
    print("\tAnswer:", match.group(2))
else:
    print("\tAnswer:", response.choices[0].message.content)
print("Model:", response.model)
print("Usage:")
print("\tPrompt tokens:", response.usage.prompt_tokens)
print("\tTotal tokens:", response.usage.total_tokens)
print("\tCompletion tokens:", response.usage.completion_tokens)

Thinking: Okay, the user is asking how many languages exist in the world. I need to provide a clear and accurate answer. Let's start by recalling the general consensus from linguistic sources. I remember that the number often cited is around 7,000, but maybe I should check some reputable organizations.\n\nEthnologue is a well-known resource for language data, and I think they list about 7,000 languages. But wait, do they update their numbers? It might be around 7,100 or so. Also, the exact count can vary because some sources might categorize dialects differently or have more recent data. \n\nAnother thing to consider is language endangerment. Many languages are endangered, with some having only a few speakers left. Organizations like UNESCO track endangered languages, so mentioning that adds context. Also, the distribution isn't even. Some countries have hundreds of languages, like Papua New Guinea with over 800, while others have just a few. \n\nA user might also wonder why the exact number is hard to pin down. It's because the distinction between a language and a dialect can be political or cultural. For example, Mandarin and Cantonese are considered dialects of Chinese by some, but they're mutually unintelligible, so others classify them as separate languages. Also, some regions are under-researched, making it hard to document all languages. \n\nI should also touch on language families. The 7,000 languages are grouped into families like Indo-European, Sino-Tibetan, Niger-Congo, etc. Maybe mention a few of the largest families. But wait, the question is just about the count, not the families. Still, it's good to provide a bit more context. \n\nI need to make sure the information is up-to-date. Let me think – recent estimates still hover around 7,000. However, languages are dying out rapidly, so the number decreases over time. Including that note about endangerment and language extinction rates could be helpful. For instance, it's often stated that a language dies every few weeks. \n\nAnother point is sign languages. Does the count include them? Ethnologue includes some, but not all sources might. If the user is including sign languages, that adds more to the count, but I think the 7,000 figure typically refers to spoken languages. For thoroughness, maybe mention that there are also over 300 sign languages. \n\nSummarizing, the answer should state around 7,000, mention Ethnologue's figure, explain why the exact number varies, touch on endangerment, and possibly note sign languages as a separate category. Also, a brief mention of Papua New Guinea as the most linguistically diverse country. \n\nWait, let me verify Ethnologue's current number. As of their latest edition (25th, 2022), they list 7,168 living languages. But I should check if that's the case. Some sources might round to 7,000. Also, SIL International publishes Ethnologue, so citing them as reference makes sense. \n\nOther sources, like Glottolog, might have a different count because they use different criteria. Glottolog might list around 7,000 as well, but exact numbers vary. It's important to highlight that the count isn't exact because of differing definitions and ongoing research. \n\nIn conclusion, the approximate number is 7,000, with Ethnologue being a key source, considerations of endangerment, and the challenges in counting due to dialect vs. language distinctions. I should make sure the answer is clear, acknowledges the variability, and provides key points succinctly.

Answer: The exact number of languages in the world is challenging to determine due to differences in definitions (e.g., distinguishing languages from dialects) and ongoing documentation efforts. However, widely cited estimates suggest there are approximately **7,000 languages** globally.
Model: DeepSeek-R1
Usage: 
  Prompt tokens: 11
  Total tokens: 897
  Completion tokens: 886

매개 변수

일반적으로 추론 모델은 채팅 완성 모델에서 찾을 수 있는 다음 매개 변수를 지원하지 않습니다.

• 온도
• 현재 상태 패널티
• 반복 페널티
• 매개 변수 top_p

관련 콘텐츠

• Foundry 모델을 사용하여 채팅 완료를 생성하는 방법
• 채팅 추론 모델 사용
• Azure OpenAI 지원 프로그래밍 언어