Udostępnij przez

Emituj metryki do użycia dużych tokenów modelu językowego

DOTYCZY: Wszystkie warstwy usługi API Management

Zasady llm-emit-token-metric wysyła metryki niestandardowe do usługi Application Insights na temat użycia tokenów dużego modelu językowego (LLM) za pośrednictwem interfejsów API LLM. Metryki liczby tokenów obejmują: Łączna liczba tokenów, Tokeny monitu i Tokeny ukończenia.

Note

Ustaw elementy zasad i elementy podrzędne w kolejności podanej w instrukcji zasad. Dowiedz się więcej na temat ustawiania lub edytowania zasad usługi API Management.

Supported models

Użyj zasad z interfejsami API LLM dodanymi do usługi Azure API Management, które są dostępne za pośrednictwem interfejsu API wnioskowania modelu AI platformy Azure lub modeli zgodnych z platformą OpenAI obsługiwanych za pośrednictwem dostawców wnioskowania innych firm.

Limity metryk niestandardowych

Usługa Azure Monitor nakłada limity użycia dla metryk niestandardowych, które mogą mieć wpływ na możliwość emitowania metryk z usługi API Management. Na przykład usługa Azure Monitor obecnie ustawia limit 10 kluczy wymiarów na metrykę i limit 50 000 łącznych aktywnych szeregów czasowych na region w ramach subskrypcji (w okresie 12 godzin). W usłudze API Management 5 z nich są używane dla wymiarów domyślnych, w tym następujących:

  • Region
  • Service ID
  • Service Name
  • Service Type

Te limity mają następujące konsekwencje dotyczące konfigurowania metryk niestandardowych w zasadach usługi API Management, takich jak emit-metric lub azure-openai-emit-token-metric:

  • Można skonfigurować maksymalnie 5 wymiarów niestandardowych na zasady.

  • Liczba aktywnych szeregów czasowych wygenerowanych przez zasady w okresie 12 godzin jest produktem liczby unikatowych wartości każdego skonfigurowanego wymiaru w danym okresie. Jeśli na przykład w zasadach skonfigurowano trzy wymiary niestandardowe, a każdy wymiar miał 10 możliwych wartości w danym okresie, zasady współtworzyłyby 1000 (10 x 10 x 10) aktywnych szeregów czasowych.

  • Jeśli skonfigurujesz zasady w wielu wystąpieniach usługi API Management, które znajdują się w tym samym regionie w ramach subskrypcji, wszystkie wystąpienia mogą współtworzyć regionalny aktywny limit szeregów czasowych.

Dowiedz się więcej o ograniczeniach i zagadnieniach dotyczących projektowania metryk niestandardowych w usłudze Azure Monitor.

Prerequisites

  • Co najmniej jeden interfejs API LLM musi zostać dodany do wystąpienia usługi API Management.
  • Wystąpienie usługi API Management musi być zintegrowane z usługą Application Insights. Aby uzyskać więcej informacji, zobacz Jak zintegrować usługę Azure API Management z usługą aplikacja systemu Azure Insights.
  • Włącz rejestrowanie usługi Application Insights dla interfejsów API USŁUGI LLM.
  • Włącz metryki niestandardowe z wymiarami w usłudze Application Insights. Aby uzyskać więcej informacji, zobacz Emituj metryki niestandardowe.

Policy statement

<llm-emit-token-metric
        namespace="metric namespace" >      
        <dimension name="dimension name" value="dimension value" />
        ...additional dimensions...
</llm-emit-token-metric>

Attributes

Attribute Description Required Default value
obszar nazw A string. Przestrzeń nazw metryki. Wyrażenia zasad nie są dozwolone. No API Management

Elements

Element Description Required
dimension Dodaj co najmniej jeden z tych elementów dla każdego wymiaru uwzględnionego w metryce. Yes

Dimension attributes

Attribute Description Required Default value
name Ciąg lub wyrażenie zasad. Nazwa wymiaru. Yes N/A
value Ciąg lub wyrażenie zasad. Wartość wymiaru. Można pominąć tylko wtedy, gdy name pasuje do jednego z wymiarów domyślnych. Jeśli tak, wartość jest podana jako nazwa wymiaru. No N/A

Domyślne nazwy wymiarów, które mogą być używane bez wartości

  • API ID
  • Operation ID
  • Product ID
  • User ID
  • Subscription ID
  • Location
  • Gateway ID
  • Backend ID

Usage

Usage notes

  • Te zasady mogą być używane wiele razy na definicję zasad.
  • Dla tych zasad można skonfigurować co najwyżej 5 wymiarów niestandardowych.
  • Jeśli są dostępne, wartości w sekcji użycia odpowiedzi z interfejsu API LLM są używane do określania metryk tokenu.
  • Niektóre punkty końcowe LLM obsługują przesyłanie strumieniowe odpowiedzi. Jeśli stream parametr jest ustawiony true na wartość w żądaniu interfejsu API w celu włączenia przesyłania strumieniowego, szacowane są metryki tokenu.

Example

Poniższy przykład wysyła metryki liczby tokenów LLM do usługi Application Insights wraz z identyfikatorem interfejsu API jako domyślnym wymiarem.

<policies>
  <inbound>
      <llm-emit-token-metric
            namespace="MyLLM">   
            <dimension name="API ID" />
        </llm-emit-token-metric> 
  </inbound>
  <outbound>
  </outbound>
</policies>

Related content

Aby uzyskać więcej informacji na temat pracy z zasadami, zobacz:

  • Last updated on