InferenceScope Classe
Fornece o escopo de rastreamento opentelemetry para operações de inferência de IA generativas.
Inicialize o escopo de inferência.
Construtor
InferenceScope(details: InferenceCallDetails, agent_details: AgentDetails, tenant_details: TenantDetails, request: Request | None = None)Parâmetros
| Nome | Description |
|---|---|
|
details
Obrigatório
|
Os detalhes da chamada de inferência |
|
agent_details
Obrigatório
|
Os detalhes do agente que está fazendo a chamada |
|
tenant_details
Obrigatório
|
Os detalhes do locatário |
|
request
|
Detalhes da solicitação opcional para contexto adicional Valor padrão: None
|
Métodos
| record_finish_reasons |
Registra os motivos de término para o acompanhamento de telemetria. |
| record_input_messages |
Registra as mensagens de entrada para o acompanhamento de telemetria. |
| record_input_tokens |
Registra o número de tokens de entrada para o acompanhamento de telemetria. |
| record_output_messages |
Registra as mensagens de saída para o acompanhamento de telemetria. |
| record_output_tokens |
Registra o número de tokens de saída para o acompanhamento de telemetria. |
| record_thought_process |
Registra o processo de pensamento. |
| start |
Cria e inicia um novo escopo para rastreamento de inferência. |
record_finish_reasons
Registra os motivos de término para o acompanhamento de telemetria.
record_finish_reasons(finish_reasons: List[str]) -> NoneParâmetros
| Nome | Description |
|---|---|
|
finish_reasons
Obrigatório
|
Lista de motivos de término |
record_input_messages
Registra as mensagens de entrada para o acompanhamento de telemetria.
record_input_messages(messages: List[str]) -> NoneParâmetros
| Nome | Description |
|---|---|
|
messages
Obrigatório
|
Lista de mensagens de entrada |
record_input_tokens
Registra o número de tokens de entrada para o acompanhamento de telemetria.
record_input_tokens(input_tokens: int) -> NoneParâmetros
| Nome | Description |
|---|---|
|
input_tokens
Obrigatório
|
Número de tokens de entrada |
record_output_messages
Registra as mensagens de saída para o acompanhamento de telemetria.
record_output_messages(messages: List[str]) -> NoneParâmetros
| Nome | Description |
|---|---|
|
messages
Obrigatório
|
Lista de mensagens de saída |
record_output_tokens
Registra o número de tokens de saída para o acompanhamento de telemetria.
record_output_tokens(output_tokens: int) -> NoneParâmetros
| Nome | Description |
|---|---|
|
output_tokens
Obrigatório
|
Número de tokens de saída |
record_thought_process
Registra o processo de pensamento.
record_thought_process(thought_process: str) -> NoneParâmetros
| Nome | Description |
|---|---|
|
thought_process
Obrigatório
|
O processo de pensamento a ser registrado |
start
Cria e inicia um novo escopo para rastreamento de inferência.
static start(details: InferenceCallDetails, agent_details: AgentDetails, tenant_details: TenantDetails, request: Request | None = None) -> InferenceScopeParâmetros
| Nome | Description |
|---|---|
|
details
Obrigatório
|
Os detalhes da chamada de inferência |
|
agent_details
Obrigatório
|
Os detalhes do agente que está fazendo a chamada |
|
tenant_details
Obrigatório
|
Os detalhes do locatário |
|
request
|
Detalhes da solicitação opcional para contexto adicional Valor padrão: None
|
Retornos
| Tipo | Description |
|---|---|
|
Uma nova instância de InferenceScope |