Compartir a través de

InferenceScope Clase

Proporciona el ámbito de seguimiento de OpenTelemetry para las operaciones de inferencia de IA generativas.

Inicialice el ámbito de inferencia.

Constructor

InferenceScope(details: InferenceCallDetails, agent_details: AgentDetails, tenant_details: TenantDetails, request: Request | None = None)

Parámetros

Nombre Description
details
Requerido

Detalles de la llamada de inferencia
agent_details
Requerido

Detalles del agente que realiza la llamada
tenant_details
Requerido

Detalles del inquilino
request

Detalles de solicitud opcionales para contexto adicional

Valor predeterminado: None

Métodos

record_finish_reasons

Registra los motivos de finalización del seguimiento de telemetría.
record_input_messages

Registra los mensajes de entrada para el seguimiento de telemetría.
record_input_tokens

Registra el número de tokens de entrada para el seguimiento de telemetría.
record_output_messages

Registra los mensajes de salida para el seguimiento de telemetría.
record_output_tokens

Registra el número de tokens de salida para el seguimiento de telemetría.
record_thought_process

Registra el proceso de pensamiento.
start

Crea e inicia un nuevo ámbito para el seguimiento de inferencia.

record_finish_reasons

Registra los motivos de finalización del seguimiento de telemetría.

record_finish_reasons(finish_reasons: List[str]) -> None

Parámetros

Nombre Description
finish_reasons
Requerido

Lista de motivos de finalización

record_input_messages

Registra los mensajes de entrada para el seguimiento de telemetría.

record_input_messages(messages: List[str]) -> None

Parámetros

Nombre Description
messages
Requerido

Lista de mensajes de entrada

record_input_tokens

Registra el número de tokens de entrada para el seguimiento de telemetría.

record_input_tokens(input_tokens: int) -> None

Parámetros

Nombre Description
input_tokens
Requerido

Número de tokens de entrada

record_output_messages

Registra los mensajes de salida para el seguimiento de telemetría.

record_output_messages(messages: List[str]) -> None

Parámetros

Nombre Description
messages
Requerido

Lista de mensajes de salida

record_output_tokens

Registra el número de tokens de salida para el seguimiento de telemetría.

record_output_tokens(output_tokens: int) -> None

Parámetros

Nombre Description
output_tokens
Requerido

Número de tokens de salida

record_thought_process

Registra el proceso de pensamiento.

record_thought_process(thought_process: str) -> None

Parámetros

Nombre Description
thought_process
Requerido

Proceso de pensamiento que se va a registrar

start

Crea e inicia un nuevo ámbito para el seguimiento de inferencia.

static start(details: InferenceCallDetails, agent_details: AgentDetails, tenant_details: TenantDetails, request: Request | None = None) -> InferenceScope

Parámetros

Nombre Description
details
Requerido

Detalles de la llamada de inferencia
agent_details
Requerido

Detalles del agente que realiza la llamada
tenant_details
Requerido

Detalles del inquilino
request

Detalles de solicitud opcionales para contexto adicional

Valor predeterminado: None

Devoluciones

Tipo Description

Nueva instancia de InferenceScope