Partager via

InferenceScope Classe

Fournit l’étendue de suivi OpenTelemetry pour les opérations d’inférence IA génératives.

Initialisez l’étendue d’inférence.

Constructeur

InferenceScope(details: InferenceCallDetails, agent_details: AgentDetails, tenant_details: TenantDetails, request: Request | None = None)

Paramètres

Nom Description
details
Obligatoire

Détails de l’appel d’inférence
agent_details
Obligatoire

Détails de l’agent effectuant l’appel
tenant_details
Obligatoire

Détails du locataire
request

Détails de la demande facultative pour un contexte supplémentaire

Valeur par défaut: None

Méthodes

record_finish_reasons

Enregistre les raisons de fin du suivi des données de télémétrie.
record_input_messages

Enregistre les messages d’entrée pour le suivi des données de télémétrie.
record_input_tokens

Enregistre le nombre de jetons d’entrée pour le suivi des données de télémétrie.
record_output_messages

Enregistre les messages de sortie pour le suivi des données de télémétrie.
record_output_tokens

Enregistre le nombre de jetons de sortie pour le suivi des données de télémétrie.
record_thought_process

Enregistre le processus de pensée.
start

Crée et démarre une nouvelle étendue pour le suivi d’inférence.

record_finish_reasons

Enregistre les raisons de fin du suivi des données de télémétrie.

record_finish_reasons(finish_reasons: List[str]) -> None

Paramètres

Nom Description
finish_reasons
Obligatoire

Liste des raisons de fin

record_input_messages

Enregistre les messages d’entrée pour le suivi des données de télémétrie.

record_input_messages(messages: List[str]) -> None

Paramètres

Nom Description
messages
Obligatoire

Liste des messages d’entrée

record_input_tokens

Enregistre le nombre de jetons d’entrée pour le suivi des données de télémétrie.

record_input_tokens(input_tokens: int) -> None

Paramètres

Nom Description
input_tokens
Obligatoire

Nombre de jetons d’entrée

record_output_messages

Enregistre les messages de sortie pour le suivi des données de télémétrie.

record_output_messages(messages: List[str]) -> None

Paramètres

Nom Description
messages
Obligatoire

Liste des messages de sortie

record_output_tokens

Enregistre le nombre de jetons de sortie pour le suivi des données de télémétrie.

record_output_tokens(output_tokens: int) -> None

Paramètres

Nom Description
output_tokens
Obligatoire

Nombre de jetons de sortie

record_thought_process

Enregistre le processus de pensée.

record_thought_process(thought_process: str) -> None

Paramètres

Nom Description
thought_process
Obligatoire

Processus de réflexion à enregistrer

start

Crée et démarre une nouvelle étendue pour le suivi d’inférence.

static start(details: InferenceCallDetails, agent_details: AgentDetails, tenant_details: TenantDetails, request: Request | None = None) -> InferenceScope

Paramètres

Nom Description
details
Obligatoire

Détails de l’appel d’inférence
agent_details
Obligatoire

Détails de l’agent effectuant l’appel
tenant_details
Obligatoire

Détails du locataire
request

Détails de la demande facultative pour un contexte supplémentaire

Valeur par défaut: None

Retours

Type Description

Nouvelle instance InferenceScope