InferenceScope Klasse
Stellt openTelemetry-Ablaufverfolgungsbereich für generative KI-Ableitungsvorgänge bereit.
Initialisieren Sie den Ableitungsbereich.
Konstruktor
InferenceScope(details: InferenceCallDetails, agent_details: AgentDetails, tenant_details: TenantDetails, request: Request | None = None)Parameter
| Name | Beschreibung |
|---|---|
|
details
Erforderlich
|
Die Details des Ableitungsaufrufs |
|
agent_details
Erforderlich
|
Die Details des Agents, der den Anruf tätigen |
|
tenant_details
Erforderlich
|
Die Details des Mandanten |
|
request
|
Optionale Anforderungsdetails für zusätzlichen Kontext Standardwert: None
|
Methoden
| record_finish_reasons |
Zeichnet die Endgründe für die Telemetrienachverfolgung auf. |
| record_input_messages |
Zeichnet die Eingabemeldungen für die Telemetrienachverfolgung auf. |
| record_input_tokens |
Zeichnet die Anzahl der Eingabetoken für die Telemetrienachverfolgung auf. |
| record_output_messages |
Zeichnet die Ausgabemeldungen für die Telemetrienachverfolgung auf. |
| record_output_tokens |
Zeichnet die Anzahl der Ausgabetoken für die Telemetrienachverfolgung auf. |
| record_thought_process |
Zeichnet den Gedankenprozess auf. |
| start |
Erstellt und startet einen neuen Bereich für die Rückschlussablaufverfolgung. |
record_finish_reasons
Zeichnet die Endgründe für die Telemetrienachverfolgung auf.
record_finish_reasons(finish_reasons: List[str]) -> NoneParameter
| Name | Beschreibung |
|---|---|
|
finish_reasons
Erforderlich
|
Liste der Endgründe |
record_input_messages
Zeichnet die Eingabemeldungen für die Telemetrienachverfolgung auf.
record_input_messages(messages: List[str]) -> NoneParameter
| Name | Beschreibung |
|---|---|
|
messages
Erforderlich
|
Liste der Eingabemeldungen |
record_input_tokens
Zeichnet die Anzahl der Eingabetoken für die Telemetrienachverfolgung auf.
record_input_tokens(input_tokens: int) -> NoneParameter
| Name | Beschreibung |
|---|---|
|
input_tokens
Erforderlich
|
Anzahl der Eingabetoken |
record_output_messages
Zeichnet die Ausgabemeldungen für die Telemetrienachverfolgung auf.
record_output_messages(messages: List[str]) -> NoneParameter
| Name | Beschreibung |
|---|---|
|
messages
Erforderlich
|
Liste der Ausgabemeldungen |
record_output_tokens
Zeichnet die Anzahl der Ausgabetoken für die Telemetrienachverfolgung auf.
record_output_tokens(output_tokens: int) -> NoneParameter
| Name | Beschreibung |
|---|---|
|
output_tokens
Erforderlich
|
Anzahl der Ausgabetoken |
record_thought_process
Zeichnet den Gedankenprozess auf.
record_thought_process(thought_process: str) -> NoneParameter
| Name | Beschreibung |
|---|---|
|
thought_process
Erforderlich
|
Der zu erfassende Gedanke |
start
Erstellt und startet einen neuen Bereich für die Rückschlussablaufverfolgung.
static start(details: InferenceCallDetails, agent_details: AgentDetails, tenant_details: TenantDetails, request: Request | None = None) -> InferenceScopeParameter
| Name | Beschreibung |
|---|---|
|
details
Erforderlich
|
Die Details des Ableitungsaufrufs |
|
agent_details
Erforderlich
|
Die Details des Agents, der den Anruf tätigen |
|
tenant_details
Erforderlich
|
Die Details des Mandanten |
|
request
|
Optionale Anforderungsdetails für zusätzlichen Kontext Standardwert: None
|
Gibt zurück
| Typ | Beschreibung |
|---|---|
|
Eine neue InferenceScope-Instanz |