How to request an increase for the token limit for GPT-5.1?

Hallo und vielen Dank für die ausführliche Antwort! Entschuldigen Sie bitte die verspätete Antwort, ich befand mich nicht im Haus in den vergangenen Tagen.

Zunächst einmal vielen Dank für die Informationen, ich werde ein entsprechendes Ticket anlegen. Was mir noch nicht ganz klar ist, ist der Teil "Modelle der GPT-5-Familie nutzen das neue globale automatische Skalierungssystem von Azure anstelle von strikten, festen Kontingenten." Was bedeutet dies für uns als Unternehmen genau? Bedeutet das, dass selbst wenn wir beispielsweise 50k TPM haben und eine Anfrage dieses Limit sprengt, dass wir nicht in einen Fehler laufen? Denn unser Problem sind insbesondere Nutzungspeaks, jedoch aber auch, dass eine einzige Anfrage schon ziemlich viele Tokens in Anspruch nehmen kann, wenn wir beispielsweise mit Code arbeiten. Somit war GPT-5 einst mit 20k TPM für uns überhaupt nicht nutzbar, da dort zunächst ein 20k TPM Limit bestand und ich als einzelne Person dieses Limit bereits mit einer Anfrage gesprengt habe. Wenn ich unsere Unternehmensgröße berücksichtige, ist dies natürlich nicht praktikabel. Nun haben wir 50k TPM für GPT-5.1, doch was bedeutet das genau? Was wenn ein Nutzer einen Payload versendet, welcher (inkl. Antwort) über 50k Tokens umfasst? Oder wenn mehrere Mitarbeiter gleichzeitig Anfragen senden und kumuliert auf über 50k kommen?

Viele Grüße und vielen Dank im Voraus!

Hi Schönwald, Alexander,

Vielen Dank für Ihre Nachfrage. Ich möchte Ihnen das neue globale Autoscaling-Modell von GPT-5.x und seine Auswirkungen auf Ihre realen Limits genauer erläutern.

1. Was „globales Autoscaling statt strikter Kontingente“ bedeutet

Bei GPT-5.x-Modellen (einschließlich GPT-5.1) erzwingt Azure keine feste, synchrone TPM-Obergrenze mehr wie bei älteren Modellen (GPT-3.5, GPT-4, GPT-40). Stattdessen verwendet das System flexible Kontingente und dynamische Drosselung basierend auf der regionalen Kapazität und dem Verbrauchsverhalten der Mandanten.

Das bedeutet:

Ihre „50.000 TPM“ sind keine absolute Grenze.

Eine einzelne Anfrage, die 50.000 Token überschreitet, wird nicht allein deshalb abgelehnt.

Kurzfristige Spitzen über 50.000 TPM können weiterhin akzeptiert werden, sofern in der Region aktuell Kapazität verfügbar ist.

Die Drosselung erfolgt nur, wenn die regionale Last hoch ist und das Autoscaling nicht schnell genug skalieren kann.

Die im Portal angezeigten „50k TPM“ stellen also keine strikte Obergrenze dar, sondern einen Basiswert, den der Autoscaler verwendet, nicht das absolute Maximum.

2. Was passiert, wenn eine einzelne Anfrage mehr als 50.000 Token benötigt?

Dies war ein großes Problem bei GPT-4/40/3.5, da diese Modelle ein striktes, erzwungenes TPM-Limit hatten.

Bei GPT-5.1 verhält es sich anders:

Wenn eine einzelne Anfrage 60.000, 80.000 oder sogar 120.000 Token verbraucht, wird sie in der Regel erfolgreich ausgeführt.

Die TPM-Zahl wird über kurze Zeiträume gemittelt und mandantenweit geglättet.

Eine einzelne große Anfrage führt nicht sofort zu einem 429-Quota-Fehler.

Dieses Design behebt speziell das Problem, dass ein Entwickler versehentlich das TPM-Limit erreicht.

3. Was passiert bei Lastspitzen (viele Benutzer gleichzeitig)?

Wenn mehrere Mitarbeiter zusammen mehr als 50.000 TPM erreichen:

Solange die regionale Kapazität ausreicht, wird Ihr Datenverkehr fehlerfrei weitergeführt.

Wenn die Nachfrage die Kapazität der automatischen Skalierung vorübergehend übersteigt, drosselt Azure den Datenverkehr sanft, anstatt ihn abrupt zu unterbrechen:

Anfragen können kurzzeitig in der Warteschlange stehen.

Oder der Durchsatz sinkt leicht.

Sie erhalten jedoch nicht sofort einen 429-Fehler oder eine Fehlermeldung, es sei denn, die Region ist ausgelastet.

Dies ist deutlich toleranter als die alten, strengen Quoten.

4. Warum zeigt Azure weiterhin 50.000 TPM an?

Diese Zahl ist nicht der „maximal zulässige Wert“. Sie stellt den minimalen Basisdurchsatz dar, den Sie erwarten können, bevor eine Drosselung erfolgt.

Der tatsächlich nutzbare Durchsatz ist oft deutlich höher, da GPT-5.1 in einem globalen Pool mit elastischer Skalierung bereitgestellt wird.

5. Wann würde es dennoch zu einer Drosselung kommen?

Nur in folgenden Fällen:

Ihre Region ist stark ausgelastet und die automatische Skalierung reicht nicht aus.

Ihre Workload läuft über längere Zeiträume mit sehr hohem, konstantem Durchsatz.

Sie arbeiten in einer Region mit begrenzten GPT-5.1-GPU-Pools.

Auch dann ist die Drosselung eher sanft als eine vollständige Ablehnung.

6. So garantieren Sie eine Drosselung von null Prozent für Produktions-Workloads

Wenn Sie einen wirklich vorhersehbaren Unternehmensdurchsatz benötigen (ohne jegliche Drosselung), ist folgender Weg der richtige:

Data Zone Standard – PTU-Kapazitätsreservierung

Dies bietet Ihnen:

Garantierte, isolierte GPU-Kapazität

Keine Drosselung durch gemeinsam genutzte Pools

Vorhersehbare Latenz

Volle Kontrolle über die Spitzenlast

Vielen Dank!