Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
In diesem Artikel erfahren Sie, wie Sie textbezogene Zusammenfassungen mit Azure AI Video Indexer verwenden. In diesem Beispiel werden Azure OpenAI-Modellbereitstellungen verwendet.
Hinweis
Dieses Feature funktioniert nur mit einem kostenpflichtigen Konto. Erstellen Sie ein kostenpflichtiges Konto.
Voraussetzungen
Lesen Sie die Übersicht über die Textzusammenfassung und die folgenden Voraussetzungen.
Wolke
Ein kostenpflichtiges Azure AI Video Indexer-Konto, das mit einem Azure OpenAI-Konto verbunden ist.
Zugriff auf Azure OpenAI im gewünschten Azure-Abonnement gewährt. Der Zugriff auf diesen Dienst wird momentan auf Antrag gewährt. Weitere Informationen zum Beantragen des Zugriffs auf Azure OpenAI finden Sie unter Eingeschränkter Zugriff für Azure OpenAI-Dienst.
Eine Azure OpenAI GPT-35-Turbo, GPT-4, GPT-4o, oder GPT-4O-mini Bereitstellung. Um von keyframesbasierten Zusammenfassungen zu profitieren, müssen Sie ein Azure OpenAI-Modell auswählen, das visuelle Eingaben akzeptiert. Weitere Informationen finden Sie unter Azure OpenAI Service-Modelle.
Der Filter Prompt Shields für direkte Angriffe (Jailbreak) sollte der Bereitstellung hinzugefügt werden. Weitere Informationen finden Sie hier: Verwenden Sie Inhaltsfilter (Vorschau) mit Azure OpenAI Service.
Es wird empfohlen, schädliche Inhaltsfilter für Kategorien wie "Gewalt", "Hass", "Sexual" und "Selbstverletzung" zu konfigurieren. Obwohl diese Filter nicht obligatorisch sind, sollten Sie sie entweder auf "Mittel" oder "Niedrig" festlegen, um Inhalte von mindestens der mittleren Gefährdungsstufe herauszufiltern. Diese Einstellung stellt sicher, dass Inhalte mit einer Schädlichkeitsbewertung von medium oder höher blockiert werden. Für erhöhte Sicherheit können Sie sich für eine strengere Einstellung entscheiden. Speichern Sie die Inhaltsfiltereinstellungen nach der Konfiguration.
Ein Video, das in Ihre Azure AI Video Indexer-Bibliothek hochgeladen wurde.
Hinweis
Azure AI Video Indexer kann keine Verbindung mit fein abgestimmten Modellen herstellen.
Edge-Geräte
Azure AI Video Indexer, aktiviert von Arc, ermöglicht Ihnen die Verwendung von Azure AI Video Indexer auf Edgegeräten. Im Folgenden sind die technischen Anforderungen für diesen Anwendungsfall aufgeführt:
- Video Indexer Aktiviert durch Arc mit der Versionsnummer 1.1.23 oder höher.
- Hardwareanforderungen: GPU- oder Intel-CPUs. Wir empfehlen nicht, Programme aufgrund der langsamen Geschwindigkeit auf CPUs auszuführen. Wir empfehlen die Verwendung von Nvidia V100 oder höherer GPUs. Wenn mehrere GPU-Knoten vorhanden sind, können Sie einen Knotenmarkierer hinzufügen, um den gewünschten Knoten auszuwählen.
- Die Verwendung von Keyframes als Teil der Zusammenfassung erfordert Nvidia A100 oder höher.
- Textbezogene Videozusammenfassung auf dem Edgegerät verwendet nur das Phi3.5-Modell. Weitere Hardwareinformationen finden Sie in den offiziellen Phi 3.5-Versionsinformationen.
Öffnen von Webseiten in Ihrem Browser
Es ist einfacher, diese Anweisungen zu befolgen, wenn Sie bereits die erforderlichen Webseiten geöffnet haben. Kopieren Sie die folgenden Parameter, und fügen Sie sie in Ihren bevorzugten Text-Editor ein. Hier ist eine Liste für die ersten Schritte:
- VI-Konto-ID:
- Videodatei-ID:
- Bereitstellungsname:
- Zugriffstoken:
- Öffnen Sie die Azure-Portal auf einer Registerkarte oder einem Fenster, und melden Sie sich an.
- Navigieren Sie zur Azure AI Video Indexer-Kontoseite für die Konto-ID.
- Navigieren zur Azure OpenAI-Kontoseite
- Wählen Sie im Menü "Modellbereitstellungen" und dann "Bereitstellungen verwalten" aus. Das Azure OpenAI Studio wird geöffnet. Kopieren Sie den Bereitstellungsnamen, den Sie verwenden möchten.
- Öffnen Sie das Azure AI Video Indexer-Webportal auf einer anderen Registerkarte oder einem anderen Fenster, und melden Sie sich an.
- Navigieren Sie zur Bibliotheksseite, wählen Sie ein Video aus, und klicken Sie dann mit der rechten Maustaste darauf, um die Videodatei-ID anzuzeigen.
- Öffnen Sie die Azure AI Video Indexer-API auf einer anderen Registerkarte oder einem anderen Fenster, und melden Sie sich an.
Generieren einer Textzusammenfassung mit oder ohne Keyframes
Sie können das Azure AI Video Indexer-Webportal verwenden, um Text zusammenzufassen.
- Wenn Sie das Webportal noch nicht geöffnet haben, öffnen Sie das Azure AI Video Indexer-Webportal.
- Laden Sie eine Datei hoch, und warten Sie, bis sie indiziert wird.
- Wählen Sie das Video aus, um zur Medienseite zu navigieren.
- Wenn Sie Keyframes verwenden möchten, um die Zusammenfassung zu erstellen, wählen Sie die Option "Visuelle Keyframeeinblicke einschließen" aus, um eine bessere Qualitätszusammenfassungsoption zu erhalten .
- Wählen Sie "Zusammenfassung generieren" aus. Die Textzusammenfassung wird generiert.
Hinweis
Wenn die Schaltfläche Zusammenfassung generieren nicht angezeigt wird, verwenden Sie möglicherweise ein Testkonto. Um dieses Feature zu verwenden, erstellen Sie ein Standardkonto.
Zusammenfassende Anpassungen
Nachdem die Zusammenfassung generiert wurde, können Sie Anpassungen daran vornehmen, indem Sie den Zusammenfassungsstil anpassen oder die Modellbereitstellung ändern.
Anpassen des Zusammenfassungsformats
Sie können die Zusammenfassung auch anpassen, indem Sie das Symbol "Zusammenfassung anpassen" auswählen. Sie können zwischen kurzen, mittleren oder langen Sammellängen wählen, und Sie können " Neutral", " Casual" oder " Formal " als Zusammenfassungsformat auswählen. Nachdem Sie Ihre Auswahl getroffen haben, wählen Sie "Generieren" erneut aus.
Bereitstellung des Modells ändern
- Wählen Sie das Symbol "Zusammenfassung anpassen" aus.
- Wählen Sie in der Dropdown-Liste Bereitstellungsmodell das gewünschte Bereitstellungsmodell aus.
- Wählen Sie erneut generieren aus.
Hinweis
Denken Sie daran, dass die Modellbereitstellung eine Kombination aus Dem Modell und den Filtern ist. Jedes Mal, wenn Sie die Textzusammenfassung anpassen, stellt sie eine API PUT-Anforderung dar.
Problembehandlung
Bevor Sie nach bestimmten Lösungen suchen, stellen Sie sicher, dass Sie die Ressourcen im Abschnitt "Voraussetzungen" des Dokuments erstellt haben.
"Zusammenfassung generieren" wird nicht angezeigt
Ihr Azure OpenAI-Konto ist möglicherweise falsch mit Ihrem Azure AI Video Indexer-Konto verbunden.
Zusammenfassung konnte nicht generiert werden
- Sie müssen der Bereitstellung Inhaltsfilter hinzufügen, um zu vermeiden, dass schädliche Inhalte angezeigt werden. Kehren Sie zum Azure OpenAI-Studio zurück, und fügen Sie Ihrer Bereitstellung Filter hinzu.
- Sie haben einen zulässigen Inhaltsfilter für Inhalte erstellt, die vertrauliche oder schädliche Inhalte enthalten. Der Inhaltsfilter muss mindestens mittelgroß sein. Wenn Sie den Inhaltsfilter auf "Mittel" setzen und schädliche Inhalte im Video verbleiben, wird der Filter ausgelöst. In diesem Fall gibt es keine Lösung.
- Sie haben kein Transkript angefordert, oder es sind möglicherweise nicht genügend Informationen vorhanden, die während des Indizierungsprozesses generiert werden.
- Möglicherweise verwenden Sie eine erweiterte Voreinstellung.
- Das Video enthält möglicherweise nicht genügend Audio, um eine Transformation zu erstellen.
Bereitstellung eines Modells kann nicht verwendet werden oder Bereitstellung fehlt
- Sie haben keine Bereitstellung erstellt.
- Jemand hat das bereitgestellte Modell geändert oder gelöscht.
Drosselung
Möglicherweise werden zu viele Anforderungen an VI gesendet. Warten Sie einige Minuten und versuchen Sie es noch einmal.
Sie erhalten die Fehlermeldung "Filter nicht gefunden"
Wenn ein Filter nicht gefunden wurde, erhalten Sie einen detaillierten Fehler, der beschreibt, was fehlt. Der Fehler sieht möglicherweise wie im folgenden Beispiel aus, enthält aber möglicherweise Details zu anderen fehlenden Elementen:
ErrorType":"SUMMARY_FILTERS_NOT_FOUND","Message":"Couldn't generate a summary because the model needs to be set with the right content filters to avoid showing harmful content. Input filter 'Jailbreak' must be enabled with action set to 'Annotate and block'. Trace id: '00000000-0000-0000-0000-000000000000'.
Hinweis
Der Jailbreak-Filter ist ab dem 1. November 2024 nur erforderlich, wenn eine auf Keyframes basierende Zusammenfassung oder eine reguläre Zusammenfassung verwendet wird.
So beheben Sie das Jailbreak-Problem:
- Wählen Sie "Gehe zu Azure Open AI studio" aus.
- Wählen Sie Bereitstellungen aus.
- Wählen Sie die Bereitstellung, mit der Sie arbeiten.
- Wählen Sie Bearbeiten aus.
- Konfigurieren Sie die Filter so, dass für jede Kategorie mindestens eine mittlere Ebene vorhanden ist.
- Wenden Sie Eingabeaufforderungsschilde für Jailbreak-Angriffe an.
- Wählen Sie Filter erstellen aus.
Andere Aspekte
Es wird empfohlen, die Azure AI Video Indexer- und Azure OpenAI-Konten in derselben Region zu erstellen, sonst können Leistungsprobleme auftreten.