Verwalten Klick-zu-Do

Suchen Sie Informationen für Verbraucher? Weitere Informationen finden Sie unter Click to Do: Weitere Aktionen auf dem Bildschirm.

Aktion per Mausklick hilft Benutzern, Aufgaben schneller zu erledigen, indem es Texte und Bilder erkennt, die sich aktuell auf ihrem Bildschirm befinden, sodass sie Aktionen darauf ausführen können. Dieser Artikel enthält Informationen zu Click to Do und deren Verwaltung in einer kommerziellen Umgebung.

Was ist Click to Do?

Click to Do analysiert, was sich auf dem Bildschirm befindet, und ermöglicht benutzern dann die Auswahl des Texts oder Bilds, für den sie Maßnahmen ergreifen möchten. Benutzer können Click to Do mithilfe der Windows-Taste + Q oder mit der Windows-Taste + mit der Maustaste öffnen. Weitere Einstiegspunkte für Click to Do sind PCs, die mit der rechten Fingereingabe wischen, das Snipping Tool, Suchergebnisse und das Startmenü aktiviert sind.

Die Analyse von Screenshots wird immer lokal auf dem Gerät durchgeführt. Die Analyse beginnt erst, nachdem Benutzer aktiv mit Click to Do interagieren, und endet, wenn sie Click to Do beenden. Klicken Sie auf "Do", um nur Text und Bilder zu identifizieren, nicht den Inhalt dieser Texte oder Bilder. Es werden keine Inhalte in minimierten Anwendungen analysiert, die sich nicht auf dem Bildschirm befinden.

Inhalte werden nur freigegeben, wenn Benutzer eine Aktion wie Websuche ausführen möchten. Wenn Click to Do aktiv ist, ist der Cursor blau und weiß. Der Cursor ändert auch die Form abhängig vom Typ der darunter liegenden Informationen. Was Benutzer mit den Informationen tun können, ändert sich basierend darauf, welche Art von Inhalt Click to Do erkennt. Die folgenden Aktionen sind derzeit verfügbar:

• Mehrere Inhaltstypen: Kopieren, Öffnen mit, Suchen im Web, Fragen Microsoft 365 Copilot

• Text: Zusammenfassen, Erstellen einer Aufzählung, Umschreiben, Entwurf mit Copilot in Word, Üben in Reading Coach, Lesen mit Plastischer Reader

• Bilder: Freigeben, Speichern, visuelle Suche mit Bing, weichzeichnender Hintergrund mit Fotos, Löschen von Objekten mit Fotos, Entfernen des Hintergrunds mit Paint

• Email/Teams-Aktionen: E-Mail an [E-Mail-Adresse senden], weitere Informationen zu [E-Mail-Adresse] anzeigen, Eine Nachricht mit Teams senden, Besprechung mit Teams planen

Click to Dos intelligentere Textaktionen, die von Phi Silica unterstützt werden, werden auf dem Gerät ausgeführt und sind heute in drei Sprachen verfügbar. Englisch unterstützt den vollständigen Satz – Zusammenfassen, Erstellen einer Aufzählung und Umschreiben (lässig, formal, verfeinern). Französisch und Spanisch bieten eine fokussierte Teilmenge: Zusammenfassen, Erstellen einer Aufzählung und Verfeinern. Da sich die Modellqualität verbessert, planen wir, die Sprachabdeckung zu erweitern.

Systemanforderungen

Click to Do hat die folgenden Mindestanforderungen:

• Ein Copilot+ PC oder ein berechtigter Cloud-PC

• 40 TOPs NPU (Neural Processing Unit)

  • 16 GB RAM
  • 8 logische Prozessoren
  • 256 GB Speicherkapazität

Um den Einstiegspunkt Click to Do aus dem Snipping Tool anzuzeigen, ist Snipping Tool Version 11.2411.20.0 oder höher erforderlich.

Konfigurieren der Richtlinie für Click to Do

Wenn diese Option aktiviert ist, erstellt Click to Do einen Screenshot des Bildschirms des Benutzers und analysiert ihn, um Aktionen darzustellen. Klicken Sie auf Do endet, wenn Benutzer es beenden, und es können keine Screenshots erstellt werden, während sie geschlossen sind. Die Screenshotanalyse wird immer lokal auf dem Gerät ausgeführt. Standardmäßig ist Click to Do für Benutzer aktiviert.

Mit der folgenden Richtlinieneinstellung können Sie bestimmen, ob Click to Do für Benutzer auf ihrem Gerät verfügbar ist:

• Wenn die Richtlinie aktiviert ist, sind die Komponente Click to Do und die Einstiegspunkte für Benutzer nicht verfügbar.
• Wenn die Richtlinie deaktiviert oder nicht konfiguriert ist, stehen Benutzern Click to Do auf ihrem Gerät zur Verfügung.

Verwalten Klick-zu-Do

Klicken, um zu tun und Apps

Wenn Sie informationen von Click to Do an eine App wie Paint senden möchten, speichert Click to Do diese Informationen vorübergehend, um die Übertragung abzuschließen. Durch Klicken auf "Do" wird eine temporäre Datei am folgenden Speicherort erstellt:

• C:\Users\{username}\AppData\Local\Temp

Temporäre Dateien können auch gespeichert werden, wenn Sie Feedback senden möchten. Diese temporären Dateien werden nicht langfristig gespeichert. Click to Do behält nach Abschluss der angeforderten Aktion keine Inhalte von Ihrem Bildschirm, aber einige Diagnosedaten werden gesammelt, um Click to Do sicher, auf dem neuesten Stand und funktionieren zu halten.

Im Einklang mit dem Engagement von Microsoft für Datenschutz und Sicherheit werden alle gespeicherten Bilder und verarbeiteten Daten auf dem Gerät aufbewahrt und lokal verarbeitet. Click to Do ermöglicht Ihnen jedoch die Auswahl, ob Sie online weitere Informationen zu Ihren ausgewählten Inhalten erhalten möchten. Wenn Sie eine der folgenden Klick-und-Do-Aktionen auswählen, wird der ausgewählte Inhalt von Ihrem lokalen Gerät an den Onlineanbieter gesendet, um Ihre Anforderung abzuschließen. Beispiel:

• Websuche: Sendet den ausgewählten Inhalt mithilfe von Microsoft Edge an Bing.

• Website öffnen: Öffnet die ausgewählte Website in Ihrem Standardbrowser.

• Visuelle Suche mit Bing: Sendet den ausgewählten Inhalt mithilfe Ihres Standardbrowsers an die visuelle Bing-Suche.

Klick-to-Do- und App-Steuerelemente
Für Aktionen, die Apps betreffen (z. B. Microsoft 365 Copilot, Word, Teams, Fotos), werden diese nur als Optionen angezeigt, wenn diese Apps auf dem Gerät des Benutzers installiert sind. Für Organisationen, die diese Apps für ihre Benutzer entfernen möchten, werden auch die entsprechenden Aktionen im Menü Click to Do entfernt.

Weitere Informationen zu IT-Richtlinien zum Verhindern der App-Installation und App-Steuerung finden Sie unter Anwendungssteuerung für Windows. Benutzer können die Aktionen deaktivieren, die sie nicht wünschen, indem Sie zu Einstellungen –> Apps –> Aktionen wechseln.

Sie können die Apps auswählen, die der Anbieter (falls zutreffend) für aktionen sein werden, die von Click to Do vorgeschlagen werden. Nachdem Sie die Aktion und den Anbieter für die Aktion ausgewählt haben, liegen die Ergebnisse dieser Aktion in der Verantwortung des Anbieters. Beispielsweise können Sie unter Click to Do die Aktion Hintergrund mit Paint entfernen auswählen, was bedeutet, dass Sie Paint als Anbieter für die Aktion ausgewählt haben. Nachdem Sie die Aktion im Kontextmenü Klicken und Tun ausgewählt haben, wird die Paint-App gestartet, und das ausgewählte Bild wird von Paint verarbeitet.

Klicken Sie auf Do und Phi Silica
Die intelligenteren Textaktionen wie Zusammenfassen, Neuschreiben (beiläufig),Rewrite (Formal), Rewrite (Refine) und Erstellen einer Aufzählung werden durch ein hochmodernes kleines Sprachmodell namens Phi Silica unterstützt. Phi Silica nutzt die NPU, und das Sprachmodell wird lokal auf Copilot+-PCs ausgeführt. Phi Silica wird im Posteingang mit Windows auf Copilot+-PCs ausgeliefert.

Wenn ein Benutzer auf die Click to Do-Textaktionen klickt, werden der markierte Text und die ausgewählte Aktion im Rahmen einer Eingabeaufforderung an Phi Silica gesendet. Phi Silica schreibt den ausgewählten Text gemäß der Anforderung des Benutzers intelligent um und streamt die Antwort aus dem Modell zurück. Phi Silica reagiert schnell und effizient mit wenig Leistung. Weitere Informationen finden Sie unter Phi Silica, small but mighty on-device SLM.For more information, see Phi Silica, small but mighty on-device SLM.for more information, see Phi Silica, small but mighty on-device SLM.

Microsofts Verpflichtung zu verantwortungsvoller KI und Datenschutz

Microsoft arbeitet seit 2017 an der verantwortungsvollen Weiterentwicklung von KI, als wir zuerst unsere KI-Prinzipien definiert und später unseren Ansatz durch unsere verantwortungsvolle KI-Standard operationalisiert haben. Datenschutz und Sicherheit sind die Grundprinzipien bei der Entwicklung und Bereitstellung von KI-Systemen. Wir arbeiten daran, unsere Kunden dabei zu unterstützen, unsere KI-Produkte verantwortungsvoll zu nutzen, unsere Erkenntnisse zu teilen und vertrauensbasierte Partnerschaften aufzubauen. Weitere Informationen zu unseren verantwortungsvollen KI-Bemühungen, zu den Prinzipien, die uns leiten, sowie zu den Tools und Funktionen, die wir entwickelt haben, um sicherzustellen, dass wir KI-Technologie verantwortungsvoll entwickeln, finden Sie unter Verantwortungsvolle KI.

Um Klarheit über die Funktionsweise der einzelnen KI-Features zu schaffen, ist es wichtig, dass Sie die Funktionen und Einschränkungen kennen. Sie sollten sich mit den Optionen vertraut machen, die Ihnen in einem KI-Feature zur Verfügung stehen, und der Verantwortung, die mit diesen Entscheidungen verbunden ist.

Click to Do verwendet die optische Zeichenerkennung (Optical Character Recognition, OCR) auf Ihrem PC, um Textentitäten auf Screenshots zu erkennen. Weitere Informationen zu OCR finden Sie unter Transparenzhinweis und Anwendungsfälle für OCR.

Die intelligenten Textaktionen von Click to Do verwenden ein kleines Sprachmodell namens Phi Silica. Weitere Informationen zu Phi Silica finden Sie unter Erste Schritte mit Phi Silica im Windows App SDK. Informationen zu den Prinzipien der verantwortungsvollen KI, die die Bereitstellung von Phi Silica leiten, und zu den Sicherheitsmaßnahmen, die bei der Verwendung von generativen Sprachmodellen gelten, finden Sie unter Responsible Generative AI Development on Windows( Responsible Generative AI Development on Windows).

Die Modelle von Click to Do wurden neben umfassenden Bewertungen für verantwortungsvolle KI, Sicherheit und Datenschutz fairness bewertet, um sicherzustellen, dass die Technologie effektiv und gerecht ist und gleichzeitig die bewährten Methoden der verantwortungsbewussten KI von Microsoft eingehalten wird.

Verwandte Links

• Richtlinien-CSP – WindowsAI
• Verantwortungsvolle KI