[Manage Click to Do]\(クリックして実行する\)

ユーザー向けの情報を探している場合、 「クリックして実行する: 画面の内容を確認する」を参照してください。

[実行] をクリックすると、現在画面に表示されているテキストや画像を特定して、ユーザーが操作を実行できるように、作業を迅速に行うことができます。 この記事では、Click to Do に関する情報と、商用環境で管理する方法について説明します。

Click to Do とは

[実行] をクリックすると、画面の内容が分析され、ユーザーはアクションを実行するテキストまたは画像を選択できます。 ユーザーは、Windows キー + Q を使用するか、Windows キーを使用して [Click to Do] を開くことができます + クリックを使用します。 Click to Do のその他のエントリ ポイントには、タッチ対応 PC、切り取りツール、検索結果、スタート メニューの右スワイプが含まれます。

スクリーンショットの分析は、常にデバイス上でローカルに実行されます。 分析は、ユーザーが Click to Do に積極的に関与した後にのみ開始され、クリックして実行を終了したときに終了します。 [実行] をクリックすると、それらのテキストや画像の内容ではなく、テキストと画像のみが識別されます。 画面に表示されない最小化されたアプリケーションなど、コンテンツは分析されません。

コンテンツは、ユーザーが Web 検索などのアクションを完了することを選択した場合にのみ共有されます。 [クリックして実行] がアクティブな場合、カーソルは青と白になります。 カーソルは、その下の情報の種類に応じて図形も変更されます。 クリックして実行すると検出されるコンテンツの種類に基づいて、情報の変更に対してユーザーが実行できる操作。 現在、次のアクションを使用できます。

• 複数のコンテンツ タイプ: コピー、開く、Web を検索する、Microsoft 365 Copilotに尋ねる

• テキスト: 要約、箇条書きの作成、書き換え、Wordでの Copilot による下書き、リーディング コーチでの練習、イマーシブ リーダーでの読み取り

• 画像: 共有、保存、Bingで視覚的な検索、写真で背景をぼかす、写真でオブジェクトを消去する、ペイントで背景を削除する

• Email/Teams アクション: [メール アドレス] にメールを送信する、[メール アドレス]の詳細を表示する、Teams でメッセージを送信する、Teams との会議をスケジュールする

Phi Silica を利用した Do のよりインテリジェントなテキスト アクションは、デバイス上で実行され、現在 3 つの言語で利用できます。 英語では、完全なセット (Summarize、箇条書きの作成、書き換え (カジュアル、フォーマル、リファイン) がサポートされています。 フランス語とスペイン語には、集計、箇条書きの作成、絞り込みという、焦点を絞ったサブセットが用意されています。 モデルの品質が向上するにつれて、言語の範囲を広げる予定です

システム要件

[実行] をクリックすると、次の最小要件が満たされます。

• Copilot+ PCまたは適格なクラウド PC

• 40 TOP NPU (ニューラル処理ユニット)

  • 16 GB RAM
  • 8 つの論理プロセッサ
  • 256 GB のストレージ容量

切り取りツールから Click to Do エントリ ポイントを表示するには、切り取りツール バージョン 11.2411.20.0 以降が必要です。

Click to Do のポリシーを構成する

アクティブ化すると、[クリックして実行] はユーザーの画面のスクリーンショットを取得し、それを分析してアクションを表示します。 ユーザーが終了したときに [実行] をクリックすると終了し、閉じている間はスクリーンショットを撮ることはできません。 スクリーンショット分析は常にデバイス上でローカルに実行されます。 既定では、[クリックして実行] はユーザーに対して有効になっています。

以下のポリシー設定を使用すると、デバイス上のユーザーがクリックして実行できるかどうかを判断できます。

• ポリシーが有効になっている場合、[Click to Do]\(クリックして実行\) コンポーネントとエントリ ポイントはユーザーが使用できなくなります。
• ポリシーが無効になっているか、構成されていない場合、ユーザーはデバイスで [クリックして実行] を使用できるようになります。

[Manage Click to Do]\(クリックして実行する\)

[実行とアプリ] をクリックします

[クリックして実行] からアプリに情報を送信することを選択した場合 ([ペイント]、[クリックして実行] の順にクリックすると、転送を完了するためにこの情報が一時的に保存されます。 [実行] をクリックすると、次の場所に一時ファイルが作成されます。

• C:\Users\{username}\AppData\Local\Temp

一時ファイルは、フィードバックの送信を選択したときに保存される場合もあります。 これらの一時ファイルは長期保存されません。 [実行] をクリックしても、要求されたアクションが完了した後も画面のコンテンツは保持されませんが、一部の 診断データ が収集され、[Click to Do]\(クリックして実行する\) がセキュリティで保護され、最新の状態に保たれ、作業が維持されます。

データのプライバシーとセキュリティに対する Microsoft のコミットメントに従って、保存されたすべての画像と処理されたデータはデバイスに保持され、ローカルで処理されます。 ただし、[クリックして実行] を使用すると、選択したコンテンツに関する詳細情報をオンラインで取得するかどうかを選択できます。 次のいずれかの [クリックして実行] アクションを選択すると、選択したコンテンツがローカル デバイスからオンライン プロバイダーに送信され、要求が完了します。 以下に例を示します。

• Web を検索する: 選択したコンテンツを Microsoft Edge を使用してBingに送信します

• Web サイトを開く: 既定のブラウザーで選択した Web サイトを開きます

• Bingを使用したビジュアル検索: 既定のブラウザーを使用して、選択したコンテンツBingビジュアル検索に送信します

[Do and app controls]\(操作とアプリ コントロール\) をクリックします
アプリ (たとえば、Microsoft 365 Copilot、Word、Teams、フォト) に関連するアクションの場合、これらのアプリがユーザーのデバイスにインストールされている場合にのみオプションとして表示されます。 ユーザーのこれらのアプリを削除することを選択した組織の場合、[クリックして実行] メニューの対応するアクションも削除されます。

アプリのインストールとアプリ制御を防ぐための IT ポリシーの詳細については、「Windows 用アプリケーション制御」を参照してください。 ユーザーは、[設定] -> [アプリ] -> [アクション] に移動して、必要のないアクションを無効にすることができます。

[クリックして実行] で提案されたアクションのプロバイダー (該当する場合) となるアプリを選択できます。 アクションのアクションとプロバイダーを選択すると、そのアクションの結果がプロバイダーの責任になります。 たとえば、[クリックして実行] から [ペイントを使用して背景を削除する] アクションを選択できます。これは、アクションのプロバイダーとして [ペイント] を選択したことを意味します。 [クリックして実行] コンテキスト メニューからアクションを選択すると、ペイント アプリが起動し、選択したイメージがペイントによって処理されます。

クリックすると Do と Phi Silica が表示されます
[集計]、[書き換え (カジュアル)]、[書き換え (正式)]、[書き換え (リファイン)]、[箇条書きの作成] など、Do のよりインテリジェントなテキスト アクションをクリックすると、Phi Silica という最先端の小さな言語モデルが利用されます。 Phi Silica は NPU を活用しており、言語モデルは Copilot+ PC でローカルに実行されます。 Phi Silica は、Copilot+ PC 上の Windows で受信トレイを出荷します。

ユーザーが [テキストをクリック] アクションをクリックすると、選択したテキストと選択したアクションがプロンプトの一部として Phi Silica に送信されます。 Phi Silica は、ユーザーの要求に従って選択したテキストをインテリジェントに書き換え、モデルからの応答をストリームバックします。 Phiシリカは、ほとんど力を使用して、迅速かつ効率的に応答を提供します。 詳細については、「 Phi Silica、小型だが強大なオンデバイス SLM」を参照してください。

責任ある AI とプライバシーに対する Microsoft のコミットメント

Microsoft は、2017 年に最初に AI 原則を定義し、その後、責任ある AI Standardを通じてアプローチを運用化して以来、責任を持って AI の進歩に取り組んでいます。 プライバシーとセキュリティは、AI システムを開発してデプロイする上で重要な原則です。 私たちは、お客様が責任を持って AI 製品を使用し、学習内容を共有し、信頼に基づくパートナーシップを構築できるよう支援します。 責任ある AI の取り組み、指針となる原則、および責任を持って AI テクノロジを開発するために作成したツールと機能の詳細については、「 責任ある AI」を参照してください。

各 AI 機能のしくみを明確にするには、その機能と制限事項を理解することが重要です。 AI 機能で利用できる選択肢と、それらの選択に関連する責任を理解する必要があります。

クリックすると、PC の光学式文字認識 (OCR) が使用され、スクリーンショットのテキスト エンティティが検出されます。 OCR の詳細については、「OCR の 透明性に関するメモとユース ケース」を参照してください。

[Do] をクリックすると、Phi Silica という小さな言語モデルが使用されます。 Phi Silica の詳細については、「Windows App SDK での Phi Silica の概要」を参照してください。 Phi Silica のデプロイを導く責任ある AI 原則と、生成言語モデルを使用する場合の安全対策については、「 Windows での責任あるジェネレーティブ AI 開発」を参照してください。

[Do のモデル] をクリックすると、包括的な責任ある AI、セキュリティ、プライバシーの評価と共に公平性評価が行われ、Microsoft の責任ある AI のベスト プラクティスに従いながら、テクノロジが効果的かつ公平であることを確認できます。

関連リンク

• Policy CSP - WindowsAI
• 責任ある AI