要約との統合と責任ある使用のためのガイダンス

Microsoft では、概要作成機能を使用するソリューションを責任ある方法で開発および展開できるように支援したいと考えています。 Microsoft は、AI システムの次の側面 (公平性、信頼性と安全性、プライバシーとセキュリティ、包括性、透明性、人間の説明責任) を考慮して、個人の機関と品位を維持するための原則的なアプローチを採用しています。 これらの考慮事項は、 責任ある AI の開発に対する Microsoft のコミットメントを反映しています。

一般的なガイドライン

AI を利用した製品または機能を統合して責任を持って使用する準備ができたら、次のアクティビティを使用して成功を収めるのに役立ちます。 各ガイドラインはすべてのシナリオに適用される可能性は低いですが、考えられるリスクを軽減するための出発点として考えてください。

• 何ができるか、および誤用される可能性がある方法を理解します。 使用している AI システムの機能を完全に評価して、その機能と制限事項を理解します。 Microsoft が実施する特定のテストには、シナリオが反映されていない可能性があります。 実際の状況と、コンテキストを反映した多様なデータを使用してテストすることで、特定のシナリオでどのように動作するかを理解します。 公平性に関する考慮事項を含めます。

• 実際の多様なデータを使用してテストします。 シナリオでシステムがどのように動作するかを理解します。 実際の状態と、ユーザー、地域、デプロイコンテキストの多様性を反映するデータを使用して、徹底的にテストします。 エンド ツー エンドのシナリオを反映しない小規模なデータセット、合成データ、テストは、運用環境のパフォーマンスを十分に表す可能性は低くなります。

• システムを評価します。 信頼できるテスト担当者がシステム障害、パフォーマンスの低下、望ましくない動作の検出を試みる敵対的テストの使用を検討してください。 この情報は、リスクとその軽減方法を理解するのに役立ちます。 機能と制限事項を関係者に伝えます。 システムの評価に役立つリソースとして、 GitHub のチェックリスト、 ステレオタイピングノルウェー サーモン: 公平性ベンチマーク データセットの落とし穴のインベントリ (2021 年)、 確率的なオウムの危険性: Ca 言語モデルが大きすぎる場合 (Bender et al.,2021) が役立つ場合があります。

• 公平性について説明します。 AI システムは、さまざまな理由で不公平に動作する可能性があります。 ソーシャルなものもありますし、技術的なものもありますし、2 つの組み合わせのものもあります。 明確な解決策はほとんどありません。 軽減方法は、通常、コンテキストに依存します。 公平性について学ぶことは、何を期待し、潜在的な損害を軽減する方法を学ぶのに役立ちます。 Microsoft が使用するアプローチの詳細については、 責任ある AI リソース、 AI 公平性チェックリスト、 および Microsoft Research のリソースを参照してください。

• プライバシーに対する個人の権利を尊重する。 適法かつ正当な目的でのみ、個人からデータと情報を収集します。 この目的に使用することに対して同意を得たデータと情報のみを使用します。

• 開発中にユーザー テストを実施し、デプロイ後にフィードバックを要請します。 価値重視の設計を使用して利害関係者を特定することを検討してください。 それらの値を特定して、それらの値をサポートするシステムを設計します。 開発と評価のプロセス中に、多様な人々のグループからのフィードバックを求めます。 コミュニティ陪審員のような戦略を使用します。

  多様な利害関係者とのユーザー テストを実施します。 次に、利害関係者グループ別に分類された結果を分析します。 さまざまな人口統計グループの利害関係者を含めます。 展開コンテキストで、オンライン実験、リング テスト、ドッグフード、フィールドトライアル、パイロットを実施することを検討してください。

• 入力と出力の長さ、構造、レート、ソースを制限します。 入力と出力の長さを制限すると、リスクの可能性が低くなります。 このようなリスクには、望ましくないコンテンツの生成、意図したアプリケーションのユース ケースを超えた過度の汎用の誤用、またはその他の有害な、許可されていない、または意図しないシナリオが含まれます。

• プロンプトを特定の方法で構造化することを検討してください。 これらは、特定のトピックに限定することも、ドロップダウン フィールドのように検証済みのソースから取得することもできます。 出力が過度にオープンエンドでないように構成することを検討してください。 インターネットに接続するのではなく、検証済みの信頼性の高いソース資料 (既存のサポート記事など) から出力を返す方法を検討してください。 この制限は、アプリケーションがタスクを実行し続け、不公平、信頼性が低い、または不快な動作を軽減するのに役立ちます。 レート制限を設定すると、誤用がさらに減る可能性があります。

• ブロックリストとコンテンツ モデレーションを実装します。 アプリケーションをテーマに沿ったものにしてください。 望ましくないコンテンツの入力と出力を確認するには、ブロックリストとコンテンツ モデレーション戦略を検討してください。 望ましくないコンテンツの定義はシナリオによって異なり、時間の経過と同時に変化する可能性があります。 これには、ヘイトスピーチ、不適切な単語やフレーズを含むテキスト、誤った情報、機密性の高いトピックや感情的に課金されたトピックに関連するテキストが含まれる場合があります。 入力をチェックすると、悪意のあるユーザーが望ましくないコンテンツを生成しようとした場合でも、アプリケーションをトピックに保持するのに役立ちます。 API 出力を確認すると、システムによって生成された望ましくないコンテンツを検出できます。 その後、置き換えたり、報告したり、ユーザーに別の入力を入力するよう依頼したり、入力例を指定したりできます。

• ユーザーを認証します。 誤用をより困難にするには、顧客にサインインを要求し、必要に応じて有効な支払い方法をリンクすることを検討してください。 開発の初期段階で、既知の信頼できる顧客とのみ連携することを検討してください。

• 人間の監視を確保する。 特に高いリスクのシナリオでは、意思決定における人間の役割を維持します。 AI が行ったことと人間が行ったことを明らかにします。

  シナリオに基づいて、ライフサイクルには、人間による監視を追加できるさまざまな段階があります。 損害を防ぐために、ソリューションに人間がリアルタイムで介入できることを確認します。 たとえば、サマリーを生成する場合、エディターはパブリケーションの前に概要を確認する必要があります。 理想的には、デプロイ前、ユーザー テスト、デプロイ後の人間の監視の有効性を評価します。

• 顧客フィードバック ループを作成します。 ユーザーと個人がデプロイ後にサービスに関する問題を報告できるようにするフィードバック チャネルを提供します。 問題には、不公平または望ましくない動作が含まれる場合があります。 AI を利用する製品または機能をデプロイした後は、継続的な監視と改善が必要です。 従業員、訪問者、一般市民など、システムによって直接的または間接的に影響を受ける可能性のある利害関係者から質問や懸念を収集するためのチャネルを確立します。 たとえば、次のようになります。

  • アプリ エクスペリエンスに組み込まれているフィードバック機能。
  • フィードバック用の覚えやすいメール アドレス。

• 法的レビューを実施する。 特に機密性の高いアプリケーションや危険度の高いアプリケーションでソリューションを使用する場合は、ソリューションを確認するための適切な法的アドバイスを得ます。 どのような制限内で作業する必要があるかを把握します。 将来発生する可能性のある問題を解決する責任を理解します。 データセットを適切に使用してください。

• システム レビューを実施する。 AI を利用した製品または機能を、ソフトウェア、顧客、組織のプロセスの既存のシステムに統合し、責任を持って使用することを計画している場合があります。 その場合は、時間をかけてシステムの各部分がどのように影響を受けるかを理解してください。 AI ソリューションが、Microsoft が使用する責任ある AI の原則とどのように整合しているかを検討します。

• セキュリティ。 ソリューションが安全であり、コンテンツの整合性を維持し、承認されていないアクセスを防ぐための適切な制御があることを確認します。

推奨コンテンツ

• 責任ある AI の原則に合わせてアプリケーションを評価します。

• Microsoft HAX Toolkit を使用します。 このツールキットでは、最初の対話時、通常の対話時、必然的に間違っている場合、および時間の経過に伴う AI システムの動作に関するベスト プラクティスをお勧めします。

• 会話型 AI システムの責任ある開発については、Microsoft のガイドラインに従ってください。 このガイドラインは、チャット ボットやその他の会話型 AI システムを強化する言語モデルを開発してデプロイするときに使用します。

• Microsoft インクルーシブ デザイン ガイドラインを使用して、包括的なソリューションを構築します。