Azure OpenAI の透明性に関するメモ

フル マネージドの Azure OpenAI サービスの一部として、 GPT-3 モデルは自然言語を分析して生成し、Codex モデルはコードとプレーン テキスト コード解説を分析して生成し、 GPT-4 と 推論モデル (o シリーズ モデルや GPT-5 を含む) は自然言語とコードを理解して生成できます。 これらのモデルでは、自動回帰アーキテクチャが使用されます。つまり、以前の観測のデータを使用して、最も可能性の高い次の単語を予測します。 このプロセスは、新しく生成されたコンテンツを元のテキストに追加して、生成された完全な応答を生成することによって繰り返されます。 応答は入力テキストに対して条件付けされるため、入力テキストを変更するだけで、これらのモデルをさまざまなタスクに適用できます。

GPT-3 シリーズのモデルは、一般に公開されている幅広いフリー テキスト データで事前トレーニングされています。 このデータは、Web クロール (具体的には、インターネットからの幅広いテキストを含み、加重された事前トレーニング データセットの 60% を含む、フィルター処理されたバージョンの Common Crawl) と、WebText データセットの拡張バージョン、2 つのインターネット ベースの書籍コーパス、英語 Wikipedia などの高品質のデータセットの組み合わせから取得されます。 GPT-4 基本モデルは、公開されているデータ (インターネット データなど) と OpenAI によってライセンスされたデータを使用してトレーニングされました。 このモデルは、強化学習と人間のフィードバック (RLHF) を使用して微調整されました。

Computer Use (Preview) モデルは、最初のターンでテキスト入力を受け入れ、2 番目以降のターンのスクリーンショット画像を受け取り、キーボードとマウスにコマンドを出力します。 Computer Use モデルと Computer Use Tool を使用すると、開発者はエージェント AI システムを構築できます。

OpenAI の GPT-3、GPT-4、Codex の研究論文のトレーニングとモデリングの手法の詳細について説明します。

微調整 とは、 教師あり微調整 を使用して基本モデルの重みを調整し、提供されたトレーニング セットに基づいてより適切な応答を提供することを指します。 大規模言語モデルのすべてのユース ケースと考慮事項は、微調整されたモデルにも適用されますが、追加の考慮事項もあります。

キーワード

フル マネージド サービスにより、Azure OpenAI DALL への API アクセスが提供されます。E 2, DALL·E 3、GPT-image-1、GPT-4 Turbo with Vision、GPT-4o、および o1 API。

Azure OpenAI DALL·E API を 使用すると、アプリケーション内のテキスト プロンプトと画像入力からリッチ イメージを生成できます。 この強力なマルチモーダル AI モデルは OpenAI によって開発され、テキスト入力のセマンティクスとスタイルの両方をキャプチャする画像を生成できます。

DALL·Eのトレーニングとモデリング技術の詳細はOpenAI DALL·E研究論文で確認でき、DALL·E 3の安全性についてはOpenAI DALL·E 3システムカードで確認できます。

Azure OpenAI GPT-4 Turbo with Vision では、マルチモーダル (画像とテキスト) の入力を受け入れ、自然言語とコード応答を生成できます。 この API を使用すると、画像とビデオの入力をより豊富かつ包括的に理解できます。

OpenAIのGPT-4研究論文およびシステムカードを参照することで、GPT-4 Turbo with Visionのトレーニング手法やモデリング技術、そしてVision機能の安全性について詳しく学ぶことができます。

Azure OpenAI GPT-4o は、マルチモーダル (画像とテキスト) 入力を受け入れ、Azure OpenAI GPT-4 Turbo with Vision と同様に自然言語とコード応答を生成できます。

Azure OpenAI Computer Use (プレビュー) は、最初のターンでテキスト入力を受け入れ、2 番目以降のターンのスクリーンショット画像を受け入れ、キーボードとマウスにコマンドを出力します。 Computer Use モデルと Computer Use Tool を使用すると、開発者はエージェント AI システムを構築できます。

次のガイダンスは、 責任ある AI に関する Microsoft の調査の分析情報とベスト プラクティスから得られます。

キーワード

Azure OpenAI サービスの gpt-4o-realtime-preview モデルにより、堅牢な音声読み上げとテキスト読み上げの対話が可能になります。 このモデルは高度な音声認識と合成機能を統合し、音声入力を理解し、正確な文字起こしを生成し、ターゲット言語で流暢な音声出力を生成できるようにします。 リアルタイムで音声を翻訳する機能により、 gpt-4o-realtime-preview は言語間での動的な会話を容易にします。

Azure OpenAI サービスのささやきモデルを使用すると、堅牢な音声認識と翻訳タスクを実行するモデルにアクセスできます。 ささやきモデルは、 OpenAI によって開発された自動音声認識 (ASR) モデルであり、音声オーディオ ファイルを英語に翻訳された言語に文字起こしすることができます。

ささやきモデルのトレーニングとモデリング手法の詳細については、 OpenAI のささやき研究論文を参照してください。 ささやきモデルは、Foundry Tools サービスの Azure Speech でも使用されます。 Azure Speech 統合の詳細を確認し、ここで使用できるように評価 します。

キーワード

推論モデル、GPT-4、GPT-3、Codex モデル、Azure OpenAI の評価では、プロンプトの自然言語の指示と例を使用してタスクを識別します。 次に、最も可能性の高い次のテキストを予測して、モデルによってタスクが完了します。 この手法は、"コンテキスト内" 学習と呼ばれます。 これらのモデルは、この手順では再トレーニングされません。代わりに、プロンプトに含めるコンテキストに基づいて予測を行います。

コンテキスト内学習には、主に 3 つのアプローチがあります。 これらの方法は、モデルに与えられるタスク固有のデータの量によって異なります。

少数のショット : この場合、ユーザーは、予想される回答の形式と内容を示すいくつかの例をプロンプトに含めます。 次の例は、複数の例を提供する few-shot プロンプトを示しています。

Convert the questions to a command: 
Q: Ask Constance if we need some bread 
A: send-msg `find constance` Do we need some bread? 
Q: Send a message to Greg to figure out if things are ready for Wednesday. 
A: send-msg `find greg` Is everything ready forWednesday? 
Q: Ask Ilya if we're still having our meeting thisevening 
A: send-msg `find ilya` Are we still having a meetingthis evening? 
Q: Contact the ski store and figure out if I can getmy skis fixed before I leave on Thursday 
A: send-msg `find ski store` Would it be possible toget my skis fixed before I leave on Thursday? 
Q: Thank Nicolas for lunch 
A: send-msg `find nicolas` Thank you for lunch! 
Q: Tell Constance that I won't be home before 19:30tonight — unmovable meeting. 
A: send-msg `find constance` I won't be home before19:30 tonight. I have a meeting I can't move. 
Q: Tell John that I need to book an appointment at10:30 
A:  

通常、1 つのプロンプトの最大入力長に収まる数に応じて、例の数は 0 から 100 の範囲です。 少数のショット学習により、正確な予測に必要なタスク固有のデータの量を大幅に削減できます。

ワンショット : このケースは、1 つの例のみを提供するという点を除いて、少ショットアプローチと同じです。 次の例は、ワンショット プロンプトを示しています。

Convert the questions to a command:
Q: Ask Constance if we need some bread
A: send-msg `find constance` Do we need some bread?
Q: Send a message to Greg to figure out if things are ready for Wednesday.
A:

ゼロショット: この場合、モデルに例は提供されておらず、タスク要求のみが提供されます。 次の例は、ゼロショット プロンプトを示しています。

Convert the question to a command:
Q: Ask Constance if we need some bread
A:

考え方の連鎖 : Azure OpenAI の推論モデルには、考え方チェーン (CoT) 手法を使用した高度な推論機能があります。 CoT 手法は、応答を提供する前に中間的な推論手順を生成し、段階的な問題解決を通じてより複雑な課題に対処できるようにします。 o1は、研究、戦略、科学、コーディング、数学などの推論が多い分野のベンチマークの改善を示しています。 これらのモデルには高度な推論機能による安全性の向上があり、安全規則をより効果的に推論して適用することができます。 その結果、安全性ベンチマーク (不正なアドバイスの生成、ステレオタイプ的な応答の選択、既知の脱獄プロンプトへの脆弱性など) に沿ってパフォーマンスが向上します。

このモデルの機能ファミリの詳細については、 OpenAI o1 システム カード、 o3 ミニ システム カード、 o3/o4 ミニ システム カード、 ディープ リサーチ システム カード、 GPT-5 システム カードを参照してください。

Azure OpenAI の評価

大規模な言語モデルの評価は、さまざまなタスクとディメンションのパフォーマンスを測定する上で重要なステップです。 このタスクは、トレーニングによるパフォーマンスの向上 (または損失) を評価することが重要な、微調整されたモデルでは特に重要です。 徹底的な評価がなければ、モデルのさまざまなバージョンが特定のアプリケーションに与える影響を理解することが困難になる可能性があります。

Azure OpenAI Evaluation は、Azure OpenAI デプロイから生成されたデータセットやその他の手動でキュレーションされたファイルなど、データを評価するための UI ベースのエクスペリエンスです。

Azure OpenAI Evaluation には、応答を生成するオプションの手順があります。 ユーザーがこの手順を選択すると、応答を生成する方法をモデルに指示するプロンプト (システム/ユーザー メッセージ) が表示されます。

Azure OpenAI 評価には、結果をスコア付けするための 9 つのカテゴリのテストが含まれています。 一部のデータには(事実性のような) 地上の真理データが必要ですが、そうでないものがあります (スキーマの検証)。 グレーデラーは、CPU ベースとモデル ベースの組み合わせです。 テスト基準の一覧は次のとおりです。事実性、感情分析、有効なJSONまたはXML、一致基準、カスタムプロンプト、意味的類似性、文字列を含む、一致するスキーマ、テキスト品質。

Text-to-action

コンピューターの使用 (プレビュー) モデルを使用すると、テキストからアクションへの機能が可能になり、ユーザーはモデルがグラフィカル ユーザー インターフェイス内で実行可能なステップに変換する自然言語命令を提供できます。 "顧客サポート フォームにこの情報を入力する" などのコマンドを指定すると、モデルは関連するフィールドを識別し、正しいデータを入力して、フォームを送信します。 Web インターフェイス間の移動、構造化データまたは非構造化データの抽出と入力、ワークフローの自動化、セキュリティ ポリシーへのコンプライアンスの適用を行うことができます。 意図を理解し、それに応じてアクションを実行することで、ビジネス運用を効率化し、自動化のアクセシビリティと効率を高めます。

Azure OpenAI サービスのイメージ生成 API

The DALL·E 2, DALL·E 3 および GPT-image-1 API は、自然言語プロンプトを使用して新しいコンテンツを生成します。 これらのモデルは、公開されているソースと OpenAI がライセンスを取得した他のソースから取得された画像と対応するキャプションのペアでトレーニングされました。

これらの生成 AI モデルは、開発者、アーティスト、デザイナー、教育者などに無数の機会を提供します。 モデルは、想像できる内容と作成できる内容の間のギャップを埋めることができます。 テキストプロンプトと画像の間で、クロスドメインの一般的な理解とゼロショット翻訳を可能にし、多くの場合、高度なリアリズムを実現します。

Azure OpenAI イメージ生成 API の主な機能は次のとおりです。

• テキストから画像へ: モデルはテキスト プロンプトを受け取って画像を生成します。

  テキスト プロンプトの例	生成されたイメージの例
  "シアトルのスカイラインの水彩画"

  Tip

  図を生成しないことを望む公人は、support@openai.com にメールを送信してオプトアウトできます。

• プロンプト変換: DALL の場合·E 3 モデル: 画像を生成するためにプロンプトがモデルに送信される前に、プロンプトに安全性と品質の軽減策が適用されます。 プロンプト変換は、より多様で高品質な画像を生成することを目的として、プロンプトを強化します。

  プロンプト変換は、すべての Azure OpenAI DALL·E 3 の生成に適用されます。

  元のプロンプトにプロンプト変換を適用すると、イメージ生成前のセカンダリ ステップとして Guardrails (以前のコンテンツ フィルター) が適用されます。詳細については、 Guardrails (以前のコンテンツ フィルター) を参照してください。

  OpenAI のドキュメントでイメージ生成プロンプトの詳細を確認します。

  テキスト プロンプトの例	プロンプト変換なしで生成された画像の例	プロンプト変換を使用して生成された画像の例
  "シアトルのスカイラインの水彩画"

• イメージ間: GPT-image-1 モデルの場合: モデルはイメージとテキスト プロンプトを受け取り、テキスト命令に基づいて新しいイメージまたは変更されたイメージを返します。

• Inpainting: GPT-image-1 モデルの場合: モデルは、テキスト命令と共に画像とマスク (透明ピクセルを使用してフォーカス領域を定義する画像) を取り込み、指定された領域内でのみ新しいコンテンツを生成します。 これは、画像の修正や完了、周囲のコンテキストの一貫性を保ちながら、それらを創造的に変更するタスクに使用されます。

Azure OpenAI サービスでのビジョン対応チャット API

GPT-4 Turbo with Vision および GPT-4o では、自然言語と画像プロンプトを使用して自然言語またはコード応答を生成します。 モデルでは、テキストのみ、画像のみ、インターリーブされたテキストと画像の入力を受け入れます。 これらのモデルは GPT ファミリの一部であり、GPT-4 の拡張機能です。

Foundry Tools Service の Azure Vision では、GPT-4 Turbo with Vision (プレビュー) のビデオ拡張機能が提供されます。これは、ビデオ入力を受け入れて自然言語またはコード応答を生成することもできます。 この機能は、最新の GPT-4 Turbo with Vision モデル リリースでは使用できません。

プロンプトの例	入力候補の例
"これは何に使用されていますか?	トマトです。 これらは、生と調理の両方で、様々な料理の食品成分として一般的に使用されています。 トマトは、サラダ、サンドイッチ、ソース、スープ、ジュース、その他多くの料理用途で使用できます。 また、ビタミン、ミネラル、抗酸化物質など、豊富な栄養成分で知られています。
どのように使えますか？ これを作るには?	次の一般的な手順に従って、トマトを使用してトマトスープを作ることができます。 Ingredients: Tomatoes Onion Garlic オリーブオイルまたはバター チキンまたは野菜のスープ Salt Pepper オプション:バジル、オレガノ、タイムなどのハーブ Instructions: Preparation: トマトをよく洗います。 トマトを半分または四分の一に切ります。 玉ねぎとにんにくの皮をむき、刻みます。

Azure OpenAI サービスでのコンピューターの使用 (プレビュー)

Computer Use モデルは、GPT-4o のビジョン機能の微調整されたバージョンに基づいて構築されています。これにより、スクリーンショットを使用してグラフィカル ユーザー インターフェイス (GUI) を解釈して操作できます。 ボタン、テキスト フィールド、メニューなどのビジュアル要素を分析することで、アプリケーションのレイアウトを理解し、関連するインターフェイス コンポーネントを検出し、それに応じてアクションを実行できます。 これにより、Web とソフトウェアの対話を正確に自動化でき、リアルタイムのビジュアル コンテキストに基づいて、データ抽出、フォーム補完、ワークフロー実行などのタスクを実行できます。

顔のぼかし

人の画像またはビデオを含む GPT-4 Turbo と Vision、GPT-4o、GPT-4o mini への入力の場合、システムは、要求された結果を返す処理の前に顔をぼかします。

ぼかしは、関係する個人やグループのプライバシーを保護し、制限されたユース ケースから保護するのに役立ちます。 ぼかし処理は生成結果の品質には影響しないはずですが、場合によっては、システムが顔のぼかし処理について言及することがあります。

Azure OpenAI サービスでのコンピューターの使用 (プレビュー)

Computer Use モデルは、GPT-4o のビジョン機能の微調整されたバージョンに基づいて構築されています。これにより、スクリーンショットを使用してグラフィカル ユーザー インターフェイス (GUI) を解釈して操作できます。 ボタン、テキスト フィールド、メニューなどのビジュアル要素を分析することで、アプリケーションのレイアウトを理解し、関連するインターフェイス コンポーネントを検出し、それに応じてアクションを実行できます。 これにより、Web とソフトウェアの対話を正確に自動化でき、リアルタイムのビジュアル コンテキストに基づいて、データ抽出、フォーム補完、ワークフロー実行などのタスクを実行できます。

Azure OpenAI サービスの gpt-4o-realtime-preview モデルにより、高度な音声読み上げ機能が可能になり、リアルタイムの音声認識、翻訳、合成が提供されます。 GPT-4oは、音声入力をターゲット言語でコヒーレント出力に変換することで、流動的な通信を可能にします。

Azure OpenAI サービスは、リアルタイム API を通じて次の機能を提供します。

• 音声入力を処理して音声出力を生成する
• 音声入力を別の言語に翻訳する
• 入力音声と出力音声の文字起こし

このサービスは、音声操作の迅速な音声読み上げ処理用に設計されており、待機時間を最小限に抑えてリアルタイムの会話を促進します。

Azure OpenAI サービスのささやきモデルにより、音声からテキストへの文字起こしとオーディオ ファイルの翻訳が可能になります。 モデルは、インターネットから収集された多言語およびマルチタスク監視データでトレーニングされました。 これらの大規模で多様なデータセットにより、アクセント、背景ノイズ、技術言語などの属性に対する堅牢性が向上し、複数の言語への文字起こしと英語への翻訳が可能になりました。

Azure OpenAI サービスは、次の 2 つの REST API を通じてこれらの機能を提供します。

• 指定されたオーディオ ファイルの文字起こし
• 提供されたオーディオ ファイルを英語に翻訳する

このサービスでは、1 つのオーディオ ファイルをできるだけ速く同期的に処理する機能が提供されます。 オーディオ圧縮に応じて、15 分未満から 30 分未満に制限されます。

このサービスは読みやすさの高いトランスクリプトを提供します。このトランスクリプトは、多くの場合、不要な情報を取り除き、より正確な文の境界、句読点、および大文字化を提供します。 また、プロンプトを利用して、シナリオに合わせてモデル出力の品質を向上させることもできます。 詳細については、 システム情報を改善するためのベスト プラクティス を参照してください。

4o モデルの機能の詳細については、 OpenAI 4o システム カードを参照してください。

使用目的

テキスト モデルは、複数のシナリオで使用できます。 次の一覧は包括的ではありませんが、適切な軽減策を持つモデルでサポートできるタスクの多様性を示しています。

• チャットと会話の対話 : ユーザーは、社内ドキュメントやテクニカル サポート ドキュメントなどの信頼できるドキュメントから得た応答で応答する会話エージェントと対話できます。 会話は、範囲指定された質問への回答に限定する必要があります。
• チャットと会話の作成 : ユーザーは、社内ドキュメントやテクニカル サポート ドキュメントなどの信頼できるドキュメントから得た応答で応答する会話エージェントを作成できます。 会話は、範囲指定された質問への回答に限定する必要があります。
• コード生成または変換のシナリオ : たとえば、あるプログラミング言語を別のプログラミング言語に変換し、関数の docstring を生成し、自然言語を SQL に変換します。
• ジャーニシングコンテンツ :新しいジャーニシングコンテンツを作成したり、事前定義されたトピックの書き込み支援としてユーザーによって送信されたジャーニックなコンテンツを書き換えるために使用されます。 ユーザーは、すべてのトピックの一般的なコンテンツ作成ツールとしてアプリケーションを使用することはできません。
• 質問への回答 : ユーザーは質問をしたり、社内ドキュメントなどの信頼できるソース ドキュメントから回答を受け取ることができます。 アプリケーションは、信頼できるソースドキュメントに根拠がない回答を生成しません。
• 構造化データと非構造化データに対する理由 : ユーザーは、分類、テキストのセンチメント分析、またはエンティティ抽出を使用して入力を分析できます。 たとえば、製品フィードバックのセンチメントの分析、サポートの呼び出しとトランスクリプトの分析、埋め込みを使用したテキスト ベースの検索の絞り込みなどがあります。
• 検索 : ユーザーは、社内ドキュメントなどの信頼できるソース ドキュメントを検索できます。 アプリケーションは、信頼できるソース ドキュメントに基づかない結果を生成しません。
• 要約 : ユーザーは、アプリケーションに組み込まれている定義済みのトピックについて要約するコンテンツを送信でき、アプリケーションをオープンエンドのサマライザーとして使用することはできません。 たとえば、社内ドキュメントの概要、コール センターのトランスクリプト、技術レポート、製品レビューなどがあります。
• 特定のトピックに関するサポートの作成 : ユーザーは、ビジネス コンテンツまたは定義済みのトピックの作成支援として、新しいコンテンツを作成したり、ユーザーによって送信されたコンテンツを書き換えたりできます。 ユーザーは、特定のビジネス目的または定義済みのトピックに対してのみコンテンツを書き換えたり作成したりすることができ、すべてのトピックの一般的なコンテンツ作成ツールとしてアプリケーションを使用することはできません。 ビジネス コンテンツの例としては、提案やレポートなどがあります。 ジャーカニックな使用については、上記 のジャーニシング コンテンツ のユース ケースを参照してください。
• 微調整のためのデータ生成: ユーザーは、Azure OpenAI のモデルを使用して、(i) Azure OpenAI の微調整機能を使用して(i) 別の Azure OpenAI モデルを微調整するためにのみ使用されるデータを生成し、(ii) Foundry Tool の微調整機能を使用して別の Azure AI カスタム モデルを生成できます。 データの生成とモデルの微調整は、内部ユーザーのみに限定されます。微調整されたモデルは、該当する Foundry Tool での推論にのみ使用でき、Azure OpenAI サービスの場合は、このフォームで許可されている顧客のユース ケースに対してのみ使用できます。

微調整されたユースケース

微調整されたモデルに推奨されるその他のユース ケースを次に示します。 微調整は、次の場合に最も適しています。

• 目的の応答の例を使用して、応答のスタイル、形式、トーン、または定性的な側面をステアリングします。
• 特定の形式で応答を提供したり、プロンプトの情報に基づいている応答を確認するなど、モデルが望ましい出力を確実に生成するようにします。
• 複雑な自然言語からコード例など、プロンプトの例では説明できない多くのエッジ ケースを含むユース ケース。
• 特定のスキルやタスク（分類、要約、書式設定など）のパフォーマンスを向上させることは、それをプロンプト内で説明するのが難しい場合があります。
• 短いプロンプトを利用したり、より汎用的なモデル (GPT-4 用に微調整された GPT-3.5-Turbo など) に対して、より小さい/高速なモデルの微調整されたバージョンをスワップしたりして、コストや待機時間を削減します。

基本モデルと同様に、 Azure OpenAI の行動規範 に記載されているユース ケースの禁止事項は、微調整されたモデルにも適用されます。

モデルを拡張してドメイン外の情報を含めるシナリオ、説明可能性や接地が重要なシナリオ、または基になるデータが頻繁に更新されるシナリオでは、微調整は推奨されません。

推論モデルのユース ケース

推論モデルの高度な推論機能は、科学、コーディング、数学、および同様の分野での推論が多い用途に最適な場合があります。 特定のユース ケースには、次のようなものがあります。

• 複雑なコード生成、分析、最適化: 開発者がマルチステップ ワークフローを実行し、コード開発で実行される手順をより深く理解するのに役立つ、アルゴリズムの生成と高度なコーディング タスク。
• 高度な問題解決: 包括的なブレーンストーミング セッション、戦略の開発、多面的な問題の分解。
• 複雑なドキュメント比較: コントラクト、ケース ファイル、または法的ドキュメントを分析して、ドキュメントの内容の微妙な違いを識別します。
• 以下の手順とワークフロー管理: より短いコンテキストを必要とするワークフローの処理。

用途の詳細については、 OpenAI o1 システム カード、 o3-mini システム カード、 o3/o4-mini システム カード、 GPT-5 システム カードを参照してください。

詳細な調査のユース ケース

ディープ リサーチ モデルは、高度なクエリを実行し、引用文献が豊富な構造化されたレポートを返すように設計された o シリーズ推論モデルの微調整されたバージョンです。 モデルは、サブクエリを作成し、Web 検索から情報を収集してから、最後の応答を返します。 ユース ケースには、適切な人間による監視を伴う次のものが含まれる場合があります。

• 複雑な研究&文献レビュー:何百もの論文にわたる知見を合成し、研究のギャップや矛盾を特定し、新しい仮説や研究の方向性を提案します。
• 科学的発見と仮説の生成:分野間の発見間のつながりを探求し、テスト可能な仮説または実験計画を生成し、生の実験データの解釈を支援する。
• 高度な技術的な問題解決: 複雑なシステム (分散ソフトウェア、ロボット工学など) のデバッグ、新しいアルゴリズムまたはアーキテクチャの設計、高度な数学や物理学の問題の解決。
• 長期的な計画の強化: エグゼクティブまたは研究者が 10 年間のテクノロジ ロードマップを計画し、AI の安全性、バイオセキュリティ、または気候における長期的なシナリオをモデル化し、意思決定の 2 番目と 3 番目の順序の影響を評価するのを支援します。

詳細な調査モデルは、 Azure AI Agents サービスのツールとして利用できます。 用途の詳細については、 OpenAIディープリサーチシステムカードを参照してください。

Azure OpenAI 評価のユース ケース

Azure OpenAI の評価はテキストのみの機能であり、テキスト以外の入力をサポートするモデルでは使用できません。 Evals は、次のような複数のシナリオで使用できます。これらに限定されません。

• テキスト照合/比較の評価: これは、ユーザーが出力が予想される文字列と一致するかどうかを確認するシナリオに役立ちます。 ユーザーは、2 つの値セットを比較し、リレーションシップにスコアを付けることもできます。 たとえば、回答が回答キーと比較される複数選択の質問や、文字列の検証などがありますが、これに限定されません。
• テキスト品質: テキスト品質は、Bleu、Rouge、コサイン アルゴリズムなどのメソッドを使用して応答品質を評価し、機械翻訳、テキスト要約、テキスト生成などのさまざまな自然言語処理タスクで広く使用されています。
• 分類ベースの評価: 分類ベースの評価では、定義済みのカテゴリまたはラベルに応答を割り当てるか、モデルの出力を正しい回答の参照セットと比較することで、モデルのパフォーマンスを評価します。 自動採点、センチメント分析、製品分類は、一般的なユース ケースの 1 つです。
• 会話品質評価: 会話品質評価では、詳細な考え方チェーン (CoT) プロンプトを使用して、定義済みの基準と応答を比較します。 一般的なユース ケースには、カスタマー サポート、チャットボット開発、教育評価などがあります。
• 抽出条件ベースの評価: 条件ベースの評価の一般的なシナリオの 1 つは、事実性です。 事実の正確性を評価するには、提出された回答を専門家の回答と比較し、事実に基づくコンテンツのみに焦点を当てます。 これは、LLM によって提供される回答の精度を向上させる教育ツールや、学術的な設定で LLM によって生成された応答の実際の精度を評価するための研究支援ツールで役立ちます。
• 文字列の有効性の評価: 一般的なシナリオの 1 つは、モデルの応答が特定のスキーマに従っているか、有効な JSON または XML コンテンツであるかどうかを確認することです。

コンピューターの使用 (プレビュー) のユース ケース

Computer Use の機能は、GUI と自律的に対話できるエージェント AI システムの開発に最適です。 特定のユース ケースには、次のようなものがあります。

• Web ナビゲーションと対話の自動化: Web ベースのインターフェイスのナビゲーションを自律的に移動して、社内リソースや構造化データベースなどの信頼できるソースから情報を取得して提示します。 このモデルは、定義済みのナビゲーション ルールに従って関連データを抽出し、セキュリティ ポリシーに準拠していることを確認します。

• Web-Based タスク自動化: フォームへの入力、データの送信、Web アプリケーションとの対話など、Web ベースの繰り返しのタスクを自動化します。 Computer Use は、ボタンのクリック、テキストの入力、構造化データの処理を行うことができますが、承認されたワークフローとドメイン内でのみ動作します。

• 構造化データ抽出と非構造化データ抽出: テーブルやスプレッドシートなどの構造化されたソースや、PDF、スキャンされたドキュメント、メールなどの非構造化ソースから関連するデータを抽出します。 この機能は、財務データ処理、契約分析、カスタマー サポート チケットの分類などのタスクに役立ちます。

• 自動フォーム入力とデータ入力: 構造化されたデータベースまたはユーザー入力から情報を抽出し、それを使用して Web ベースのフォームを設定します。 これは、データ処理の正確性と一貫性を確保しながら、顧客サービス要求、人事プロセス、または CRM の更新を自動化する場合に役立ちます。

• Web-Based 画像分析: Web ページで見つかった画像を分析して、オブジェクト、シーン、または関連するパターンを検出してタグ付けします。 Computer Use では、ビジュアル情報を抽出して、在庫管理、ドキュメント処理、オブジェクト分類などのアプリケーションをサポートできます。

• 対話型のビジュアル検索と識別: 構造化された検索を通じて関連するビジュアル コンテンツを検索するユーザーを支援します。 たとえば、Computer Use では、eコマース カタログ内の製品を識別したり、旅行アプリケーションのランドマークを認識したり、定義済みの条件に基づいてデジタル アーカイブから特定の画像を取得したりできます。

• コンプライアンスとポリシーの自動チェック: アップロードされたファイル、コントラクト、内部ドキュメントなどの Web ベースのコンテンツをスキャンして、定義済みのコンプライアンス規則に準拠します。 Computer Use では、不足している情報、不整合、または潜在的な違反にフラグを設定して、組織内の規制基準を適用できます。

• ビジネス アプリケーション向けの自動化されたワークフロー実行: レポートの生成、レコードの更新、分析の取得など、エンタープライズ アプリケーション内を移動するためのマルチステップ ワークフローを定義します。 Computer Use は、ビジネス ツール内の定義済みの手順に従い、アクセス制御ポリシーに準拠して安全な実行を保証します。

ユース ケース選択時の考慮事項

お客様には、 制限付きアクセス登録フォームで承認された革新的なソリューションまたはアプリケーションで、Azure OpenAI GPT-4、o シリーズ、GPT-3、Codex、Computer Use モデルを使用することをお勧めします。 ただし、以下にユース ケース選択時の考慮事項をいくつか示します。

• 制限のないオープン エンドのコンテンツ生成には適していません。 ユーザーが任意のトピックでコンテンツを生成できるシナリオでは、不快なテキストや有害なテキストが生成される可能性が高くなります。 同じことが、より長い世代にも当てはまります。
• up-toの日付や、事実に基づく正確な情報が重要なシナリオには適していません。ただし、人間の校閲者がいるか、モデルを使用して独自のドキュメントを検索し、シナリオへの適合性を確認している場合を除きます。 このサービスには、トレーニング日以降に発生するイベントに関する情報は含まれていません。また、一部のトピックに関する知識が不足している可能性があり、常に事実に基づく正確な情報が生成されるとは限りません。
• システムを使用または誤用すると、個人に重大な身体的または精神的損傷が生じる可能性があるシナリオを避けます。 たとえば、患者を診断したり、薬を処方したりするシナリオは、重大な害を引き起こす可能性があります。 シナリオに意味のある人間のレビューと監視を組み込むことは、有害な結果のリスクを軽減するのに役立ちます。
• システムの使用または誤用が、生命の機会や法的地位に結果的な影響を与える可能性があるシナリオは避けてください。 例としては、AI システムが個人の法的地位、法的権利、またはクレジット、教育、雇用、医療、住宅、保険、社会福祉給付、サービス、機会、またはそれらが提供される条件へのアクセスに影響を与える可能性があるシナリオが挙げられます。 シナリオに意味のある人間のレビューと監視を組み込むことは、有害な結果のリスクを軽減するのに役立ちます。
• 害を及ぼす可能性のある高い賭け金のシナリオを避けてください。 Azure OpenAI サービスによってホストされるモデルには、トレーニング データに存在する特定の社会ビュー、バイアス、その他の望ましくないコンテンツや、プロンプトで提供される例が反映されます。 その結果、不公平、信頼性の低い、または攻撃的な行動が非常にコストがかかったり、損害を与えたりする可能性がある高いリスクのシナリオでモデルを使用することは慎重に行われます。 シナリオに意味のある人間のレビューと監視を組み込むことは、有害な結果のリスクを軽減するのに役立ちます。
• 高いステークのドメインまたは業界のユース ケースを慎重に検討してください 。例としては、医療、医療、金融、法律などがありますが、これらに限定されません。
• 適切な範囲のチャットボット シナリオを慎重に検討してください。 チャットボットでのサービスの使用を狭いドメインに制限すると、意図しない応答や望ましくない応答が生成されるリスクが軽減されます。
• 生成的なユース ケースをすべて慎重に検討してください。 コンテンツ生成シナリオでは、意図しない出力が生成される可能性が高くなる可能性があり、これらのシナリオでは慎重な検討と軽減が必要です。
• 法的および規制上の考慮事項: 組織は、Foundry Tools とソリューションを使用する際に、特定の法的および規制上の義務を評価する必要があります。これは、すべての業界またはシナリオでの使用には適していない可能性があります。 さらに、Foundry Tools またはソリューションは、該当するサービス利用規約および関連する行動規範で禁止されている方法で設計されておらず、使用されない場合があります。

コンピューター使用のユース ケースを選択する場合、ユーザーは上記の考慮事項に加えて、次の考慮事項を考慮する必要があります。

• アクションが元に戻せない、または結果が大きくないシナリオを避けます。これには、電子メールを送信する機能 (間違った受信者など)、重要なファイルを変更または削除する機能、財務取引を行う機能、外部サービスと直接やり取りする機能、機密情報をパブリックに共有すること、重要なシステムへのアクセスを許可する機能が含まれますが、これらに限定されません。 または、システムの機能またはセキュリティを変更する可能性のあるコマンドの実行。
• 高度な用途でのパフォーマンスの低下: コンピューターの使用は、WEB サイトやコンピューター デスクトップへのアクセスなど、UI を使用したタスクの完了に関するユース ケースに最適です。 コードの編集、広範なテキストの書き込み、複雑な意思決定など、より高度なタスクの実行がうまく行えない場合があります。
• 十分な人間の監視と管理を確保する。 ユーザーがアクションの検証、レビュー、承認を適切なタイミングで行うのに役立つコントロールを含めるとします。これには、計画されたタスクの確認や外部データ ソースへの呼び出し (システムに適した場合など) が含まれる場合があります。 特にリスクの高いシナリオやユース ケースでは、システム障害の適切なユーザー修復のためのコントロールを含める必要があります。
• アクションと関連する要件を明確に定義します。 許可されるアクション (アクションの境界)、禁止、または明示的な承認を必要とするかを明確に定義すると、コンピューターの使用が想定どおりに適切なレベルの人間による監視を行うのに役立つ場合があります。
• 目的の動作環境を明確に定義します。 コンピューターの使用が効果的に動作するように設計されている、目的の動作環境 (ドメイン境界) を明確に定義します。
• 意思決定において適切な明瞭性を確保する。 アクションの実行前、実行中、および実行後にユーザーに情報を提供すると、アクションの正当な理由や、特定のアクションが実行された理由、またはアプリケーションが特定の方法で動作している理由、介入する場所、問題のトラブルシューティング方法を理解するのに役立つ場合があります。
• 詳細については、 Generative AI への適切な依存の促進に関するガイドを参照してください。

詳細な調査のユース ケースを選択する場合、ユーザーは上記の考慮事項に加えて、次の考慮事項を考慮する必要があります。

• 十分な人間の監視と管理を確保する: ユーザーが詳細な調査レポートを確認し、引用されたソースとコンテンツを検証するのに役立つメカニズムを提供します。
• 著作権コンテンツの引用文献を確認する:ディープリサーチツールは、回答を準備するときにウェブ検索を行い、著作権で保護された資料が引用される可能性があります。 レポートに含まれている引用文献を確認し、著作権で保護された資料を適切に使用し、属性を設定していることを確認します。

想定される使用例

Azure OpenAI の DALL·E と GPT-image-1

The DALL·Azure OpenAI サービスの E API と GPT-image-1 API は、さまざまなイメージ生成シナリオに使用できます。 次の一覧は包括的ではありませんが、適切な軽減策でサポートできるタスクの多様性を示しています。

• アクセシビリティ機能: 画像ベースの視覚的な説明を生成するために使用します。
• アートとデザイン: アート目的でのみ、デザイン、芸術的なインスピレーション、気分ボード、またはデザイン レイアウトの画像を生成するために使用します。
• 通信： ビジネス関連のコミュニケーション、ドキュメント、エッセイ、ニュースレター、ブログ投稿、ソーシャル メディア、メモの画像を作成するために使用します。
• 教育： 教育機関で使用したり、専門的なトレーニングに使用したりするために、強化された学習教材またはインタラクティブな学習教材の画像を作成するために使用します。
• 娯楽： ビデオ ゲーム、映画、テレビ、ビデオ、録音された音楽、ポッドキャスト、オーディオブック、拡張現実や仮想現実などのエンターテイメント コンテンツを強化する画像を作成するために使用します。
• ジャーニシングコンテンツ: ジャーニシング コンテンツを強化するために画像を作成するために使用します。
• マーケティング： 製品またはサービス メディア、製品指示、ビジネスプロモーション、または広告のマーケティング資料を作成するために使用します。 個人にパーソナライズされた広告やターゲット広告の作成に使用しないでください。
• プロトタイプ作成と概念開発: 製品またはサービスのアイデアや視覚化のための画像を生成するために使用します。 この使用は、上記のシナリオのコンテキストでのみ適用されます。

Azure OpenAI での GPT-4 Turbo with Vision と GPT-4o

• チャットと会話の対話: ユーザーは、社内ドキュメントやテクニカル サポート ドキュメントなどの信頼できるドキュメントから取得された情報で応答する会話エージェントと対話できます。 会話は、範囲指定された質問への回答に限定する必要があります。
• チャットボットと会話エージェントの作成: ユーザーは、社内ドキュメントやテクニカル サポート ドキュメントなどの信頼できるドキュメントから取得された情報で応答する会話エージェントを作成できます。 たとえば、図、グラフ、および技術ドキュメントの関連するその他の画像は、理解力を高め、より正確な応答を提供できます。 会話は、範囲指定された質問への回答に限定する必要があります。
• コード生成または変換シナリオ: 1 つのプログラミング言語を別のプログラミング言語に変換するか、自然言語またはビジュアル入力を使用してユーザーがコードを生成できるようにします。 たとえば、ユーザーは手書きの擬似コードの写真や、コーディングの概念を示す図を撮影し、アプリケーションを使用してその素材に基づいてコードを生成できます。
• 構造化データと非構造化データに対する理由: ユーザーは、分類、テキストのセンチメント分析、またはエンティティ抽出を使用して入力を分析できます。 ユーザーは、分析のためにテキスト クエリと共に画像を提供できます。
• 要約: ユーザーは、アプリケーションに組み込まれている定義済みのトピックについて要約するコンテンツを送信でき、アプリケーションをオープンエンドのサマライザーとして使用することはできません。 たとえば、社内ドキュメントの概要、コール センターのトランスクリプト、技術レポート、製品レビューなどがあります。
• 特定のトピックに関するサポートの作成: ユーザーは、ビジネス コンテンツまたは定義済みのトピックの作成支援として、新しいコンテンツを作成したり、ユーザーが送信したコンテンツを書き換えたりできます。 ユーザーは、特定のビジネス目的または定義済みのトピックに対してのみコンテンツを書き換えたり作成したりすることができ、すべてのトピックの一般的なコンテンツ作成ツールとしてアプリケーションを使用することはできません。 ビジネス コンテンツの例としては、提案やレポートなどがあります。
• 画像のタグ付け: ユーザーは、画像内のオブジェクト、生き物、風景、アクションなどの視覚的要素を検出してタグ付けできます。 このサービスは意図されておらず、個人を識別したり、個人の ID を確認したりするために使用することはできません。
• 画像キャプション: ユーザーは、ビジュアルの説明的な自然言語キャプションを生成できます。 簡単な説明に加えて、アプリケーションは写真内の特定の主題やランドマークに関するテキスト分析情報を識別して提供できます。 エッフェル塔の画像が表示されている場合、システムは簡潔な説明を提供したり、記念碑に関する興味深い事実を強調したりする可能性があります。 サービスは、個々の ID を識別または検証するために使用されない場合があります。
• 物体検出: 特定の座標を指定して、画像内の個々または複数のオブジェクトの位置を識別するために使用します。 たとえば、リンゴが散在している画像では、アプリケーションは各リンゴの場所を識別して示すことができます。 このアプリケーションを使用すると、ユーザーは画像にキャプチャされたオブジェクトに関する空間分析情報を取得できます。 サービスは、個々の ID を識別または検証するために使用されない場合があります。
• 視覚的な質問への回答: ユーザーは画像に関する質問をしたり、コンテキストに応じて関連する回答を受け取ることができます。 たとえば、鳥の写真を表示すると、ユーザーは "What type of bird is this?" (これはどのような種類の鳥ですか) と尋ね、"ヨーロッパのロビンです" のような応答を受け取ることがあります。アプリケーションは、画像内のコンテキストを識別して解釈し、クエリに応答できます。 たとえば、混雑したマーケットプレースの画像が表示された場合、ユーザーは"帽子を被っている人の数" や "ベンダーが販売している果物は何ですか?" と尋ねることができ、アプリケーションは回答を提供できます。 ユーザーに関する質問を特定するためにシステムを使用しないでください。
• ブランドとランドマークの認識: アプリケーションを使用して、何千ものグローバルなロゴやランドマークのプリセット データベースから、画像やビデオ内の商用ブランドや人気のあるランドマークを識別できます。

コンピューターの使用 (プレビュー) のユース ケース

Computer Use の機能は、GUI と自律的に対話できるエージェント AI システムの開発に最適です。 特定のユース ケースには、次のようなものがあります。

• Web ナビゲーションと対話の自動化: Web ベースのインターフェイスのナビゲーションを自律的に移動して、社内リソースや構造化データベースなどの信頼できるソースから情報を取得して提示します。 このモデルは、定義済みのナビゲーション ルールに従って関連データを抽出し、セキュリティ ポリシーに準拠していることを確認します。

• Web-Based タスク自動化: フォームへの入力、データの送信、Web アプリケーションとの対話など、Web ベースの繰り返しのタスクを自動化します。 Computer Use は、ボタンのクリック、テキストの入力、構造化データの処理を行うことができますが、承認されたワークフローとドメイン内でのみ動作します。

• 構造化データ抽出と非構造化データ抽出: テーブルやスプレッドシートなどの構造化されたソースや、PDF、スキャンされたドキュメント、メールなどの非構造化ソースから関連するデータを抽出します。 この機能は、財務データ処理、契約分析、カスタマー サポート チケットの分類などのタスクに役立ちます。

• 自動フォーム入力とデータ入力: 構造化されたデータベースまたはユーザー入力から情報を抽出し、それを使用して Web ベースのフォームを設定します。 これは、データ処理の正確性と一貫性を確保しながら、顧客サービス要求、人事プロセス、または CRM の更新を自動化する場合に役立ちます。

• Web-Based 画像分析: Web ページで見つかった画像を分析して、オブジェクト、シーン、または関連するパターンを検出してタグ付けします。 Computer Use では、ビジュアル情報を抽出して、在庫管理、ドキュメント処理、オブジェクト分類などのアプリケーションをサポートできます。

• 対話型のビジュアル検索と識別: 構造化された検索を通じて関連するビジュアル コンテンツを検索するユーザーを支援します。 たとえば、Computer Use では、eコマース カタログ内の製品を識別したり、旅行アプリケーションのランドマークを認識したり、定義済みの条件に基づいてデジタル アーカイブから特定の画像を取得したりできます。

• コンプライアンスとポリシーの自動チェック: アップロードされたファイル、コントラクト、内部ドキュメントなどの Web ベースのコンテンツをスキャンして、定義済みのコンプライアンス規則に準拠します。 Computer Use では、不足している情報、不整合、または潜在的な違反にフラグを設定して、組織内の規制基準を適用できます。

• ビジネス アプリケーション向けの自動化されたワークフロー実行: レポートの生成、レコードの更新、分析の取得など、エンタープライズ アプリケーション内を移動するためのマルチステップ ワークフローを定義します。 Computer Use は、ビジネス ツール内の定義済みの手順に従い、アクセス制御ポリシーに準拠して安全な実行を保証します。

ユース ケース選択時の考慮事項

お客様には、制限付きアクセス登録フォームで承認された革新的なソリューションまたはアプリケーションにおいて、Azure OpenAIのDALL·E 2、DALL·E 3、GPT-4 Turbo with Vision、GPT-4o、Computer Useモデルの使用をお勧めします。 ただし、以下にユース ケース選択時の考慮事項をいくつか示します。

• 追跡、顔認識、識別、または検証の目的には使用しないでください。 たとえば、個人の監視にモデルを使用し、モデルを使用して、2 つの別々の場所で撮影された 2 人の個人が同じ人物であることを確認します。
• up-toの日付や、事実に基づく正確な情報が重要なシナリオには適していません。ただし、人間の校閲者がいるか、モデルを使用して独自のドキュメントを検索し、シナリオへの適合性を確認している場合を除きます。 このサービスには、トレーニング日以降に発生するイベントに関する情報は含まれていません。また、一部のトピックに関する知識が不足している可能性があり、必ずしも実際に正確な情報が生成されるとは限りません。
• システムの使用または誤用が、生命の機会や法的地位に結果的な影響を与える可能性があるシナリオは避けてください。 たとえば、AI システムが個人の法的地位、法的権利、クレジット、教育、雇用、医療、住宅、保険、社会保障給付、サービス、機会、またはこれらの権利とサービスを利用できる条件へのアクセスに影響を与える可能性があるシナリオが含まれます。
• 害を及ぼす可能性のある高リスクのシナリオは避けてください。 Azure OpenAI Service によってホストされるモデルは、トレーニング データまたはプロンプトで提供される例に存在する、特定の社会観、バイアス、およびその他の望ましくないコンテンツを反映している可能性があります。 その結果、不公平、信頼性の低い、または攻撃的な行動が非常にコストがかかったり、損害を与えたりする可能性がある高いリスクのシナリオでは、モデルの使用には注意が必要です。
• システムを使用または誤用すると、機密性の高いトピックやユーザーに関する誤った説明が広がる可能性があるシナリオは避けてください。 たとえば、ディープフェイク合成メディアの作成と配布、機密性の高いイベントに関する誤った情報、偽の物語を反映した状況で実在の人々のフォトリアルな画像の生成などがあります。
• 制限のないオープン エンドのコンテンツ生成が許可されるシナリオを慎重に検討してください。 ユーザーが任意のトピックでコンテンツを生成できるシナリオは、不快、有害、または誤解を招くコンテンツを生成する可能性が高くなります。
• 公開された作品を持つ既知のアーティストのスタイルでメディアを生成するシナリオを慎重に検討してください。 たとえば、元のアートで知的財産 (IP) の権利を維持しているアーティストのスタイルで生成されたコンテンツをユーザーが配布するシナリオがあります。 このようなケースは、法的な結果やアーティストの機会に結果的な影響を与える可能性があります。 アーティストが製品またはサービスの名前に関連付けられているイメージの作成を制限するプロセスを作成することを検討してください。
• 実際のユーザーを含むイメージの生成を含むシナリオを慎重に検討してください。 実際の人々の画像を含むコンテンツは、人生の機会や法的地位、および公共の認識と信頼に悪影響を与える方法で悪用される可能性があります。 実在の人物（生存中または故人の）や類似した人物の画像を生成する際は、注意が必要です。
• 高リスクのドメインまたは業界のすべてのユース ケースを慎重に検討してください 。例としては、医療、教育、財務、法務などがありますが、これらに限定されません。
• 法的および規制上の考慮事項: 組織は、Foundry Tools とソリューションを使用する際に、特定の法的および規制上の義務を評価する必要があります。これは、すべての業界またはシナリオでの使用には適していない可能性があります。 さらに、Foundry Tools またはソリューションは、該当するサービス利用規約および関連する行動規範で禁止されている方法で設計されておらず、使用されない場合があります。

コンピューター使用のユース ケースを選択する場合、ユーザーは上記の考慮事項に加えて、次の考慮事項を考慮する必要があります。

• アクションが元に戻せない、または結果が大きくないシナリオを避けます。これには、電子メールを送信する機能 (間違った受信者など)、重要なファイルを変更または削除する機能、財務取引を行う機能、外部サービスと直接やり取りする機能、機密情報をパブリックに共有すること、重要なシステムへのアクセスを許可する機能が含まれますが、これらに限定されません。 または、システムの機能またはセキュリティを変更する可能性のあるコマンドの実行。

• 高度な用途でのパフォーマンスの低下: コンピューターの使用は、WEB サイトやコンピューター デスクトップへのアクセスなど、UI を使用したタスクの完了に関するユース ケースに最適です。 コードの編集、広範なテキストの書き込み、複雑な意思決定など、より高度なタスクの実行がうまく行えない場合があります。

• 十分な人間の監視と管理を確保する。 ユーザーがアクションの検証、レビュー、承認を適切なタイミングで行うのに役立つコントロールを含めるとします。これには、計画されたタスクの確認や外部データ ソースへの呼び出し (システムに適した場合など) が含まれる場合があります。 特にリスクの高いシナリオやユース ケースでは、システム障害の適切なユーザー修復のためのコントロールを含める必要があります。

• アクションと関連する要件を明確に定義します。 許可されるアクション (アクションの境界)、禁止、または明示的な承認を必要とするかを明確に定義すると、コンピューターの使用が想定どおりに適切なレベルの人間による監視を行うのに役立つ場合があります。

• 目的の動作環境を明確に定義します。 コンピューターの使用が効果的に動作するように設計されている、目的の動作環境 (ドメイン境界) を明確に定義します。

• 意思決定において適切な明瞭性を確保する。 アクションの実行前、実行中、および実行後にユーザーに情報を提供すると、アクションの正当な理由や、特定のアクションが実行された理由、またはアプリケーションが特定の方法で動作している理由、介入する場所、問題のトラブルシューティング方法を理解するのに役立つ場合があります。

使用目的

gpt-4o-realtime-preview モデルは、既存の GPT モデルと同様の方法で、さまざまな自然言語処理タスクに使用できます。 ただし、このモデルは、特に音声とオーディオのユース ケースを対象とします。 このモデルでサポートされるタスクの例を次に示しますが、これらに限定されません。

• ボイス チャットの作成と対話: ユーザーは、音声機能で応答する会話エージェントを使用して、ボイス チャットを作成およびボイス チャットできます。
• 言語翻訳: ユーザーは会話中にリアルタイムで言語間で翻訳できます。 字幕は、リアルタイムの入力および出力オーディオ文字起こしでサポートできます。 言語のサポートは、既存の gpt-4o モデル バージョンに沿っています。
• 質問への回答: ユーザーは、書き込まれた質問や話された質問をしたり、モデルから話された回答を受け取ったりできます。
• コンテンツの生成: ユーザーは、ユーザー定義の入力から新しいオーディオ コンテンツを作成できます。 モデルは、著作権で保護された素材の作成または音声の偽装をチェックし、防止します。

4o モデルの機能の詳細については、 OpenAI 4o システム カードを参照してください。

Azure OpenAI サービスのささやきモデルは、さまざまな音声認識および音声翻訳タスクに使用できます。 次の一覧は包括的ではありませんが、適切な軽減策でサポートできるタスクの多様性を示しています。

• ディクテーション： ユーザーは、音声ファイルの形式で音声をテキストに文字起こしできます。 たとえば、ユーザーがサービスを使用して、コール センターの記録をレポートに文字起こしする場合があります。
• キャプションまたは文字起こし: ユーザーは、自然言語の理解や、要約や感情分析などの分析タスクのために、オーディオ ファイルをテキストに文字起こしできます。 たとえば、ダイアログ システムへの入力としての音声、オーディオ コンテンツのアクセシビリティの高さ、分析するテキスト翻訳の作成などがあります。
• 翻訳： ユーザーは多言語オーディオ ファイルを英語に翻訳できます。 これは、多言語シナリオで特に魅力的な場合があります。

ユース ケース選択時の考慮事項

革新的なソリューションやアプリケーションで、Azure OpenAI サービスで gpt-4o-realtime-preview モデルとささやきモデルを使用することをお勧めします。 ユース ケースを選択する際の考慮事項を次に示します。

• システムの使用または誤用が、生命の機会や法的地位に結果的な影響を与える可能性があるシナリオは避けてください。 たとえば、AI システムが個人の法的地位、法的権利、またはクレジット、教育、雇用、医療、住宅、保険、社会保障給付、サービス、機会、またはこれらの項目が利用可能な条件へのアクセスに影響を与える可能性があるシナリオが含まれます。
• 高リスクのドメインまたは業界のすべてのユース ケースを慎重に検討してください 。例としては、医療、教育、財務、法務などがありますが、これらに限定されません。
• Azure Speech サービスでのささやき: OpenAI のささやきモデルは、Azure Speech サービス内でも利用でき、多言語認識や読みやすさなどの高度な機能を使用してエクスペリエンスを強化します。 ご自身のシナリオに合わせて、Azure Speech サービスや、ダイアライゼーション、カスタマイズ、または要求ごとの複数オーディオファイルの処理など、サービスのの追加機能を探索してください。
• 法的および規制上の考慮事項: 組織は、Foundry Tools とソリューションを使用する際に、特定の法的および規制上の義務を評価する必要があります。これは、すべての業界またはシナリオでの使用には適していない可能性があります。 さらに、Foundry Tools またはソリューションは、該当するサービス利用規約および関連する行動規範で禁止されている方法で設計されておらず、使用されない場合があります。

• プロンプトのデザイン時に表示と通知を行います。 自然言語モデルと音声モデルでは、命令、例、または 2 つの組み合わせを使用して、どの種類の出力が期待されるかをモデルに明確にします。 モデルで項目のリストをアルファベット順にランク付けしたり、段落をセンチメント別に分類したりする場合は、目的のモデルを表示します。
• アプリケーションをテーマに沿ったものにしてください。 ユーザーがこの目的で使用しようとしても、望ましくないコンテンツを生成する可能性を減らすために、プロンプトと画像入力を慎重に構成します。 たとえば、プロンプトで、チャットボットが数学に関する会話にのみ関与し、それ以外の場合は「申し訳ありません、それについてはお答えできません。」と応答するように指示できます。 残念ですが、答えることができません。「丁寧」といった形容詞や必要なトーンの例をプロンプトに追加すると、出力を調整するのに役立ちます。
• 品質データを提供します。 テキスト モデルとコード モデルを使用して、分類子を構築しようとしている場合、またはモデルをパターンに従わせようとしている場合は、十分な例があることを確認します。 例を必ず校正してください。モデルは通常、基本的なスペルミスを処理して応答を返すことができますが、エラーが意図的であると判断され、応答に影響を与える可能性もあります。 質の高いデータを提供するには、モデルに信頼性の高いデータを提供して、チャットや質問の回答システムからの応答を引き出すこともできます。
• 信頼できるデータを提供します。 信頼されていないデータをシステムに取得またはアップロードすると、システムまたはアプリケーションのセキュリティが損なわれる可能性があります。 該当するアプリケーション (Assistants API を使用するアプリケーションを含む) でこれらのリスクを軽減するには、潜在的なプロンプトインジェクションを検出して分析し、ユーザー入力を明確に示してプロンプト挿入のリスクを最小限に抑え、LLM の機密リソースへのアクセスを制限し、その機能を最小限に制限し、重要なシステムとリソースから分離するために、LLM の対話 (入力/出力) をログに記録して監視することをお勧めします。 大規模言語モデルのセキュリティ ガイダンスの追加の軽減アプローチについて説明します |Microsoft Learn。
• 応答の精度または接地性を向上させるためにパラメーターを構成します。 信頼できるソースから取得したデータ (Azure OpenAI の "データに対する" 機能の使用など) を使用してプロンプトを拡張すると、不正確な応答や誤った情報が生成される可能性が減少しますが、完全には排除されません。 応答の精度をさらに向上させるために実行できる手順には、信頼された関連するデータ ソースを慎重に選択し、ユース ケースやシナリオに応じて、"厳密さ"、"データ コンテンツへの応答の制限"、"考慮する取得されたドキュメントの数" などのカスタム パラメーターの構成が含まれます。 データに対する Azure OpenAI のこれらの設定の構成の詳細について説明します。
• 入力と出力の長さ、構造、速度を制限します。 入力と出力の長さまたは構造を制限すると、アプリケーションがタスクに留まり、少なくとも部分的には、不公平、信頼性の低い、または攻撃的な動作を軽減する可能性が高くなります。 誤用のリスクを軽減するその他のオプションには、(i) 入力のソースを制限する (たとえば、インターネット上の誰にも開かるのではなく、特定のドメインまたは認証されたユーザーに入力を制限する) と (ii) 使用レート制限の実装があります。
• 出版または普及の前に、出力の人間のレビューを奨励します。 生成 AI では、軽減策が適用されていても、攻撃的なコンテンツや、手元にあるタスクに関連しないコンテンツを生成する可能性があります。 生成された出力がユーザーのタスクを満たしていることを確認するには、広く共有する前に、ユーザーに品質の確認を促す方法を構築することを検討してください。 この方法では、攻撃的な素材、情報漏えいなど、さまざまな害を軽減できます。
• シナリオ固有の追加の軽減策を実装します。 コンテンツ モデレーション戦略を含む 、Azure OpenAI の使用の評価と統合 に関するページで概説されている軽減策を参照してください。 これらの推奨事項は、アプリケーションに必要なすべての軽減策を表すわけではありません。 GPT-4o や推論モデルなどの新しいモデルは、機密性の高いシナリオで応答を提供する可能性があり、完全に応答を拒否するのではなく、応答で潜在的に有害な出力を減らそうとする可能性が高くなります。 ユース ケースのコンテンツ モデレーションを評価および統合するときは、この動作を理解することが重要です。は、ユース ケースによっては、フィルター処理の重要度の調整が必要になる場合があります。
• 必須のセーフガードをトリガーしないようにします。 Azure Direct Models には、生の CoT やバイオセキュリティ コンテンツの出力など、セキュリティの悪用を防ぐためのセーフガードが用意されている場合があります。 セキュリティの悪用を生み出す方法でモデルを使用したり、これらのセーフガードを回避するなどして、モデルの保護を回避または回避しようとする方法でモデルを使用すると、オンライン サービスの許容される使用ポリシーに違反し、中断される可能性があります。 ベスト プラクティスの詳細については、 OpenAI o1 システム カード、 o3-mini システム カード、 o3/o4-mini システム カード、 GPT-5 システム カードを参照してください。

微調整に関するベスト プラクティスと推奨事項

Azure OpenAI の微調整モデルのリスクと制限を軽減するために、次のようないくつかのベスト プラクティスとガイドラインに従うことをお勧めします。

• データの選択と前処理: お客様は、データを慎重に選択して前処理し、目的のタスクとドメインに対して関連性があり、多様でバランスが取れるようにする必要があります。 また、お客様は、データ主体のプライバシーとセキュリティを保護するために、名前、住所、電子メール アドレスなどの機密情報や個人情報をデータから削除または匿名化する必要があります。 また、お客様は、データの品質と読みやすさを向上させるために、スペル、文法、書式などのデータのエラーや不整合をチェックして修正する必要があります。
• チャット完了形式のモデルのトレーニング データにシステム メッセージを含め、応答を誘導し、推論に微調整されたモデルを使用する場合は、同じシステム メッセージを使用します。 システム メッセージを空白のままにすると、精度の低い微調整されたモデルが生成される傾向があり、推論時に同じシステム メッセージを含め忘れると、微調整されたモデルが基本モデルの動作に戻る可能性があります。
• モデルの評価とテスト: お客様は、さまざまな入力とシナリオで微調整されたモデルのパフォーマンス と堅牢性を評価してテストし、元のモデルやその他のベースラインと比較する必要があります。 また、適切なメトリックと条件を使用して、モデルの精度、信頼性、公平性を測定し、モデルの出力と動作の潜在的なエラーやバイアスを特定する必要もあります。
• モデルのドキュメントとコミュニケーション: お客様は、モデルの目的、範囲、制限事項、前提条件を文書化して伝達し、モデルのエンド ユーザーに明確で正確な情報とガイダンスを提供する必要があります。

• アプリケーションをテーマに沿ったものにしてください。 イメージ生成モデルでは、プロンプトまたはイメージ入力で、アプリケーションが概念イメージのみを生成することを示す場合があります。 それ以外の場合は、アプリケーションがフォトリアリスティックな使用や現実を表現するためのものではありませんを説明するポップアップ通知が生成される場合があります。 このような例を事前に一覧表示するか、トピック外の要求を受け取った際に候補として提供することで、ユーザーを受け入れ可能なクエリと画像入力に向けて微調整することを検討してください。 分類子をトレーニングして、入力 (プロンプトまたは画像) がトピック上にあるか、トピック外にあるかを判断することを検討してください。
• 応答の精度または接地性を向上させるためにパラメーターを構成します。 信頼できるソースから取得したデータ (Azure OpenAI の "データに対する" 機能の使用など) を使用してプロンプトを拡張すると、不正確な応答や誤った情報が生成される可能性が減少しますが、完全には排除されません。 応答の精度をさらに向上させるために実行できる手順には、信頼された関連するデータ ソースを慎重に選択し、ユース ケースやシナリオに応じて、"厳密さ"、"データ コンテンツへの応答の制限"、"考慮する取得されたドキュメントの数" などのカスタム パラメーターの構成が含まれます。 データに対する Azure OpenAI のこれらの設定の構成の詳細について説明します。
• 入力と出力の長さ、構造、速度を制限します。 入力と出力の長さまたは構造を制限すると、アプリケーションがタスクに留まり、少なくとも部分的には、不公平、信頼性の低い、または攻撃的な動作を軽減する可能性が高くなります。 誤用のリスクを軽減するその他のオプションには、(i) 入力のソースを制限する (たとえば、インターネット上の誰にも開かるのではなく、特定のドメインまたは認証されたユーザーに入力を制限する) と (ii) 使用レート制限の実装があります。
• 出版または普及の前に、出力の人間のレビューを奨励します。 生成 AI では、軽減策が適用されていても、攻撃的なコンテンツや、手元にあるタスクに関連しないコンテンツを生成する可能性があります。 生成された出力がユーザーのタスクを満たしていることを確認するには、広く共有する前に、ユーザーに品質の確認を促す方法を構築することを検討してください。 この方法では、攻撃的な素材、情報漏えいなど、さまざまな害を軽減できます。
• シナリオ固有の追加の軽減策を実装します。 コンテンツ モデレーション戦略を含む 、Azure OpenAI の使用の評価と統合 に関するページで概説されている軽減策を参照してください。 これらの推奨事項は、アプリケーションに必要なすべての軽減策を表すわけではありません。 GPT-4o や推論モデルなどの新しいモデルは、機密性の高いシナリオで応答を提供する可能性があり、完全に応答を拒否するのではなく、応答で潜在的に有害な出力を減らそうとする可能性が高くなります。 ユース ケースのコンテンツ モデレーションを評価および統合するときは、この動作を理解することが重要です。は、ユース ケースによっては、フィルター処理の重要度の調整が必要になる場合があります。

• プロンプトのデザイン時に表示と通知を行います。 自然言語モデルと音声モデルでは、命令、例、または 2 つの組み合わせを使用して、どの種類の出力が期待されるかをモデルに明確にします。 モデルで項目のリストをアルファベット順にランク付けしたり、段落をセンチメント別に分類したりする場合は、目的のモデルを表示します。
  • Azure OpenAI サービスのささやきモデルのプロンプト は、モデル出力の向上に役立ちます。 次のベスト プラクティスは、シナリオとニーズに最適なプロンプトを作成するのに役立ちます。
    • モデルがオーディオで誤認識することが多い特定の単語や頭字語を修正するよう、モデルに指示するプロンプトを含めるよう検討してください。
    • セグメントに分割されたファイルのコンテキストを保持するために、前のセグメントのトランスクリプトを使用してモデルにプロンプトを表示する場合があります。 このプロンプトは、モデルが前のオーディオの関連情報を使用するため、トランスクリプトをより正確にします。 モデルでは、プロンプトの最後の 224 個のトークンのみが考慮され、それ以前のトークンは無視されます。
    • このモデルでは、トランスクリプトの句読点がスキップされる場合があります。 句読点を含むようにモデルに指示する単純なプロンプトを使用することを検討してください。
    • このモデルでは、例えば「えーっと」や「うーん」などの一般的なフィラー単語を音声から省略することもあります。 音声テキストにつなぎ言葉を残したい場合は、それらを含むプロンプトを使うとよいでしょう。
    • 一部の言語は、簡体字中国語や繁体字中国語など、さまざまな方法で記述できます。 モデルでは、ユーザーがトランスクリプトに必要な書き込みスタイルを既定で使用するとは限りません。 プロンプトを使用して、好みの書き方を説明することを検討してください。
• アプリケーションをテーマに沿ったものにしてください。 ユーザーがこの目的で使用しようとしても、望ましくないコンテンツを生成する可能性を減らすために、プロンプトと画像入力を慎重に構成します。 たとえば、プロンプトで、チャットボットが数学に関する会話にのみ関与し、それ以外の場合は「申し訳ありません、それについてはお答えできません。」と応答するように指示できます。 残念ですが、答えることができません。「丁寧」といった形容詞や必要なトーンの例をプロンプトに追加すると、出力を調整するのに役立ちます。
• 応答の精度または接地性を向上させるためにパラメーターを構成します。 信頼できるソースから取得したデータ (Azure OpenAI の "データに対する" 機能の使用など) を使用してプロンプトを拡張すると、不正確な応答や誤った情報が生成される可能性が減少しますが、完全には排除されません。 応答の精度をさらに向上させるために実行できる手順には、信頼された関連するデータ ソースを慎重に選択し、ユース ケースやシナリオに応じて、"厳密さ"、"データ コンテンツへの応答の制限"、"考慮する取得されたドキュメントの数" などのカスタム パラメーターの構成が含まれます。 データに対する Azure OpenAI のこれらの設定の構成の詳細について説明します。
• モデルの品質を測定します。 一般的なモデル品質の一部として、シナリオの従来の精度測定に加えて、責任ある AI に関連する公平性関連のメトリックやその他のメトリックを測定および改善することを検討してください。 システムの公平性を測定するときは、このチェックリストのようなリソースを検討してください。 これらの測定値には制限があり、評価結果と共に関係者に確認して伝達する必要があります。
• 入力と出力の長さ、構造、速度を制限します。 入力と出力の長さまたは構造を制限すると、アプリケーションがタスクに留まり、少なくとも部分的には、不公平、信頼性の低い、または攻撃的な動作を軽減する可能性が高くなります。 誤用のリスクを軽減するその他のオプションには、(i) 入力のソースを制限する (たとえば、インターネット上の誰にも開かるのではなく、特定のドメインまたは認証されたユーザーに入力を制限する) と (ii) 使用レート制限の実装があります。
• 出版または普及の前に、出力の人間のレビューを奨励します。 生成 AI では、軽減策が適用されていても、攻撃的なコンテンツや、手元にあるタスクに関連しないコンテンツを生成する可能性があります。 生成された出力がユーザーのタスクを満たしていることを確認するには、広く共有する前に、ユーザーに品質の確認を促す方法を構築することを検討してください。 この方法では、攻撃的な素材、情報漏えいなど、さまざまな害を軽減できます。

Azure OpenAI 評価を実施する手順は次のとおりです。

1. 評価用のデータを提供する: JSONL 形式でアップロードされたフラット ファイルか、一連のプロンプトに基づいて生成されたデータ。
2. データを評価するテスト ケースを指定する: 1 つ以上のテスト ケースを選択し、合格/不合格の成績で指定されたデータをスコア付けします。
3. 結果の確認とフィルター処理: 各テストには、合格と失敗のスコアの定義が含まれています。 評価の実行後、ユーザーは行ごとの結果を確認して個々のテスト結果を表示したり、成功/失敗に基づいてフィルター処理したりできます。

これらのモデルを責任を持って評価および統合する方法の詳細については、 RAI の概要に関するドキュメントを参照してください。

これらのモデルを責任を持って評価および統合する方法の詳細については、 RAI の概要に関するドキュメントを参照してください。

OpenAI のささやきモデルは、Azure Speech サービス内でも利用でき、多言語認識や読みやすさなどの高度な機能を使用してエクスペリエンスを強化します。 シナリオによっては、 Azure Speech サービス とサービスの追加機能 (diarization、カスタマイズ、リアルタイム ストリーミング、要求ごとに複数のオーディオ ファイルの処理など) を調べることができます。 責任を持ってささやきモデルを評価および統合する方法の詳細については、 Azure Speech Services の透明性に関するメモを参照してください。