効果的な Genie スペースをキュレートする

Genie スペースをキュレートする目的は、ビジネス ユーザーが自然言語で質問を行い、自身のデータに基づいた正確かつ一貫性のある回答を得られる環境を構築することです。 Genie スペースは、高度なクエリを生成し、一般的な世界知識を理解する先進的なモデルを使用します。

ほとんどのビジネスの質問はドメイン固有であるため、スペースキュレーターの役割は、その一般的な世界の知識と、特定のドメインまたは特定の会社で使用される専門言語との間のギャップを埋めるということです。 学芸員はメタデータと指示を使用して、Genie がビジネス ユーザーの質問を正確に解釈して対応できるようにします。 この記事では、適切なスペースを構築するためのベスト プラクティスと基本原則を紹介します。

新しいスペースを定義するためのベスト プラクティス

Genie 空間を構築するときは、次の基本原則に留意してください。

• 簡潔で焦点を絞ったデータセットを提供する: ビューまたは メトリック ビューを使用して、列のあいまいさを解決し、テーブルの事前結合または正規化解除を行います。 単純化されたデータセットにより、Genie がデータの質問に正確に答える能力が向上します。
• テキスト命令よりも SQL 式と SQL の例に優先順位を付ける: SQL 式を使用して、メトリックやフィルターなどのビジネス セマンティクスを定義します。 SQL の例を使用して、一般的なあいまいなプロンプトの処理方法を Genie に教えます。 構造化された定義に適合しない一般的なガイダンスのためにテキスト命令を予約します。
• 明確で具体的なテキスト命令を記述する: あいまいな命令は避けてください。 たとえば、"販売に関して質問されたときに明確な質問をする" の代わりに、「ユーザーが製品名や販売チャネルを指定せずに売上指標について質問する場合は、販売分析を続行するには、製品名と販売チャネルを指定してください」と入力します。
• 命令の競合を避ける: すべての命令の種類で一貫性を確保します。 たとえば、テキスト命令で小数点を 2 桁に丸める場合、SQL クエリの例では 2 桁に丸める必要もあります。

次のセクションでは、スペースを構築し、精度の課題を解決するための詳細な推奨事項を示します。

小さい開始

Genie スペースのキュレーションは反復的なプロセスです。 新しいスペースを作成するときは、指示を最小限に抑え、回答する質問も限定した、できるだけ小規模な構成から始めます。 その後、フィードバックやモニタリングに基づいて繰り返し改善していきます。 このアプローチにより、スペースの作成と保守が効率化され、実際のユーザー ニーズに応じて効果的にキュレートできます。

小規模な Genie スペースを作成するためのガイドラインは以下のとおりです。

• 焦点を絞る: スペースで処理する質問に必要なテーブルだけを含めます。 テーブル数は 5 つ以下を目安にします。 選択範囲が絞られているほど効果的です。 狭いスペースで少量のデータに集中させることが理想的であるため、含まれるテーブルの列数も制限します。
• 25 個のテーブル制限内で作業します。Genie スペースでは、最大 25 個のテーブルまたはビューがサポートされます。 データ トピックに 25 を超えるテーブルが必要な場合は、関連するテーブルをビューまたは メトリック ビュー に事前に参加させてから、スペースに追加してください。 メトリック ビューは、メトリック、ディメンション、集計を事前に定義するため、Genie スペースに特に効果的です。 このアプローチは、制限内に留まり、データ モデルを簡素化し、Genie の応答精度を向上させるのに役立ちます。 スペースへのデータ・オブジェクトの追加の詳細については、データ・オブジェクトの管理を参照してください。
• 繰り返し改善する: スペースの初期設定は最小限にし、必要なテーブルと基本的な指示に絞ります。 最初から完璧を目指すのではなく、時間をかけてスペースを洗練させる中で、詳細なガイダンスや例を追加していきます。
• 適切に注釈が付けられたテーブルを活用する: Genie は Unity Catalog の列名と説明を使用して応答を生成します。 わかりやすい列名と説明は、高品質な応答の生成に役立ちます。 列の説明には、正確なコンテキスト情報を記載してください。 あいまいな情報や不要な詳細は避けましょう。 AI によって生成された説明の正確性と明確性を調べ、手動で提供する内容に合わせる場合にのみ使用します。

ドメインの専門家にスペースの定義を依頼する

効果的なスペースを作成するには、データとそこから得られるインサイトを理解している必要があります。 SQL に精通したデータ アナリストであれば、一般に、スペースのキュレーションに必要な知識とスキルを備えています。

スペースの目的を定義する

スペースの特定の対象ユーザーと目的を特定すると、使用するデータ、指示、テストの質問を決定するのに役立ちます。 スペースは、特定のトピックとユーザーに対する質問に答えるものであり、さまざまな分野にまたがる一般的な質問に対応するものではありません。 スペースにデータを追加する前にテーブルを事前に結合し、不要な列を削除することで、データセットを簡略化できます。 空間にデータを追加するときは、空間の定義された目的に厳密に焦点を当てたままにしておきます。 混乱を招く、または重要ではない可能性がある列を非表示にします。 関連する列を非表示または表示するを参照してください。

メタデータとシノニムを追加する

Genie 空間のデータに列シノニムとカスタムの説明を追加できます。 このメタデータは Genie 空間にスコープが設定され、Unity カタログに格納されているメタデータは上書きされません。 品質列の説明とシノニムは、Genie が列をよりよく理解し、関連する質問に対して列を選択し、より正確な SQL を記述するのに役立ちます。 列メタデータの編集を参照してください。

Genie データ サンプリングを使用する

データ サンプリングでは、空間内のデータセットから値をサンプリングすることで Genie の精度が向上し、ユーザー プロンプトを適切な列と値に一致させることができます。 Genie は、スペースの作成時にテーブルから値を自動的にサンプリングします。 データをサンプリングする列を管理できます。 より信頼性の高い Genie スペースについては、データ オブジェクトの管理とナレッジ ストアの構築に関するページを参照してください。

重点的な例と手順を提供する

Genie スペースは、限られた集中した一連の命令で最高のパフォーマンスを発揮します。 Databricks では、スペースへの指示として SQL クエリの例を活用することをお勧めします。 SQL クエリの例を使用すると、Genie はユーザー プロンプトと検証済み SQL クエリを照合し、例から学習して関連する質問に回答できます。 SQL クエリと関数の例を追加するを参照してください。

Genie 空間でグローバルに適用する必要があるコンテキストの場合、小さく整理されたプレーンテキスト命令のセットは、関連性を維持し、応答品質を向上させるのにも役立ちます。 命令が多すぎると、特に長い会話では、Genie が最も重要なガイダンスに優先順位を付けるのに苦労する可能性があるため、有効性が低下する可能性があります。 詳細については、「 手順を指定する」を参照してください。

適切な命令の種類を選択する

次のガイドラインを使用して、SQL 式と SQL クエリの例を決定します。

• 一般的なビジネス用語に SQL 式を使用する: 標準的なビジネス概念を表す頻繁に使用されるメトリック、フィルター、またはディメンションを定義する場合は、ナレッジ ストアで SQL 式を使用します。 SQL 式は、Genie がビジネス ロジックを理解するのに役立つ、効率的で再利用可能な定義です。 たとえば、粗利、最近の売上、コンバージョン率などがあります。 「SQL 式の定義」を参照してください。
• 複雑な質問には SQL クエリの例を使用します。解釈が困難な質問、マルチパート質問、または複雑な質問に対処する場合は、完全な SQL クエリの例を示します。 これらの例は、複雑なクエリ パターンとマルチステップ ロジックを処理する方法を Genie に示しています。 たとえば、"チームのパフォーマンスの内訳" や "最近参加したお客様の場合、どの製品が最善を尽くしているか" などのプロンプトに対して SQL クエリを作成できます。 SQL クエリと関数の例を追加するを参照してください。

Genie に明確化の質問を求める

Genie に特定のシナリオで明確化の質問を求めるメッセージを表示するには、説明を求めるタイミングとフォローアップ方法について明示的に説明してください。 トリガー条件と予想される明確化動作の両方を定義する明確で具体的な命令を使用します。

たとえば、次の種類の命令をスペースに追加します。

ユーザーが販売実績の内訳について質問しても、時間範囲、販売チャネル、またはプロンプトにどの KPI が含まれていない場合は、まず明確な質問をして必要な情報を収集する必要があります。 例: "探している時間範囲と販売チャネルを指定してください"。

次のコンポーネントを使用して、説明手順を構成します。

• トリガー条件: 説明が必要なトピックまたはシナリオを定義します (例: "ユーザーが X トピックについて質問したとき....")
• 不足している詳細: 存在する必要がある情報を指定します (例: ...ただし、Y の詳細は含めないでください。...")
• 必須アクション: Genie が明確化を要求する必要があることを示します (例: ...最初に明確な質問をする必要があります。..."
• 説明の例: Genie が質問する必要がある具体的な質問を入力します (例: "Please specify...")

一般的な手順の最後に明確な質問の指示を追加して、あいまいな質問に答えるときに Genie がこの動作に優先順位を付けるのに役立ちます。

テストと調整

あなた自身がスペースの最初の利用者になるべきです。 新しいスペースを作成したら、質問を開始します。 質問に対して生成される SQL を注意深く確認してください。 Genie がデータ、質問、または業務用語を誤解している場合は、生成された SQL を編集するか、その他の具体的な指示を提供して介入できます。 信頼性の高い応答が得られるまで、テストと編集を続けます。

質問を確認したら、それをベンチマークの質問として追加できます。この質問は、全体的な精度を体系的にテストしてスコア付けするために使用できます。 バリエーションやさまざまな質問のフレージングを使用して、Genie の回答をテストできます。 詳細については、「Genie スペースでベンチマークを使用する」を参照してください。

誤った応答を修正する方法については、「 Genie スペースのトラブルシューティング」を参照してください。

ユーザー テストを実施する

テストによって応答の品質を確認したら、次はビジネス ユーザーに Genie スペースを試してもらいます。 スムーズなユーザー体験を提供し、継続的な改善のためのフィードバックを収集するには、以下のガイドラインを使用してください。

• 彼らの仕事はスペースを調整するのに役立つという期待を設定します。
• スペースが対応する特定のトピックや質問に焦点を当ててテストを行うよう、ユーザーに依頼します。
• 誤った応答を受け取った場合は、チャットで追加の指示や補足を行い、回答の精度を高めるよう促します。 正しい応答が得られた場合は、今後のやり取りで同様の誤りの発生を最小限に抑えるため、最終的なクエリに賛成票を投じてもらう必要があります。
• 組み込みのフィードバック メカニズムを使用して、応答に賛成票または反対票を投じるようにユーザーに伝えます。
• 追加のフィードバックや未解決の質問があれば、スペースの作成者に直接共有するようユーザーに促します。 作成者と編集者は、フィードバックをもとに指示、例、信頼できるアセットを改善できます。

スペースをテストし、フィードバックを提供するためのガイドラインを含むトレーニング資料または文書を提供することを検討してください。 ビジネス ユーザーに 、Genie スペースを使用してビジネス データを探索 し、新しい Genie スペースの使用を開始するように指示します。

ビジネス ユーザーが領域をテストすると、少なくとも CAN MANAGE アクセス許可を持つユーザーは、[ 監視 ] タブで質問を確認できます。Genie が質問とデータを正しく解釈して正確な回答を提供できるように、引き続きコンテキストを追加します。 Genieスペースの監視方法については、Monitor the space をご参照ください。 また、監査ログを使用して Genie 領域のフィードバックを監視し、要求を確認することもできます。 監査ログとアラートを使用した AI/BI の使用状況の監視を参照してください。

Genie スペースに関する一般的な問題のトラブルシューティングについては、「 Genie スペースのトラブルシューティング」を参照してください。