即使其核心具備高度功能的 LLM，生產等級的產生式 AI 應用程式在三個主要領域也經常遇到挑戰：
- 品質
- 控制項
- 成本
在實務上，小組必須同時處理這三項挑戰，才能在生產環境中執行 Gen AI 應用程式。
打造生產級品質
- 無法預測的效能： LLM 可能會產生不一致或非預期的結果。 如果模型或上下文發生變化，之前有效的提示可能會在下一次失效。
- 回應精確度和安全性： 開發人員必須確保回應既正確又安全。 不正確的輸出（幻覺）或有害和冒犯性內容可能會損害使用者信任、品牌聲譽，甚至違反規定。
- 定義「高品質」： 領域專家通常需要貢獻其專業知識來評估輸出並精簡提示邏輯。 此共同作業需要非技術項目關係人可以使用的工具。
數據與模型的控制
- 數據外洩：如果未強制執行適當的護欄和清理步驟， 敏感性客戶或企業數據可能會不小心透過模型輸出洩漏。
- 治理和擁有權： 許多組織已經有數據控管通訊協定或合規性需求，例如SOC2或HIPAA。 將 LLM 整合到這些架構可能很複雜，尤其是在模型在外部託管時。
- 可檢視性： 團隊必須記錄應用程式中的每個要求、回應和中繼動作，以稽核模型決策或排除錯誤。 在沒有健全的記錄和追蹤的情況下，很難保持合規性或找到根本原因問題。
規模化成本
- 成本與品質： LLM 型解決方案的規模可能會變得昂貴，尤其是在使用更進階或推理模型時。 Teams 必須在較高的成本與效能提升之間進行比對，通常會採用快取或專門化模型路由等技術，以在不犧牲品質的情況下維持在預算內。
- 開發人員的時間和複雜度： 除了模型推斷成本之外，建置健全的 Gen AI 應用程式可能相當耗時，尤其是在納入多個元件時，例如擷取器、結構化資料庫和第三方 API。 將開發人員工作降至最低需要簡化的工作流程和自動化測試。