Compartir a través de

Desafíos clave en la creación de aplicaciones de GenAI

A pesar del poder de los modelos de IA generativa modernos, las aplicaciones de inteligencia artificial generativa a nivel de producción suelen ser difíciles de desarrollar. Se pueden resumir tres desafíos clave:

  • Gobernanza: muchas plataformas tienen dificultades para proporcionar gobernanza unificada, privacidad de datos y seguridad para los recursos de datos e inteligencia artificial.
  • Calidad: el comportamiento flexible e imprevisible de los modelos genAI agrega complejidad a la evaluación.
  • Control: las plataformas deben proporcionar flexibilidad, elección del modelo y personalización.

Gobernanza de datos e inteligencia artificial

Las aplicaciones de GenAI requieren diversos datos e recursos de IA: tablas, índices vectoriales, modelos de IA, herramientas, etc. Una plataforma genAI debe proporcionar acceso específico a estos recursos a los desarrolladores, al tiempo que proporciona gobernanza conjunta para los administradores. Sin una gobernanza completa, las organizaciones se enfrentan a riesgos como:

  • Pérdida de datos: los datos confidenciales del cliente o de la empresa se pueden usar incorrectamente sin un seguimiento de linaje adecuado y el control de acceso, y los datos pueden filtrar accidentalmente a través de salidas del modelo si no se aplican límites de protección adecuados.
  • Restricciones de cumplimiento: muchas organizaciones tienen requisitos de cumplimiento, como SOC2 o HIPAA, y la integración de modelos genAI en plataformas heredadas compatibles puede ser compleja, lo que provoca retrasos o restricciones en el uso de los mejores modelos.
  • Uso no autorizado o costos inesperados: sin controles de acceso y límites de protección de uso, los equipos no autorizados pueden usar modelos de INTELIGENCIA ARTIFICIAL o incurrir en costos de uso elevados.

Azure Databricks simplifica la gobernanza unificada de los datos y la inteligencia artificial mediante:

  • Catálogo de Unity, que administra archivos, tablas, índices vectoriales, almacenes de características, modelos y herramientas en un modelo de gobernanza unificado
  • AI Gateway, que proporciona gobernanza y supervisión unificadas para los puntos de conexión del modelo de IA, incluidos los límites de protección de seguridad y los límites de uso.
  • Databricks AI Security Framework, que proporciona una guía completa para la administración de riesgos de inteligencia artificial
  • Databricks AI Governance Framework, que complementa el marco de seguridad al proporcionar una vista de la gobernanza que abarca tanto la seguridad como la integridad operativa

Calidad de modelos, agentes y aplicaciones

Los modelos genAI producen salidas estocásticas abiertas y suelen aplicarse a problemas abiertos con muchas respuestas "buenas". Incluso definir "alta calidad" puede ser difícil y a menudo requiere comentarios iterativos de expertos en dominio o usuarios. Sin procesos de evaluación sólidos, las organizaciones enfrentan riesgos como:

  • Experiencias de usuario incorrectas: si las aplicaciones de GenAI no se evalúan en función de las métricas alineadas con las necesidades del usuario, los usuarios pueden encontrar respuestas no útiles, inexactas o incluso dañinas o ofensivas. La reputación de la marca puede sufrir en casos extremos.
  • Limbo de desarrollo: Si la calidad no se puede definir o medir de maneras que permiten la aprobación de las partes interesadas, los proyectos de GenAI pueden retrasarse o cancelarse por falta de "evidencia" de calidad.

Azure Databricks simplifica la medición y optimización de la calidad de la inteligencia artificial mediante:

  • Evaluación y supervisión de MLflow, con jueces integrados y puntuadores personalizados para medir la calidad, que se puede usar tanto en el desarrollo como en la supervisión de producción.
  • Seguimiento de MLflow, con seguimiento automático y manual para proporcionar observabilidad tanto para el desarrollo como para la producción
  • Recopilación de comentarios humanos, con una aplicación integrada para comentarios expertos durante el desarrollo y las API para los comentarios de los usuarios de aplicaciones de producción
  • Métodos para optimizar las ventajas entre calidad, costo y latencia. Agent Bricks proporciona una experiencia de optimización guiada para las aplicaciones clave de inteligencia artificial, y Agent Framework y una opción flexible de modelos de IA proporcionan opciones de compensación para agentes totalmente personalizados.

Control de datos y modelos

Muchos proveedores de modelos proporcionan modelos genAI de última generación, así como opciones de código abierto autohospedado. Debido a las complicaciones de privacidad y licencias de datos, muchas plataformas tienen dificultades para admitir este ecosistema diverso y para permitir una iteración y personalización rápidas. Las organizaciones deben mantener el control de sus datos y elegir modelos para evitar riesgos como:

  • Restricciones de privacidad de datos: los requisitos de cumplimiento o integración pueden impedir que las organizaciones accedan a los principales modelos de GenAI de varios proveedores, lo que sacrifica la flexibilidad y los inconvenientes de los costos de calidad.
  • Falta de ventaja competitiva: si los modelos, los datos, los agentes y las aplicaciones no se pueden personalizar en función de los datos propietarios de una organización, es difícil crear la propiedad intelectual.

Azure Databricks proporciona control y flexibilidad para los datos y modelos mediante:

  • API de Modelos Fundacionales, que sirven modelos avanzados de proveedores de modelos principales en su propio entorno de Azure Databricks, junto con los modelos y agentes personalizados de Model Serving.
  • Aplicaciones, agentes, modelos, herramientas y orígenes de datos personalizados creados en torno a los datos propietarios. Todos estos niveles de inteligencia artificial admiten la inteligencia de datos, desde la creación de aplicaciones y agentes, hasta proporcionar datos a través de herramientas, para evaluar y optimizar agentes en función de los datos.

Aprende más

  • Last updated on