Compartilhar via

Principais desafios na criação de aplicativos GenAI

Apesar do poder dos modelos modernos do GenAI, os aplicativos de IA gerativos de nível de produção geralmente são desafiadores de criar. Três desafios principais podem ser resumidos como:

  • Governança: muitas plataformas lutam para fornecer governança unificada, privacidade de dados e segurança para dados e ativos de IA.
  • Qualidade: o comportamento flexível e imprevisível dos modelos genai adiciona complexidade à avaliação.
  • Controle: as plataformas devem fornecer flexibilidade, escolha de modelo e personalização.

Governança para dados e IA

Os aplicativos GenAI exigem dados diversos e ativos de IA: tabelas, índices de vetor, modelos de IA, ferramentas e muito mais. Uma plataforma GenAI deve fornecer acesso refinado a esses ativos aos desenvolvedores, ao mesmo tempo em que fornece governança conjunta para os administradores. Sem governança completa, as organizações enfrentam riscos como:

  • Vazamento de dados: dados confidenciais do cliente ou da empresa podem ser usados indevidamente sem rastreamento de linhagem e controle de acesso adequados, e os dados poderão vazar inadvertidamente por meio de saídas de modelo se os limites adequados não forem impostos.
  • Restrições de conformidade: muitas organizações têm requisitos de conformidade, como SOC2 ou HIPAA, e a integração de modelos genai em plataformas herdadas compatíveis pode ser complexa, levando a atrasos ou restrições no uso dos melhores modelos.
  • Uso não autorizado ou custos inesperados: sem controles de acesso e guardrails de uso, os modelos de IA podem ser usados por equipes não autorizadas ou incorrer em altos custos de uso.

O Azure Databricks simplifica a governança unificada para dados e IA por meio de:

  • Catálogo do Unity, que gerencia arquivos, tabelas, índices de vetor, repositórios de recursos, modelos e ferramentas em um modelo de governança unificada
  • Gateway IA, que fornece governança e monitoramento unificados para terminais de modelo de IA, incluindo barreiras de segurança e limites de uso
  • Databricks AI Security Framework, que fornece um guia abrangente para o gerenciamento de riscos de IA
  • Databricks AI Governance Framework, que complementa o Security Framework fornecendo uma visão de governança que abrange a segurança e a integridade operacional

Qualidade de modelos, agentes e aplicativos

Os modelos genAI produzem saídas estocásticas e abertas e geralmente são aplicados a problemas abertos com muitas respostas "boas". Até mesmo definir "alta qualidade" pode ser desafiador e geralmente requer comentários iterativos de especialistas ou usuários do domínio. Sem processos de avaliação robustos, as organizações enfrentam riscos como:

  • Experiências ruins do usuário: se os aplicativos GenAI não forem avaliados com base em métricas alinhadas às necessidades do usuário, os usuários poderão encontrar respostas inúteis, imprecisas ou até mesmo prejudiciais ou ofensivas. As reputações de marca podem sofrer em casos extremos.
  • Limbo de desenvolvimento: se a qualidade não puder ser definida ou medida de maneiras que permitam a aprovação dos stakeholders, os projetos do GenAI poderão ser atrasados ou cancelados por falta de "prova" de qualidade.

O Azure Databricks simplifica a medição e a otimização da qualidade da IA por meio de:

  • Avaliação e monitoramento do MLflow, com avaliadores internos e avaliadores personalizados para medir a qualidade, usável tanto no desenvolvimento quanto no monitoramento de produção
  • Rastreamento do MLflow, com rastreamento automático e manual para proporcionar visibilidade para desenvolvimento e produção
  • Coleção de comentários humanos, com um aplicativo interno para comentários de especialistas durante o desenvolvimento e APIs para comentários do usuário de aplicativos de produção

Controle de dados e modelos

Modelos GenAI de última geração são fornecidos por muitos provedores de modelos, assim como opções de software livre auto-hospedadas. Devido a complicações de privacidade e licenciamento de dados, muitas plataformas lutam para dar suporte a esse ecossistema diversificado e permitir iteração e personalização rápidas. As organizações devem manter o controle de seus dados e escolha sobre modelos para evitar riscos como:

  • Restrições de privacidade de dados: os requisitos de conformidade ou integração podem impedir que as organizações acessem os principais modelos genai de vários provedores, sacrificando a flexibilidade e as compensações de custo de qualidade.
  • Falta de vantagem competitiva: se modelos, dados, agentes e aplicativos não forem personalizáveis com base nos dados proprietários de uma organização, será desafiador criar propriedade intelectual.

O Azure Databricks fornece controle e flexibilidade para dados e modelos por meio de:

  • As APIs de Modelos de Fundação, que atendem modelos de vanguarda de principais provedores de modelos em seu próprio ambiente do Azure Databricks, juntamente com seus modelos e agentes personalizados em Model Serving.
  • Aplicativos personalizados, agentes, modelos, ferramentas e fontes de dados criadas em torno de seus dados proprietários. Todos esses níveis de IA dão suporte à Inteligência de Dados, desde a criação de aplicativos e agentes até o fornecimento de dados por meio de ferramentas, até a avaliação e otimização de agentes com base em seus dados.

Saiba Mais

  • Last updated on