Resumo
Neste módulo, abordamos como você pode usar o Azure OpenAI junto com o Gerenciamento de API do Azure. Ao combinar esses serviços, você pode gerenciar e proteger o acesso aos seus modelos de IA.
Primeiro, discutimos o problema do balanceamento de carga e como o Gerenciamento de API do Azure pode ajudá-lo a gerenciar o tráfego e garantir que a carga seja distribuída uniformemente entre seus back-ends. Também analisamos os disjuntores e como eles podem ajudar a desviar o tráfego de backends insalubres.
Em seguida, discutimos a limitação de taxa baseada em tokens e como você pode usá-la para controlar o acesso às suas APIs. Um aprendizado importante foi evitar o consumo excessivo e os chamados "vizinhos barulhentos", estabelecendo limites para o consumo de tokens.
Por fim, discutimos como você pode monitorar e analisar padrões de uso de token usando a Política de Métrica de Token de Emissão do Azure OpenAI. Ao fornecer métricas abrangentes, você pode otimizar a alocação de recursos, melhorar a tomada de decisões e aprimorar o monitoramento de desempenho.
Próximos passos
Aqui estão os nossos próximos passos recomendados: