Monitore os custos de atendimento do modelo

Este artigo fornece exemplos de como usar tabelas do sistema para monitorizar o custo dos endpoints do Mosaic AI Model Serving na sua conta do Azure Databricks.

Requisitos

• Para acessar as tabelas do sistema, seu espaço de trabalho deve estar habilitado para o Catálogo Unity. Para mais informações, consulte Ativar tabelas do sistema.

Tabela de utilização do sistema de faturação SKU

Você pode acompanhar os custos de execução de modelos no Azure Databricks usando a tabela do sistema de uso faturável. Após a tabela do sistema de uso de cobrança ser ativada, a tabela será atualizada automaticamente com os dados de utilização mais recentes na sua conta do Databricks. Os custos aparecem na tabela system.billing.usage com coluna sku_name como uma das seguintes:

Consultar e visualizar o uso

Você pode consultar a tabela system.billing.usage para agregar todos os DBUs (Databricks Units) associados ao Mosaic AI Model Serving. A seguir está um exemplo de consulta que agrega modelo servindo DBUs por dia nos últimos 30 dias usando SQL:

SELECT SUM(usage_quantity) AS model_serving_dbus,
usage_date
FROM system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
GROUP BY(usage_date)
ORDER BY usage_date DESC

LIMIT 30

Uso de cargas de trabalho de inferência em lote

Pode consultar a tabela system.billing.usage para isolar os DBUs (Databricks Units) que foram usados em cargas de trabalho de inferência em lote.

SELECT *
FROM system.billing.usage u
WHERE u.workspace_id = <workspace_id>
  AND u.billing_origin_product = "MODEL_SERVING"
  AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE"

Para obter uma lista de todos os endereços de serviço do modelo que têm tarefas de inferência em lote, use o seguinte:

SELECT DISTINCT(usage_metadata.endpoint_name)
FROM system.billing.usage
WHERE u.workspace_id = <workspace_id>
  AND u.billing_origin_product = "MODEL_SERVING"
  AND u.product_features.model_serving.offering_type = "BATCH_INFERENCE";

Consulte Exibir custos para cargas de trabalho de inferência em lote para obter exemplos adicionais.

Painel de observação de custos

Para ajudá-lo a começar a monitorizar os seus custos associados ao serviço do modelo, baixe o painel de atribuição de custos disponível no GitHub. Consulte o painel de atribuição de custos do serviço de modelos.

Depois de baixar o arquivo JSON, importe o painel para seu espaço de trabalho. Para obter instruções sobre como importar painéis, consulte Importar um arquivo de painel.

Como usar este painel

Este painel é alimentado por de IA/BI e você precisa ter acesso às tabelas do sistema. Ele fornece informações sobre seus custos de ponto final de serviço e uso no nível do espaço de trabalho.

Os seguintes passos ajudam-no a começar:

1. Insira o ID do espaço de trabalho.
2. Selecione a data de início e a data de término.
3. Filtre o painel selecionando o nome do ponto de extremidade específico na lista suspensa (se você estiver interessado em um ponto de extremidade específico).
4. Em separado, insira a chave de tag se usar qualquer tag personalizada para o seu endpoint.

Gráficos que pode utilizar

Os gráficos a seguir estão incluídos neste painel. Estes destinam-se a ser o ponto de partida para você construir sua própria versão personalizada do modelo que serve o painel de atribuição de custos.

• Consumo do Endpoint nos Últimos 7 Dias
• Utilização Total Diária de $DBU
• Custos de Serviço de Modelo por Tipo de Ponto de Extremidade
  • Pagamento por token
  • CPU/GPU
  • Modelo de Fundação
• Consumo diário por tipo de dose por modelo
• Top 10 Terminais de Serviço Mais Caros
• Os 10 Endpoints Mais Caros por Pagar por Token
• LLM Ajuste fino Últimos 7 dias Despesas
• LLM Ajuste preciso de despesa por e-mail

Use tags para monitorar custos

Inicialmente, os custos agregados podem ser suficientes para observar os custos gerais do modelo de serviço. No entanto, à medida que o número de pontos de extremidade aumenta, convém dividir os custos com base no caso de uso, unidade de negócios ou outros identificadores personalizados. O serviço de modelo suporta a criação de tags personalizadas que podem ser aplicadas aos pontos de extremidade de serviço do modelo.

Todas as tags personalizadas aplicadas aos pontos finais de serviço do modelo se difundem para a tabela system.billing.usage na coluna custom_tags e podem ser utilizadas para agregar e visualizar custos. A Databricks recomenda a adição de tags descritivas a cada ponto final para um acompanhamento preciso dos custos.

Consultas de exemplo

Principais endpoints por custo:

SELECT
  usage_metadata.endpoint_name AS endpoint_name,
  SUM(usage_quantity) AS model_serving_dbus
FROM
  system.billing.usage
WHERE
  sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND usage_metadata.endpoint_name IS NOT NULL
GROUP BY endpoint_name
ORDER BY model_serving_dbus DESC
LIMIT 30;

Custo com tags ("business_unit": "ciência de dados") ao longo do tempo:

SELECT
  SUM(usage_quantity) AS model_serving_dbus,
  usage_date
FROM
  system.billing.usage
WHERE sku_name LIKE '%SERVERLESS_REAL_TIME_INFERENCE%'
  AND custom_tags['business_unit'] = 'data science'
GROUP BY usage_date
ORDER BY usage_date DESC

LIMIT 30

Recursos adicionais

Para obter exemplos sobre como monitorar o custo de trabalhos em sua conta, consulte Monitorar custos de trabalho & desempenho com tabelas de sistema.