Diretrizes para implantar modelos MLflow

APLICA-SE A: Azure CLI ml extension v2 (atual)

Neste artigo, você aprenderá sobre a implantação de modelos MLflow no Aprendizado de Máquina do Azure para inferência em tempo real e em lote, e sobre diferentes ferramentas que você pode usar para gerenciar as implantações.

Implantação sem código

Quando você implanta modelos MLflow no Aprendizado de Máquina do Azure, ao contrário da implantação de modelo personalizado, não precisa fornecer um script de pontuação ou um ambiente. O Azure Machine Learning gera automaticamente o script e o ambiente de pontuação. Essa funcionalidade é chamada de implantação sem código.

Para implantação sem código, Azure Machine Learning:

• Garante que todas as dependências de pacote indicadas no modelo MLflow sejam satisfeitas.
• Fornece uma imagem base MLflow ou ambiente curado que contém os seguintes itens:
  • Pacotes necessários para o Azure Machine Learning executar inferência, incluindo mlflow-skinny.
  • Um script de pontuação para realizar inferência.

Pacotes e dependências

O Azure Machine Learning gera automaticamente ambientes para executar inferência em modelos MLflow. Para criar os ambientes, o Aprendizado de Máquina do Azure lê as dependências do Conda especificadas no modelo MLflow e adiciona todos os pacotes necessários para executar o servidor de inferência. Esses pacotes extras variam dependendo do tipo de implantação.

O arquivo conda.yaml de exemplo a seguir mostra as dependências Conda especificadas em um modelo MLflow.

channels:
- conda-forge
dependencies:
- python=3.12.3
- pip<=23.1.2
- pip:
  - mlflow
  - scikit-learn==1.6.1
  - psutil==5.9.4
  - azureml-ai-monitoring
  - azureml-inference-server-http
name: mlflow-env

Modelos que incluem assinaturas

Os modelos MLflow podem incluir uma assinatura que indica as entradas esperadas e seus tipos. Quando esses modelos são implantados em pontos de extremidade online ou em lote, o Aprendizado de Máquina do Azure garante que o número e os tipos de entradas de dados estejam em conformidade com a assinatura. Se os dados de entrada não puderem ser analisados conforme o esperado, a invocação do modelo falhará.

Você pode inspecionar uma assinatura de modelo MLflow abrindo o arquivo MLmodel. Para obter mais informações sobre como as assinaturas funcionam no MLflow, consulte Assinaturas no MLflow.

O seguinte arquivo de exemplo MLmodel destaca o signature.

artifact_path: model
flavors:
  python_function:
    env:
      conda: conda.yaml
      virtualenv: python_env.yaml
    loader_module: mlflow.sklearn
    model_path: model.pkl
    predict_fn: predict
    python_version: 3.12.3
  sklearn:
    code: null
    pickled_model: model.pkl
    serialization_format: cloudpickle
    sklearn_version: 1.1.2
mlflow_version: 2.7.1
model_uuid: 3f725f3264314c02808dd99d5e5b2781
run_id: 70f15bab-cf98-48f1-a2ea-9ad2108c28cd
signature:
  inputs: '[{"name": "age", "type": "double"}, {"name": "sex", "type": "double"},
    {"name": "bmi", "type": "double"}, {"name": "bp", "type": "double"}, {"name":
    "s1", "type": "double"}, {"name": "s2", "type": "double"}, {"name": "s3", "type":
    "double"}, {"name": "s4", "type": "double"}, {"name": "s5", "type": "double"},
    {"name": "s6", "type": "double"}]'
  outputs: '[{"type": "double"}]'

Implantação no servidor interno MLflow versus implantação no servidor de inferência do Azure Machine Learning

Os desenvolvedores de modelos podem usar ferramentas de implantação integradas do MLflow para testar modelos localmente. Por exemplo, você pode executar uma instância local de um modelo registrado no registro do servidor MLflow usando mlflow models serve ou a CLI mlflow models predictMLflow . Para obter mais informações sobre as ferramentas de implantação internas do MLflow, consulte Ferramentas de implantação internas na documentação do MLflow.

O Azure Machine Learning também dá suporte à implantação de modelos em endereços online e em lote. Esses pontos de extremidade executam diferentes tecnologias de inferência que podem ter funcionalidades diferentes.

• Os endpoints online do Azure Machine Learning, semelhantes ao servidor integrado MLflow, fornecem uma maneira escalável, síncrona e leve de executar modelos para inferência.

• Os endpoints de processamento em lote do Azure Machine Learning podem executar processos assíncronos de inferência em tarefas contínuas que podem ser dimensionadas para grandes quantidades de dados. O servidor MLflow não possui esse recurso, embora você possa obter um recurso semelhante usando trabalhos do Spark. Para saber mais sobre endpoints em lote e modelos MLflow, consulte Usar modelos MLflow em implementações em lote.

Formatos de entrada

A tabela a seguir mostra os tipos de entrada suportados pelo servidor incorporado do MLflow e aqueles suportados pelos endereços de endpoint online do Azure Machine Learning.

As seções a seguir se concentram em modelos MLflow implantados em pontos de extremidade online do Azure Machine Learning.

Estrutura de entrada

Independentemente do tipo de entrada, o Aprendizado de Máquina do Azure exige que você forneça entradas em uma carga JSON na chave input_datado dicionário. Essa chave não é necessária quando você usa o comando mlflow models serve para servir modelos, portanto, as cargas úteis não podem ser usadas de forma intercambiável para pontos de extremidade online do Azure Machine Learning e o servidor interno MLflow.

Os exemplos de carga útil a seguir mostram diferenças entre um modelo implantado no servidor interno MLflow versus o servidor de inferência do Azure Machine Learning.

DataFrame do pandas serializado em JSON no formato split

{
    "input_data": {
        "columns": [
            "age", "sex", "trestbps", "chol", "fbs", "restecg", "thalach", "exang", "oldpeak", "slope", "ca", "thal"
        ],
        "index": [1],
        "data": [
            [1, 1, 145, 233, 1, 2, 150, 0, 2.3, 3, 0, 2]
        ]
    }
}

{
    "dataframe_split": {
        "columns": [
            "age", "sex", "trestbps", "chol", "fbs", "restecg", "thalach", "exang", "oldpeak", "slope", "ca", "thal"
        ],
        "index": [1],
        "data": [
            [1, 1, 145, 233, 1, 2, 150, 0, 2.3, 3, 0, 2]
        ]
    }
}

Entrada tensor

{
    "input_data": [
          [1, 1, 0, 233, 1, 2, 150, 0, 2.3, 3, 0, 2],
          [1, 1, 0, 233, 1, 2, 150, 0, 2.3, 3, 0, 2]
          [1, 1, 0, 233, 1, 2, 150, 0, 2.3, 3, 0, 2],
          [1, 1, 145, 233, 1, 2, 150, 0, 2.3, 3, 0, 2]
    ]
}

{
    "inputs": [
          [1, 1, 0, 233, 1, 2, 150, 0, 2.3, 3, 0, 2],
          [1, 1, 0, 233, 1, 2, 150, 0, 2.3, 3, 0, 2]
          [1, 1, 0, 233, 1, 2, 150, 0, 2.3, 3, 0, 2],
          [1, 1, 145, 233, 1, 2, 150, 0, 2.3, 3, 0, 2]
    ]
}

Entrada de tensor nomeado

{
    "input_data": {
        "tokens": [
          [0, 655, 85, 5, 23, 84, 23, 52, 856, 5, 23, 1]
        ],
        "mask": [
          [0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0]
        ]
    }
}

{
    "inputs": {
        "tokens": [
          [0, 655, 85, 5, 23, 84, 23, 52, 856, 5, 23, 1]
        ],
        "mask": [
          [0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0]
        ]
    }
}

Personalização de inferência para modelos MLflow

Os scripts de pontuação personalizam como executar a inferência para modelos personalizados. Mas para a implantação do modelo MLflow, a decisão sobre como executar a inferência é tomada pelo construtor de modelos e não pelo engenheiro de implantação. Cada estrutura de modelo pode aplicar automaticamente rotinas de inferência específicas.

Se você precisar alterar como a inferência é executada para um modelo MLflow, poderá executar uma das seguintes ações:

• Altere a forma como o seu modelo está a ser registado na rotina de treino.
• Personalize a inferência usando um script de pontuação no momento da implantação.

Alterar a forma como o modelo é registado durante a formação

Quando se regista um modelo usando ou mlflow.autolog ou mlflow.<flavor>.log_model, a variante usada para o modelo determina como executar a inferência e quais resultados retornar. MLflow não impõe nenhum comportamento específico para como a predict() função gera resultados.

Em alguns casos, você pode querer fazer algum pré-processamento ou pós-processamento antes e depois da execução do modelo. Ou você pode querer alterar o que é retornado, por exemplo, probabilidades em vez de classes. Uma solução é implementar pipelines de aprendizado de máquina que passam de entradas para saídas diretamente.

Por exemplo, sklearn.pipeline.Pipeline ou pyspark.ml.Pipeline são maneiras populares de implementar pipelines, e às vezes são recomendadas para melhorar o desempenho. Você também pode personalizar como seu modelo faz inferência registrando modelos personalizados.

Personalizar a inferência usando um script de pontuação

Embora os modelos MLflow não exijam um script de pontuação, você ainda pode fornecer um para personalizar a execução de inferência para modelos MLflow, se necessário. Para obter mais informações sobre como personalizar a inferência, consulte Personalizar implantações de modelo MLflow para pontos de extremidade online ou Personalizar implantação de modelo com script de pontuação para pontos de extremidade em lote.

Ferramentas de implantação

O Azure Machine Learning fornece as seguintes ferramentas para implantar modelos MLflow em endpoints online e por lotes.

• MLflow SDK
• CLI do Azure Machine Learning v2
• SDK do Azure Machine Learning para Python
• Estúdio de Aprendizagem de Máquina do Azure

Cada ferramenta tem capacidades diferentes, particularmente para o tipo de computação que pode segmentar. A tabela a seguir mostra o suporte para diferentes cenários de implantação de MLflow.

¹ Mude para endpoints online gerenciados , se possível.

² O MLflow de código aberto não suporta scripts de pontuação ou execução em lote.

Escolha uma ferramenta de implantação

Use o SDK MLflow se ambas as opções a seguir forem verdadeiras:

• Você está familiarizado com o MLflow e deseja continuar usando os mesmos métodos.
• Você está usando uma plataforma como o Azure Databricks que oferece suporte ao MLflow nativamente.

Use a CLI do Azure Machine Learning v2 ou SDK para Python se qualquer uma das seguintes situações for verdadeira:

• Você está familiarizado com a ferramenta.
• Você deseja automatizar a implantação usando pipelines.
• Você deseja armazenar a configuração de implantação em um repositório Git.

Use a interface do usuário do estúdio do Azure Machine Learning se quiser implantar e testar rapidamente modelos treinados com MLflow.

Conteúdo relacionado

• Implantação do modelo MLflow em endpoints online
• Implantação do modelo MLflow em pontos de extremidade em lote
• Implementação progressiva de modelos MLflow