Compartilhar via

Interpretabilidade do modelo

Este artigo descreve os métodos que você pode usar para a interpretação de modelo no Azure Machine Learning.

Por que a interpretação do modelo é importante para a depuração de modelo

Quando se usa modelos de machine learning de maneiras que afetam a vida das pessoas, é extremamente importante entender o que influencia o comportamento dos modelos. A interpretação ajuda a responder perguntas em cenários como:

  • Depuração de modelo: por que meu modelo cometeu esse erro? Como posso aprimorar meu modelo?
  • Colaboração Humano-AI: Como posso entender e confiar nas decisões do modelo?
  • Conformidade regulatória: meu modelo atende aos requisitos legais?

O componente de interpretabilidade do painel de controle de IA Responsável contribui para o estágio de "diagnóstico" do fluxo de trabalho do ciclo de vida do modelo, gerando descrições compreensíveis por humanos das previsões de um modelo de machine learning. Ele fornece várias exibições sobre o comportamento de um modelo:

  • Explicações globais: por exemplo, quais recursos afetam o comportamento geral de um modelo de alocação de empréstimos?
  • Explicações locais: Por exemplo, por que o pedido de empréstimo de um cliente foi aprovado ou rejeitado?

Também é possível observar explicações de modelo para uma coorte selecionada como um subgrupo de pontos de dados. Essa abordagem é valiosa quando, por exemplo, você está avaliando a imparcialidade nas previsões de modelo para indivíduos em um determinado grupo demográfico. A guia de Explicação local desse componente também representa uma visualização completa de dados, o que é ótimo para analisar os dados em geral e examinar as diferenças entre as previsões corretas e incorretas de cada coorte.

Os recursos desse componente são fundados pelo pacote InterpretML, que gera explicações de modelo.

Use a interpretabilidade quando precisar:

  • Determine a confiabilidade das previsões do seu sistema de IA, entendendo quais recursos são mais importantes para as previsões.
  • Aborde a depuração do modelo entendendo-o primeiro e identificando se ele está usando recursos íntegros ou correlações falsas.
  • Descubra possíveis fontes de parcialidade ao entender se o modelo está baseando previsões em recursos sensíveis ou em recursos que estão altamente correlacionados com eles.
  • Crie a confiança do usuário nas decisões do seu modelo gerando explicações locais para ilustrar seus resultados.
  • Conclua uma auditoria regulatória de um sistema de IA para validar modelos e monitorar o impacto das decisões de modelo em humanos.

Como interpretar seu modelo

Em aprendizado de máquina, recursos são os campos de dados que você usa para prever um ponto de dados de destino. Por exemplo, para prever o risco de crédito, podem ser usados os campos de dados para idade, tamanho da conta e idade da conta. Aqui, a idade, o tamanho da conta e a idade da conta são os recursos. A importância do recurso informa como cada campo de dados afeta as previsões do modelo. Por exemplo, embora você possa usar muito a idade na previsão, o tamanho e a idade da conta podem não afetar significativamente os valores de previsão. Por meio desse processo, os cientistas de dados podem explicar previsões resultantes de maneiras que dão aos stakeholders visibilidade sobre os recursos mais importantes do modelo.

Ao usar as classes e os métodos no painel de IA Responsável e usando o SDK v2 e a CLI v2, você pode:

  • Explicar a previsão do modelo gerando valores de importância do recurso para o modelo todo (explicação global) ou para pontos de dados individuais (explicação local).
  • Alcançar a interpretabilidade do modelo em conjuntos de valores do mundo real em escala.
  • Usar um painel de visualização interativa para descobrir padrões em seus dados e explicações no momento do treinamento.

Técnicas de interpretabilidade do modelo com suporte

O painel de IA Responsável usa as técnicas de interpretabilidade que foram desenvolvidas no Interpret-Community, um pacote python de software livre para treinar modelos interpretáveis e ajudar a explicar sistemas de IA opacos. Modelos de caixa opaca são aqueles para os quais não temos informações sobre seu funcionamento interno.

A Interpret-Community serve como host para os seguintes explicadores com suporte e, atualmente, oferece suporte às técnicas de interpretação apresentadas nas próximas seções.

Com suporte no painel de IA Responsável no SDK v2 e na CLI v2 do Python

Técnica de interpretação Descrição Tipo
Explicador de imitação (substituto global) + árvore SHAP O Explicador de imitação se baseia na ideia de treinar modelos globais substitutos para imitar modelos de caixa opaca. Um modelo global substituto é um modelo intrinsecamente interpretável, que é treinado para aproximar as previsões de qualquer modelo de caixa opaca do modo mais preciso possível.

Os cientistas de dados podem interpretar o modelo substituto para tirar conclusões sobre o modelo de caixa opaca. O painel de IA Responsável usa o LightGBM (LGBMExplainableModel), emparelhado com o Explicador de árvore do SHAP (SHapley Additive exPlanations), que é um explicador específico para árvores e conjuntos de árvores. A combinação de árvore LightGBM e SHAP fornece explicações globais e locais independentes de modelo para os seus modelos de machine learning.		 Independente de modelo

Técnicas de interpretabilidade de modelo com suporte para modelos de texto

Técnica de interpretação Descrição Tipo Tarefa Texto
Texto SHAP SHAP (SHapley Additive exPlanations) é um método de explicação popular para redes neurais profundas que fornece insights sobre a contribuição de cada recurso de entrada para uma determinada previsão. Ele é baseado no conceito de valores Shapley, que é um método para atribuir crédito a jogadores individuais em um jogo cooperativo. O SHAP aplica esse conceito aos recursos de entrada de uma rede neural calculando a contribuição média de cada recurso para a saída do modelo em todas as combinações possíveis de recursos. Para texto especificamente, o SHAP divide as palavras de maneira hierárquica, tratando cada palavra ou token como um recurso. Isso produz um conjunto de valores de atribuição que quantificam a importância de cada palavra ou token para a previsão fornecida. O mapa de atribuição final é gerado visualizando esses valores como um mapa de calor sobre o documento de texto original. SHAP é um método independente de modelo e pode ser usado para explicar uma ampla variedade de modelos de aprendizado profundo, incluindo CNNs, RNNs e transformadores. Além disso, ele fornece várias propriedades desejáveis, como consistência, precisão e imparcialidade, tornando-a uma técnica confiável e interpretável para entender o processo de tomada de decisão de um modelo. Independente de modelo Classificação de várias classes de texto, classificação de vários rótulos de texto

Técnicas de interpretabilidade de modelo com suporte para modelos de imagem

Técnica de interpretação Descrição Tipo Tarefa De Visão
Visão SHAP SHAP (SHapley Additive exPlanations) é um método de explicação popular para redes neurais profundas que fornece insights sobre a contribuição de cada recurso de entrada para uma determinada previsão. Ele é baseado no conceito de valores Shapley, que é um método para atribuir crédito a jogadores individuais em um jogo cooperativo. O SHAP aplica esse conceito aos recursos de entrada de uma rede neural calculando a contribuição média de cada recurso para a saída do modelo em todas as combinações possíveis de recursos. Especificamente para a visão, o SHAP divide a imagem de maneira hierárquica, tratando áreas de superpixel da imagem como cada recurso. Isso produz um conjunto de valores de atribuição que quantificam a importância de cada superpixel ou área de imagem para a previsão fornecida. O mapa de atribuição final é gerado visualizando esses valores como um mapa de calor. SHAP é um método independente de modelo e pode ser usado para explicar uma ampla variedade de modelos de aprendizado profundo, incluindo CNNs, RNNs e transformadores. Além disso, ele fornece várias propriedades desejáveis, como consistência, precisão e imparcialidade, tornando-a uma técnica confiável e interpretável para entender o processo de tomada de decisão de um modelo. Independente de modelo Classificação de várias classes de imagem, classificação de vários rótulos de imagem
Backprop guiado Guided-backprop é um método de explicação popular para redes neurais profundas que fornece insights sobre as representações aprendidas do modelo. Ele gera uma visualização dos recursos de entrada que ativam um neurônio específico no modelo, calculando o gradiente da saída em relação à imagem de entrada. Ao contrário de outros métodos baseados em gradiente, o backprop guiado apenas faz backpropagates por meio de gradientes positivos e usa uma função de ativação ReLU modificada para garantir que os gradientes negativos não influenciem a visualização. Isso resulta em um mapa de saliency mais interpretável e de alta resolução que realça os recursos mais importantes na imagem de entrada para uma determinada previsão. O guided-backprop pode ser usado para explicar uma ampla gama de modelos de aprendizado profundo, incluindo CNNs (redes neurais convolucionais), RNNs (redes neurais recorrentes) e transformadores. Aprendizado de Máquina Automático (AutoML) Classificação de várias classes de imagem, classificação de vários rótulos de imagem
GradCAM guiado O GradCAM guiado é um método de explicação popular para redes neurais profundas que fornece insights sobre as representações aprendidas do modelo. Ele gera uma visualização dos recursos de entrada que mais contribuem para uma classe de saída específica, combinando a abordagem baseada em gradiente da backpropagation guiada com a abordagem de localização do GradCAM. Especificamente, ele calcula os gradientes da classe de saída em relação aos mapas de recursos da última camada convolucional na rede e, em seguida, pondera cada mapa de recursos de acordo com a importância de sua ativação para essa classe. Isso produz um mapa de calor de alta resolução que realça as regiões mais discriminativas da imagem de entrada para a classe de saída fornecida. O GradCAM guiado pode ser usado para explicar uma ampla gama de modelos de aprendizado profundo, incluindo CNNs, RNNs e transformadores. Além disso, incorporando backpropagation guiada, ela garante que a visualização seja significativa e interpretável, evitando ativações espúrias e contribuições negativas. Aprendizado de Máquina Automático (AutoML) Classificação de várias classes de imagem, classificação de vários rótulos de imagem
Gradientes integrados Gradientes integrados é um método de explicação popular para redes neurais profundas que fornece insights sobre a contribuição de cada recurso de entrada para uma determinada previsão. Ele calcula o integral do gradiente da classe de saída em relação à imagem de entrada, ao longo de um caminho reto entre uma imagem de linha de base e a imagem de entrada real. Esse caminho normalmente é escolhido para ser uma interpolação linear entre as duas imagens, com a linha de base sendo uma imagem neutra que não tem recursos importantes. Ao integrar o gradiente ao longo desse caminho, os Gradientes Integrados fornecem uma medida de como cada recurso de entrada contribui para a previsão, permitindo que um mapa de atribuição seja gerado. Esse mapa realça os recursos de entrada mais influentes e pode ser usado para obter insights sobre o processo de tomada de decisão do modelo. Gradientes integrados podem ser usados para explicar uma ampla gama de modelos de aprendizado profundo, incluindo CNNs, RNNs e transformadores. Além disso, é uma técnica teoricamente fundamentada que atende a um conjunto de propriedades desejáveis, como sensibilidade, invariância de implementação e integridade. Aprendizado de Máquina Automático (AutoML) Classificação de várias classes de imagem, classificação de vários rótulos de imagem
XRAI XRAI é um novo método de saliency baseado em região baseado em Gradientes Integrados (IG). Ela segmenta a imagem e testa iterativamente a importância de cada região, unindo regiões menores em segmentos maiores com base em pontuações de atribuição. Essa estratégia produz regiões de saliency de alta qualidade e limitadas que superam as técnicas de saliency existentes. O XRAI pode ser usado com qualquer modelo baseado em DNN, desde que haja uma maneira de agrupar os recursos de entrada em segmentos por meio de alguma métrica de similaridade. Aprendizado de Máquina Automático (AutoML) Classificação de várias classes de imagem, classificação de vários rótulos de imagem
D-RISE D-RISE é um método independente de modelo para criar explicações visuais para as previsões de modelos de detecção de objetos. Ao considerar os aspectos de localização e categorização da detecção de objetos, o D-RISE pode produzir mapas de saliency que realçam partes de uma imagem que mais contribuem para a previsão do detector. Ao contrário dos métodos baseados em gradiente, d-RISE é mais geral e não precisa de acesso ao funcionamento interno do detector de objetos; ele requer apenas acesso às entradas e saídas do modelo. O método pode ser aplicado a detectores de um estágio (por exemplo, YOLOv3), detectores de dois estágios (por exemplo, Faster-RCNN) e Vision Transformers (por exemplo, DETR, OWL-ViT).
D-Rise fornece o mapa de saliency criando máscaras aleatórias da imagem de entrada e a enviará ao detector de objetos com as máscaras aleatórias da imagem de entrada. Ao avaliar a alteração da pontuação do detector de objetos, ele agrega todas as detecções com cada máscara e produz um mapa de saliência final.		 Independente de modelo Detecção de objetos

Próximas etapas

  • Last updated on