Compartilhar via

Implantar modelos do Microsoft Foundry no portal do Foundry

Observação

Este documento refere-se ao portal do Microsoft Foundry (clássico ).

🔄 Alterne para a documentação nova do Microsoft Foundry se você estiver usando o novo portal.

Observação

Este documento refere-se ao portal do Microsoft Foundry (novo ).

Neste artigo, você aprenderá a usar o portal do Foundry para implantar um Modelo de Fundação em um recurso de Foundry para uso na execução de tarefas de inferência. Os modelos da plataforma incluem modelos como os da Fundação Azure OpenAI, modelos Meta Llama, e muito mais. Depois de implantar um Modelo de Foundry, você poderá interagir com ele usando o Foundry Playground e fazer inferências sobre ele usando código.

Este artigo usa um Modelo da Fábrica de parceiros e da comunidade Llama-3.2-90B-Vision-Instruct para ilustração. Modelos de parceiros e comunidade exigem que você assine o Azure Marketplace antes da implantação. Por outro lado, os Foundry Models vendidos diretamente pelo Azure, como o Azure Open AI em Foundry Models, não possuem essa exigência. Para obter mais informações sobre os Modelos de Foundry, incluindo as regiões em que eles estão disponíveis para implantação, consulte Modelos de Foundry vendidos diretamente pelo Azure e Modelos de Foundry de parceiros e comunidade.

Pré-requisitos

Para concluir este artigo, você precisa do seguinte:

Implantar um modelo

Implante um modelo seguindo estas etapas no portal do Foundry:

  1. Entre no Microsoft Foundry. Certifique-se de que o botão New Foundry está desativado. Essas etapas se referem ao Foundry (clássico).

    Entre no Microsoft Foundry. Certifique-se de que a chave New Foundry está ativada. Estas etapas referem-se à Fábrica (novo).

  2. Vá para a seção Catálogo de modelos no portal do Foundry.

  3. Selecione um modelo e examine seus detalhes no cartão de modelo. Este artigo usa Llama-3.2-90B-Vision-Instruct para ilustração.

  4. Selecione Usar este modelo.

  5. Para Modelos da Fábrica de parceiros e da comunidade, é necessário se inscrever no Azure Marketplace. Esse requisito se aplica a Llama-3.2-90B-Vision-Instruct, por exemplo. Leia os termos de uso e selecione Concordar e Continuar para aceitar os termos.

    Observação

    Para modelos do Foundry vendidos diretamente pelo Azure, como o modelo gpt-4o-minido Azure OpenAI, você não assina o Azure Marketplace.

  6. Defina as configurações de implantação. Por padrão, a implantação recebe o nome do modelo que você está implantando, mas você pode modificar o nome conforme necessário antes de implantar o modelo. Mais tarde, durante a inferência, o nome da implantação será usado no parâmetro model para rotear solicitações para essa implantação de modelo específica. Essa convenção permite que você configure nomes específicos para suas implantações de modelo.

    Dica

    Cada modelo oferece suporte a diferentes tipos de implantação, garantindo diferentes requisitos de localização ou taxa de transferência de dados. Confira os tipos de implantação para obter mais detalhes. Neste exemplo, o modelo dá suporte ao tipo de implantação Global Standard.

  7. O portal do Foundry seleciona automaticamente o recurso Foundry associado ao seu projeto como o recurso de IA Conectada. Selecione Personalizar para alterar a conexão, se necessário. Se você estiver implantando no tipo de implantação de API sem servidor , o projeto e o recurso deverão estar em uma das regiões de implantação com suporte para o modelo.

    Captura de tela mostrando como personalizar a implantação, se necessário.

  8. Selecione Implantar. A página de detalhes da implantação do modelo será aberta enquanto a implantação estiver sendo criada.

  9. Quando a implantação for concluída, o modelo estará pronto para uso. Você também pode usar o Foundry Playgrounds para testar interativamente o modelo.

Implante um modelo seguindo estas etapas no portal do Foundry:

  1. Entre no Microsoft Foundry. Certifique-se de que o botão New Foundry está desativado. Essas etapas se referem ao Foundry (clássico).

    Entre no Microsoft Foundry. Certifique-se de que a chave New Foundry está ativada. Estas etapas referem-se à Fábrica (novo).

  2. Na home page do portal do Foundry, selecione Descobrir na navegação superior direita e, em seguida, Modelos no painel esquerdo.

  3. Selecione um modelo e examine seus detalhes no cartão de modelo. Este artigo usa Llama-3.2-90B-Vision-Instruct para ilustração.

  4. Selecione Implantar>Configurações personalizadas para personalizar sua implantação. Como alternativa, você pode usar as configurações de implantação padrão selecionando Implantar>Configurações Padrão.

  5. Para Modelos da Fábrica de parceiros e da comunidade, é necessário se inscrever no Azure Marketplace. Esse requisito se aplica a Llama-3.2-90B-Vision-Instruct, por exemplo. Leia os termos de uso e selecione Concordar e Continuar para aceitar os termos.

    Observação

    Para modelos do Foundry vendidos diretamente pelo Azure, como o modelo gpt-4o-minido Azure OpenAI, você não assina o Azure Marketplace.

  6. Defina as configurações de implantação. Por padrão, a implantação recebe o nome do modelo que você está implantando, mas você pode modificar o nome conforme necessário antes de implantar o modelo. Mais tarde, durante a inferência, o nome da implantação será usado no parâmetro model para rotear solicitações para essa implantação de modelo específica. Essa convenção permite que você configure nomes específicos para suas implantações de modelo. Selecione Implantar para criar sua implantação.

    Dica

    Cada modelo oferece suporte a diferentes tipos de implantação, garantindo diferentes requisitos de localização ou taxa de transferência de dados. Confira os tipos de implantação para obter mais detalhes. Neste exemplo, o modelo dá suporte ao tipo de implantação Global Standard.

  7. O portal do Foundry implanta automaticamente seu modelo no recurso Foundry associado ao seu projeto. Seu projeto e recurso devem estar em uma das regiões de implantação com suporte para o modelo.

  8. Selecione Implantar. Quando a implantação for concluída, você será levado aos Playgrounds do Foundry, onde poderá experimentar o modelo interativamente.

Gerenciar modelos

Você pode gerenciar as implantações de modelo existentes no recurso usando o portal do Foundry.

  1. Vá para a seção Modelos + Pontos de Extremidade no portal do Foundry.

  2. O portal agrupa e exibe implantações de modelo por recurso. Selecione a implantação do modelo Llama-3.2-90B-Vision-Instruct na seção do recurso Foundry. Essa ação abre a página de implantação do modelo.

    Captura de tela mostrando a lista de modelos disponíveis em uma determinada conexão.

Você pode gerenciar as implantações de modelo existentes no recurso usando o portal do Foundry.

  1. Selecione Compilar na navegação superior direita.

  2. Selecione Modelos no painel esquerdo para ver a lista de implantações no recurso.

Testar a implantação no playground

Você pode interagir com o novo modelo no portal do Foundry usando o playground. O playground é uma interface baseada na web que permite interagir com o modelo em tempo real. Você pode usar o playground para testar o modelo com diferentes prompts e ver as respostas do modelo.

  1. Na página de implantação do modelo, selecione Abrir no ambiente de testes. Essa ação abre o playground do chat com o nome da sua implantação já selecionado.

    Captura de tela mostrando como selecionar uma implantação de modelo a ser usada no playground.

  2. Digite a solicitação e veja as saídas.

  3. Use Código de exibição para visualizar detalhes sobre como acessar a implantação do modelo programaticamente.

Você pode interagir com o novo modelo no portal do Foundry usando o playground. O playground é uma interface baseada na web que permite interagir com o modelo em tempo real. Você pode usar o playground para testar o modelo com diferentes prompts e ver as respostas do modelo.

  1. Na lista de implantações, selecione a implantação Llama-3.2-90B-Vision-Instruct para abrir a página do playground.

  2. Digite a solicitação e veja as saídas.

  3. Selecione a guia Código para ver detalhes sobre como acessar a implantação do modelo programaticamente.

Inferência do modelo com código

Para executar a inferência no modelo implantado com exemplos de código, confira os seguintes exemplos:

Limites de disponibilidade e cota regionais de um modelo

Para Modelos de Fundição, o limite padrão varia de acordo com o modelo e a região. Determinados modelos só podem estar disponíveis em algumas regiões. Para obter mais informações sobre disponibilidade e limites de cota, consulte cotas e limites do Azure OpenAI em Microsoft Foundry Models e cotas e limites do Microsoft Foundry Models.

Cota para implantar e inferir um modelo

Para Modelos da Fábrica, a implantação e a inferência consomem cota que o Azure atribui à sua assinatura por região e por modelo em unidades de Tokens por Minuto (TPM). Ao se inscrever no Foundry, você recebe a cota padrão para a maioria dos modelos disponíveis. Em seguida, você atribui o TPM a cada implantação à medida que a cria, o que reduz a cota disponível para esse modelo. Você pode continuar criando implantações e atribuindo-lhes TPMs até atingir o limite de cota.

Ao atingir o limite de cota, você só poderá criar novas implantações desse modelo se:

  • Solicite mais cota enviando um formulário de aumento de cota.
  • Ajuste a cota alocada em outras implementações de modelo no portal do Foundry para liberar tokens para novas implementações.

Para obter mais informações sobre cota, consulte cotas e limites do Microsoft Foundry Models e gerencie a cota do Azure OpenAI.

Conteúdo relacionado

  • Last updated on