Introdução à consulta de LLMs no Databricks

Esse artigo descreve como começar a usar APIs do Foundation Model para servir e consultar LLMs em Databricks.

A maneira mais fácil de começar a servir e consultar modelos LLM no Databricks é usando APIs do Foundation Model com base em pagamento por token. As APIs fornecem acesso a modelos base populares a partir de pontos de extremidade de pagamento por token que estão automaticamente disponíveis na IU de serviço do seu workspace do Databricks. Consulte os modelos de fundação hospedados pelo Databricks disponíveis nas APIs do Foundation Model.

Você também pode testar e conversar com modelos de pagamento por token usando o Playground de IA. Consulte o Chat com LLMs e protótipos de aplicativos de IA generativa usando o Playground de IA.

Para cargas de trabalho de produção, especialmente aquelas com um modelo com ajuste fino ou que exigem garantias de desempenho, o Databricks recomenda o uso das APIs de Modelo de Base em um ponto de extremidade de taxa de transferência provisionada.

Requirements

• Um workspace do Databricks em uma região com suporte para as APIs do modelo de base, pagamento por token.
• Um token de acesso pessoal do Databricks para consultar e acessar endpoints do Mosaic AI Model Serving usando o cliente OpenAI.

Comece a usar APIs do Foundation Model

O exemplo a seguir deve ser executado em um notebook do Databricks. O exemplo de código consulta o modelo Meta Llama 3.1 405B Instrução que é servido no ponto de extremidade de pagamento por token databricks-meta-llama-3-1-405b-instruct.

Nesse exemplo, você usa o cliente OpenAI para consultar o modelo preenchendo o campo model com o nome do ponto de extremidade de serviço do modelo que hospeda o modelo que você deseja consultar. Use seu token de acesso pessoal para preencher o DATABRICKS_TOKEN e sua instância do espaço de trabalho do Databricks para conectar o cliente OpenAI ao Databricks.

from openai import OpenAI
import os

DATABRICKS_TOKEN = os.environ.get("DATABRICKS_TOKEN")

client = OpenAI(
  api_key=DATABRICKS_TOKEN, # your personal access token
  base_url='https://<workspace_id>.databricks.com/serving-endpoints', # your Databricks workspace instance
)

chat_completion = client.chat.completions.create(
  messages=[
    {
      "role": "system",
      "content": "You are an AI assistant",
    },
    {
      "role": "user",
      "content": "What is a mixture of experts model?",
    }
  ],
  model="databricks-meta-llama-3-1-405b-instruct",
  max_tokens=256
)

print(chat_completion.choices[0].message.content)

Resultado esperado:

{
  "id": "xxxxxxxxxxxxx",
  "object": "chat.completion",
  "created": "xxxxxxxxx",
  "model": "databricks-meta-llama-3-1-405b-instruct",
  "choices": [
    {
      "index": 0,
      "message":
        {
          "role": "assistant",
          "content": "A Mixture of Experts (MoE) model is a machine learning technique that combines the predictions of multiple expert models to improve overall performance. Each expert model specializes in a specific subset of the data, and the MoE model uses a gating network to determine which expert to use for a given input."
        },
      "finish_reason": "stop"
    }
  ],
  "usage":
    {
      "prompt_tokens": 123,
      "completion_tokens": 23,
      "total_tokens": 146
    }
}

Próximas etapas

• Utilize o playground de IA para testar diferentes modelos em uma interface de chat familiar.
• Use modelos de base.
• Modelos de acesso hospedados fora do Databricks usando modelos externos.
• Aprenda como implantar modelos ajustados usando pontos de extremidade de taxa de transferência provisionados.
• Explore métodos para monitorar a qualidade do modelo e a saúde do endpoint.