Modelos de linguagem grande (LLMs) em Databricks

O Azure Databricks simplifica o acesso e a criação de modelos de linguagem grandes disponíveis publicamente.

O Databricks Runtime for Machine Learning inclui bibliotecas como Hugging, Face, Transformers e LangChain, que permitem integrar modelos pré-treinados existentes ou outras bibliotecas de código aberto ao seu fluxo de trabalho. A partir daqui, você pode aproveitar os recursos da plataforma Azure Databricks para ajustar LLMs usando seus próprios dados para um melhor desempenho de domínio.

Além disso, o Azure Databricks oferece funcionalidade interna para usuários SQL acessarem e experimentarem LLMs como Azure OpenAI e OpenAI usando funções de IA.

Ajuste fino de modelos base

O ajuste fino do modelo de base (agora parte do Mosaic AI Model Training) é uma interface simples para a pilha de treinamento do Databricks para executar o ajuste fino completo do modelo.

Você pode fazer o seguinte usando o ajuste fino do modelo fundacional:

• Ajuste um modelo com seus dados personalizados, com os pontos de verificação salvos no MLflow. Tens o controlo total sobre o modelo afinado.
• Registe automaticamente o modelo no Unity Catalog, permitindo uma fácil implantação com o serviço de disponibilização de modelos.
• Aperfeiçoe um modelo proprietário completo carregando os pesos de um modelo previamente aperfeiçoado.

Consulte Ajuste Fino do Modelo Base.

Abraçando Transformadores de Rosto

Com o Hugging Face Transformers no Databricks, pode-se escalar as suas aplicações de processamento de linguagem natural (NLP) em lote e ajustar modelos para aplicações de modelos de grandes linguagens.

A biblioteca Hugging Face transformers vem pré-instalada no Databricks Runtime 10.4 LTS ML e superior. Muitos dos modelos de NLP populares funcionam melhor em hardware de GPU, então você pode obter o melhor desempenho usando hardware de GPU recente, a menos que use um modelo especificamente otimizado para uso em CPUs.

• O que são Hugging Face Transformers?
• Ajuste os modelos Hugging Face para uma única GPU

DSPy

O DSPy automatiza o ajuste de prompts traduzindo assinaturas de linguagem natural definidas pelo usuário em instruções completas e exemplos de poucas capturas.

Consulte Criar aplicativos de IA generativa usando DSPy no Azure Databricks para obter exemplos sobre como usar o DSPy.

LangChain

O LangChain está disponível como um sabor experimental de MLflow que permite que os clientes do LangChain aproveitem as ferramentas robustas e os recursos de rastreamento de experimentos do MLflow diretamente do ambiente do Azure Databricks.

LangChain é uma estrutura de software projetada para ajudar a criar aplicativos que utilizam grandes modelos de linguagem (LLMs) e combiná-los com dados externos para trazer mais contexto de treinamento para seus LLMs.

O Databricks Runtime ML inclui langchain no Databricks Runtime 13.1 ML ou versões mais recentes.

Saiba mais sobre integrações LangChain específicas do Databricks.

Funções de IA

As funções de IA são funções SQL incorporadas que permitem aos utilizadores SQL:

• Use as APIs do Databricks Foundation Model para executar várias tarefas nos dados da sua empresa.
• Acesse modelos externos como GPT-4 da OpenAI e experimente-os.
• Consultar modelos hospedados pelos pontos finais do Serviço de Modelos Mosaic AI a partir de consultas SQL.