Compartilhar via

IA e aprendizado de máquina no Databricks

Crie, implante e gerencie aplicativos de IA e machine learning com a IA do Mosaico, uma plataforma integrada que unifica todo o ciclo de vida de IA da preparação de dados ao monitoramento de produção.

Para obter um conjunto de tutoriais para começar, consulte os tutoriais de IA e machine learning.

Criar aplicativos de IA generativos

Desenvolva e implante aplicativos de IA generativa de nível empresarial, como LLMs ajustados, agentes de IA e geração aumentada por recuperação.

Feature Description
Parquinho de IA Crie protótipos e teste modelos de IA generativos com engenharia de prompt sem código e ajuste de parâmetros.
Tijolos do Agente Abordagem simples para criar e otimizar sistemas de agente de IA de alta qualidade específicos do domínio para casos comuns de uso de IA.
Modelos de base Sirva LLMs de última geração, incluindo Meta Llama, Antropic Claude e OpenAI GPT por meio de APIs seguras e escalonáveis.
Estrutura de Agentes do Mosaic AI Crie e implante agentes de qualidade de produção, incluindo aplicativos RAG e sistemas de vários agentes com Python.
MLflow para GenAI Medir, melhorar e monitorar a qualidade em todo o ciclo de vida do aplicativo GenAI usando métricas de IA e observabilidade de rastreamento abrangente.
Busca em vetores Armazene e consulte vetores de inserção com sincronização automática com sua base de dados de conhecimento para aplicativos RAG.
Computação de GPU sem servidor Personalize cargas de trabalho de aprendizado profundo de vários nós para treinamento e ajuste de modelos personalizados usando suas estruturas favoritas e obtenha eficiência, desempenho e qualidade de última geração.
Ajuste fino de modelos fundamentais Personalize modelos de base com seus próprios dados para otimizar o desempenho de aplicativos específicos.

Treinar modelos clássicos de machine learning

Crie modelos de machine learning com ferramentas automatizadas e ambientes de desenvolvimento colaborativos.

Feature Description
AutoML Crie automaticamente modelos de alta qualidade com código mínimo usando engenharia de recursos automatizada e ajuste de hiperparâmetro.
Databricks Runtime para ML Os clusters pré-configurados com TensorFlow, PyTorch, Keras e GPU dão suporte ao desenvolvimento de aprendizado profundo.
Acompanhamento do MLflow Acompanhe experimentos, compare o desempenho do modelo e gerencie o ciclo de vida completo de desenvolvimento de modelos.
Engenharia de recursos Crie, gerencie e ofereça funcionalidades com pipelines de dados automatizados e descoberta de funcionalidades.
Blocos de anotações do Databricks Ambiente de desenvolvimento colaborativo com suporte para Python, R, Scala e SQL para fluxos de trabalho de ML.

Treinar modelos de aprendizado profundo

Use estruturas internas para desenvolver modelos de aprendizado profundo.

Feature Description
Treinamento distribuído Exemplos de aprendizado profundo distribuído usando Ray, TorchDistributor e DeepSpeed.
Práticas recomendadas para aprendizado profundo no Databricks Práticas recomendadas para aprendizado profundo no Databricks.
PyTorch Treinamento distribuído e de nó único usando o PyTorch.
TensorFlow Treinamento distribuído e de nó único usando o TensorFlow e o TensorBoard.
Soluções de referência Soluções de referência para aprendizado profundo.

Implantar e servir modelos

Implante modelos em produção com pontos de extremidade escalonáveis, inferência em tempo real e monitoramento de nível empresarial.

Feature Description
Serviço de modelo Implante modelos personalizados e LLMs como pontos de extremidade REST escalonáveis com dimensionamento automático e suporte à GPU.
Gateway de IA Governe e monitore o acesso a modelos de IA gerativos com controle de uso, registro em log de conteúdo e controles de segurança.
Modelos externos Integre modelos de terceiros hospedados fora do Databricks com governança e monitoramento unificados.
APIs de modelo de fundação Acessar e consultar modelos abertos de última geração hospedados pelo Databricks.

Monitorar e controlar sistemas de ML

Verifique a qualidade do modelo, a integridade dos dados e a conformidade com ferramentas abrangentes de monitoramento e governança.

Feature Description
Catálogo do Unity Governe dados, recursos, modelos e funções com controle de acesso unificado, acompanhamento de linhagem e descoberta.
Criação de perfil de dados Monitore a qualidade dos dados, o desempenho do modelo e o descompasso de previsão com alertas automatizados e análise de causa raiz.
Detecção de anomalias Monitore a atualização e a integridade dos dados no nível do catálogo.
MLflow para Modelos Acompanhe, avalie e monitore aplicativos de IA generativos em todo o ciclo de vida de desenvolvimento.

Produzir fluxos de trabalho de ML

Dimensione as operações de aprendizado de máquina com fluxos de trabalho automatizados, integração de CI/CD e pipelines prontos para produção.

Feature Description
Modelos no Catálogo do Unity Use o registro de modelo no Catálogo do Unity para governança centralizada e para gerenciar o ciclo de vida do modelo, incluindo implantações.
Trabalhos do Lakeflow Crie fluxos de trabalho automatizados e pipelines de ETL prontos para produção para processamento de dados de ML.
Ray no Databricks Dimensione cargas de trabalho de ML com computação distribuída para treinamento e inferência de modelo em larga escala.
Fluxos de trabalho do MLOps Implemente MLOps de ponta a ponta com pipelines de treinamento, teste e implantação totalmente automatizados.
Integração do Git Controle de versão do código ML e dos notebooks com integração perfeita do Git e desenvolvimento colaborativo.
  • Last updated on