Partager via

IA et apprentissage automatique sur Databricks

Créez, déployez et gérez des applications IA et Machine Learning avec Mosaïque AI, une plateforme intégrée qui unifie l’ensemble du cycle de vie de l’IA, de la préparation des données à la surveillance de la production.

Pour obtenir un ensemble de tutoriels pour vous aider à démarrer, consultez les didacticiels ia et machine learning.

Créer des applications IA génératives

Développez et déployez des applications d’IA générative de qualité entreprise, telles que des LLM affinés, des agents IA et la génération augmentée par la récupération.

Feature Description
AI Playground Prototypez et testez des modèles d’IA générative via l’ingénierie d’invite sans code et le réglage des paramètres.
Briques de l’agent Approche simple pour créer et optimiser des systèmes d’agent IA spécifiques au domaine et haute qualité pour les cas d’utilisation courants de l’IA.
Modèles de base Servez des LLMs de pointe, notamment Meta Llama, Anthropic Claude et OpenAI GPT via des API sécurisées et évolutives.
Cadre de l’assistant IA de Mosaic Créez et déployez des agents de qualité de production, notamment des applications RAG et des systèmes multi-agents avec Python.
MLflow pour GenAI Mesurez, améliorez et surveillez la qualité tout au long du cycle de vie de l’application GenAI à l’aide de métriques optimisées par l’IA et d’une observabilité complète de trace.
Recherche vectorielle Stockez et interrogez des vecteurs d’incorporation avec synchronisation automatique avec votre base de connaissances pour les applications RAG.
Calcul GPU sans serveur (serverless) Personnalisez des charges de travail d’apprentissage profond à plusieurs nœuds et uniques pour l’apprentissage et l’optimisation des modèles personnalisés à l’aide de vos frameworks favoris et bénéficiez d’une efficacité, d’une performance et d’une qualité de pointe.
Réglage précis du modèle de base Personnalisez les modèles de base avec vos propres données pour optimiser les performances pour des applications spécifiques.

Entraîner des modèles Machine Learning classiques

Créez des modèles Machine Learning avec des outils automatisés et des environnements de développement collaboratif.

Feature Description
AutoML Créez automatiquement des modèles de haute qualité avec un code minimal à l’aide de l’ingénierie automatisée des fonctionnalités et du réglage des hyperparamètres.
Databricks Runtime pour ML Clusters préconfigurés avec TensorFlow, PyTorch, Keras et prise en charge du GPU pour le développement deep learning.
Suivi MLflow Suivez les expériences, comparez les performances du modèle et gérez le cycle de vie complet du développement de modèle.
Ingénierie des caractéristiques Créez, gérez et servez des fonctionnalités avec des pipelines de données automatisés et la découverte des fonctionnalités.
Notebooks de Databricks Environnement de développement collaboratif avec prise en charge de Python, R, Scala et SQL pour les flux de travail de ML.

Entraîner des modèles d’apprentissage profond

Utilisez des infrastructures intégrées pour développer des modèles d’apprentissage profond.

Feature Description
Formation distribuée Exemples d’apprentissage profond distribué à l’aide de Ray, TorchDistributor et DeepSpeed.
Meilleures pratiques pour l’apprentissage profond sur Databricks Meilleures pratiques pour l’apprentissage profond sur Databricks.
PyTorch Entraînement à nœud unique et distribué à l’aide de PyTorch.
TensorFlow Entraînement à nœud unique et distribué à l’aide de TensorFlow et de TensorBoard.
Solutions de référence Solutions de référence pour l’apprentissage profond.

Déployer et servir des modèles

Déployez des modèles en production avec des points de terminaison évolutifs, une inférence en temps réel et une surveillance de niveau entreprise.

Feature Description
Service de modèle Déployez des modèles personnalisés et des llMs en tant que points de terminaison REST évolutifs avec mise à l’échelle automatique et prise en charge du GPU.
Passerelle IA Régissez et surveillez l’accès aux modèles IA génératifs avec le suivi de l’utilisation, la journalisation des charges utiles et les contrôles de sécurité.
Modèles externes Intégrez des modèles tiers hébergés en dehors de Databricks avec une gouvernance et une supervision unifiées.
API de modèle Foundation Accédez aux modèles ouverts de pointe et interrogez-les, hébergés par Databricks.

Surveiller et régir les systèmes ML

Vérifiez la qualité du modèle, l’intégrité des données et la conformité avec des outils de supervision et de gouvernance complets.

Feature Description
Unity Catalogue Gérer les données, les caractéristiques, les modèles et les fonctions avec un contrôle d’accès unifié, une traçabilité de l'origine et une découverte.
Profilage des données Surveillez la qualité des données, les performances du modèle et la dérive de prédiction avec des alertes automatisées et une analyse de la cause racine.
Détection des anomalies Surveillez l’actualisation et l’exhaustivité des données au niveau du catalogue.
MLflow pour les modèles Suivez, évaluez et surveillez les applications IA génératives tout au long du cycle de vie du développement.

Production des flux de travail ML

Mettez à l’échelle les opérations de Machine Learning avec des workflows automatisés, l’intégration CI/CD et des pipelines prêts pour la production.

Feature Description
Modèles dans Unity Catalog Utilisez le registre de modèles dans le catalogue Unity pour la gouvernance centralisée et pour gérer le cycle de vie du modèle, y compris les déploiements.
Travaux Lakeflow Créez des flux de travail automatisés et des pipelines ETL prêts pour la production pour le traitement des données ML.
Ray sur Databricks Mettez à l’échelle des charges de travail ML avec l’informatique distribuée pour l’entraînement et l’inférence de modèles à grande échelle.
Flux de travail MLOps Implémentez mlOps de bout en bout avec des pipelines de formation, de test et de déploiement automatisés.
Intégration Git Contrôlez les versions de code ML et des notebooks avec une intégration Git transparente et un développement collaboratif.
  • Last updated on