Freigeben über

KI und maschinelles Lernen in Databricks

Erstellen, Bereitstellen und Verwalten von KI- und Machine Learning-Anwendungen mit Mosaik AI, einer integrierten Plattform, die den gesamten KI-Lebenszyklus von der Datenvorbereitung bis zur Produktionsüberwachung vereint.

Eine Reihe von Lernprogrammen für die ersten Schritte finden Sie unter KI- und Machine Learning-Lernprogramme.

Erstellen von generativen KI-Anwendungen

Entwickeln und Bereitstellen von generativen KI-Anwendungen auf Unternehmensniveau, z. B. fein abgestimmte LLMs, KI-Agenten und abrufoptimierte Generierung.

Feature Description
KI-Spielplatz Prototyping und Testen von generativen KI-Modellen mit no-code prompt engineering und Parameter-Optimierung.
Agent Bricks Einfacher Ansatz zum Erstellen und Optimieren von domänenspezifischen, qualitativ hochwertigen KI-Agent-Systemen für gängige KI-Anwendungsfälle.
Foundation Models Bedienen Sie modernste LLMs wie Meta Llama, Anthropic Claude und OpenAI GPT durch sichere, skalierbare APIs.
Mosaik AI Agent Framework Erstellen und Bereitstellen von Agents in Produktionsqualität, einschließlich RAG-Anwendungen und Multi-Agent-Systemen mit Python.
MLflow für GenAI Messen, verbessern und überwachen Sie die Qualität während des gesamten GenAI-Anwendungslebenszyklus mithilfe von KI-basierten Metriken und umfassender Rückverfolgbarkeit.
Vektorsuche Speichern und Abfragen von Einbettungsvektoren mit automatischer Synchronisierung mit Ihrer Wissensbasis für RAG-Anwendungen.
Serverlose GPU-Berechnung Passen Sie Deep Learning-Workloads mit einzelnen und mehreren Knoten an, um benutzerdefinierte Modelle mit Ihren bevorzugten Frameworks zu trainieren und optimieren und modernste Effizienz, Leistung und Qualität zu erzielen.
Feinabstimmung von Grundlagenmodellen Passen Sie Foundation-Modelle mit Ihren eigenen Daten an, um die Leistung für bestimmte Anwendungen zu optimieren.

Trainieren klassischer Machine Learning-Modelle

Erstellen Sie Machine Learning-Modelle mit automatisierten Tools und Entwicklungsumgebungen für die Zusammenarbeit.

Feature Description
AutoML Erstellen Sie automatisch hochwertige Modelle mit minimalem Code mit automatisiertem Feature engineering und Hyperparameter-Tuning.
Databricks Runtime für ML Vorkonfigurierte Cluster mit TensorFlow-, PyTorch-, Keras- und GPU-Unterstützung für die Deep Learning-Entwicklung.
MLflow-Nachverfolgung Verfolgen Sie Experimente, vergleichen Sie die Modellleistung und verwalten Sie den gesamten Lebenszyklus der Modellentwicklung.
Feature Engineering (Merkmalsentwicklung) Erstellung, Verwaltung und Bereitstellung von Features mit automatisierten Datenpipelines und Merkmalsentdeckung.
Databricks-Notizbücher Zusammenarbeitsentwicklungsumgebung mit Unterstützung für Python,R, Scala und SQL für ML-Workflows.

Trainieren von Deep Learning-Modellen

Verwenden Sie integrierte Frameworks, um Deep Learning-Modelle zu entwickeln.

Feature Description
Verteilte Schulung Beispiele für verteiltes Deep Learning mit Ray, TorchDistributor und DeepSpeed.
Bewährte Methoden für Deep Learning für Databricks Bewährte Methoden für Deep Learning für Databricks.
PyTorch Einzelknoten- und verteiltes Training mithilfe von PyTorch.
TensorFlow Einzelknoten- und verteilte Schulung mit TensorFlow und TensorBoard.
Referenzlösungen Referenzlösungen für Deep Learning.

Modelle bereitstellen und bedienen

Stellen Sie Modelle für die Produktion mit skalierbaren Endpunkten, Echtzeit-Rückschlüssen und Überwachung auf Unternehmensniveau bereit.

Feature Description
Modellbereitstellung Stellen Sie benutzerdefinierte Modelle und LLMs als skalierbare REST-Endpunkte mit automatischer Skalierung und GPU-Unterstützung bereit.
KI-Gateway Steuern und Überwachen des Zugriffs auf generative KI-Modelle mit Nutzungsnachverfolgung, Nutzlastprotokollierung und Sicherheitskontrollen.
Externe Modelle Integrieren Sie Modelle von Drittanbietern, die außerhalb von Databricks gehostet werden, in einheitliche Governance und Überwachung.
Foundation-Modell-APIs Greifen Sie auf hochmoderne offene Modelle zu und führen Sie Abfragen darauf aus, die von Databricks gehostet werden.

Überwachen und Steuern von ML-Systemen

Stellen Sie die Modellqualität, Datenintegrität und Compliance mit umfassenden Überwachungs- und Governancetools sicher.

Feature Description
Unity-Katalog Steuern Sie Daten, Features, Modelle und Funktionen mit einheitlicher Zugriffssteuerung, Linienverfolgung und Ermittlung.
Datenprofilerstellung Überwachen Sie die Datenqualität, die Modellleistung und die Vorhersageabweichungen mit automatisierten Warnungen und Ursachenanalyse.
Erkennung von Anomalien Überwachen Sie die Aktualität und Vollständigkeit der Daten auf Katalogebene.
MLflow für Modelle Verfolgen, Bewerten und Überwachen von generativen KI-Anwendungen während des gesamten Entwicklungslebenszyklus.

ML-Workflows produktiv machen

Skalieren Sie Machine Learning-Vorgänge mit automatisierten Workflows, CI/CD-Integration und produktionsfertigen Pipelines.

Feature Description
Modelle im Unity-Katalog Verwenden Sie die Modellregistrierung im Unity-Katalog für zentrale Governance und zum Verwalten des Modelllebenszyklus, einschließlich Bereitstellungen.
Lakeflow-Aufträge Erstellen Sie automatisierte Workflows und produktionsfähige ETL-Pipelines für die ML-Datenverarbeitung.
Ray on Databricks Skalieren Sie ML-Workloads mit verteiltem Rechnen für groß angelegte Modellschulungen und Inferenzen.
MLOps-Workflows Implementieren Sie End-to-End MLOps mit automatisierten Schulungs-, Test- und Bereitstellungspipelines.
Git-Integration Versionssteuerung von ML-Code und -Notizbüchern mit nahtloser Git-Integration und kollaborativer Entwicklung.
  • Last updated on