Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Belangrijk
De verouderde documentatie voor queryfederatie is verwijderd en zal waarschijnlijk niet meer worden bijgewerkt. De configuraties die in deze inhoud worden genoemd, worden niet officieel goedgekeurd of getest door Databricks. Als Lakehouse Federation uw brondatabase ondersteunt, raadt Databricks dat aan.
Met de Apache Spark-connector voor Azure SQL Database en SQL Server kunnen deze databases fungeren als invoergegevensbronnen en uitvoergegevenssinks voor Apache Spark-taken. Hiermee kunt u transactionele gegevens in realtime gebruiken bij de analyse van big data en resultaten vastleggen voor ad-hocquery's of rapportage.
Vergeleken met de ingebouwde JDBC-connector biedt deze connector de mogelijkheid om gegevens bulksgewijs in te voegen in SQL-databases. Het kan rij-voor-rij invoeging overtreffen met een 10x tot 20x snellere prestatie. De Spark-connector voor SQL Server en Azure SQL Database biedt ook ondersteuning voor Microsoft Entra ID-verificatie, zodat u veilig verbinding kunt maken met uw Azure SQL-databases vanuit Azure Databricks met behulp van uw Microsoft Entra ID-account. Het biedt interfaces die vergelijkbaar zijn met de ingebouwde JDBC-connector. U kunt uw bestaande Spark-taken eenvoudig migreren om deze connector te gebruiken.
Behoeften
Er zijn twee versies van de Spark-connector voor SQL Server: één voor Spark 2.4 en één voor Spark 3.x. Voor de Spark 3.x-connector is Databricks Runtime 7.x of hoger vereist. De connector wordt door de community ondersteund en bevat geen Ondersteuning voor Microsoft SLA. Dien eventuele problemen op GitHub in om contact op te nemen met de community voor hulp.
| Onderdeel | Ondersteunde versies |
|---|---|
| Apache Spark | 3.0.x en 2.4x |
| Databricks Runtime | Apache Spark 3.0-connector: Databricks Runtime 7.x en hoger |
| Scala | Apache Spark 3.0-connector: 2.12 Apache Spark 2.4-connector: 2.11 |
| Microsoft JDBC-stuurprogramma voor SQL Server | 8.2 |
| Microsoft SQL Server | SQL Server 2008 en hoger |
| Azure SQL Database | Ondersteund |
De Spark-connector gebruiken
Zie De Apache Spark-connector: SQL Server & Azure SQL voor instructies over het gebruik van de Spark-connector.