Paramètres de capacité du pilote pour le pilote JDBC Databricks (Simba)

Cette page explique comment configurer des paramètres de fonctionnalité de pilote spéciaux et avancés pour le pilote JDBC Databricks.

Le pilote JDBC Databricks fournit les suivants paramètres de fonctionnalités spéciales et avancées du pilote.

• Prise en charge des requêtes ANSI SQL-92 dans JDBC
• Catalogue et schéma par défaut
• Balises de requête pour le suivi
• Extraire les résultats de requête volumineux dans JDBC
• Sérialisation Arrow dans JDBC
• Cloud Fetch dans JDBC
• Activation de la journalisation

Prise en charge des requêtes ANSI SQL-92 dans JDBC

Les pilotes JDBC Spark hérités acceptent les requêtes SQL dans le dialecte ANSI SQL-92 et les traduisent en Databricks SQL avant de les envoyer au serveur.

Si votre application génère Databricks SQL directement ou utilise une syntaxe SQL-92 non ANSI spécifique à Azure Databricks, définie UseNativeQuery=1 dans votre configuration de connexion. Ce paramètre transmet des requêtes SQL détaillées à Azure Databricks sans traduction.

Catalogue et schéma par défaut

Pour spécifier le catalogue et le schéma par défaut, ajoutez ConnCatalog=<catalog-name>;ConnSchema=<schema-name> à l’URL de connexion JDBC.

Balises de requête pour le traçage

Attachez des balises clé-valeur à vos requêtes SQL à des fins de suivi et d’analytique. Les balises de requête apparaissent dans la system.query.history table pour l’identification et l’analyse des requêtes.

Pour ajouter des balises de requête à votre connexion, incluez le ssp_query_tags paramètre dans votre URL de connexion JDBC :

jdbc:databricks://<server-hostname>:443;httpPath=<http-path>;ssp_query_tags=key1:value1,key2:value2

Définissez les balises de requête en tant que paires clé-valeur séparées par des virgules, où chaque clé et valeur est séparée par un signe deux-points. Par exemple : key1:value1,key2:value2.

Extraire les résultats de requête volumineux dans JDBC

Pour obtenir des performances optimales lorsque vous extrayez des résultats de requête volumineux, utilisez la version la plus récente du pilote JDBC qui comprend les optimisations suivantes.

Sérialisation Arrow dans JDBC

Les versions 2.6.16 et ultérieures du pilote JDBC prennent en charge un format de sérialisation des résultats de requête optimisé qui utilise Apache Arrow.

Cloud Fetch dans JDBC

Le pilote JDBC version 2.6.19 et versions ultérieures prend en charge Cloud Fetch, une fonctionnalité qui extrait les résultats des requêtes via le stockage cloud configuré dans votre déploiement Azure Databricks.

Lorsque vous exécutez une requête, Azure Databricks charge les résultats dans un emplacement de stockage DBFS interne en tant que fichiers sérialisés par flèche allant jusqu’à 20 Mo. Une fois la requête terminée, le pilote envoie des demandes de récupération et Azure Databricks retourne des signatures d’accès partagé aux fichiers chargés. Le pilote utilise ensuite ces URL pour télécharger les résultats directement à partir de DBFS.

Cloud Fetch s’applique uniquement aux résultats de requête supérieurs à 1 Mo. Le pilote récupère des résultats plus petits directement à partir d’Azure Databricks.

Azure Databricks collecte automatiquement les fichiers accumulés, les marquant pour suppression après 24 heures et les supprimant définitivement après 24 heures supplémentaires.

Pour en savoir plus sur l'architecture de Cloud Fetch, consultez Comment nous avons atteint une connectivité haute bande passante avec les outils BI.

Activation de la journalisation

Pour activer la journalisation dans le pilote JDBC, définissez la LogLevel propriété sur une valeur entre 1 (événements graves uniquement) et 6 (toutes les activités du pilote). Définissez la LogPath propriété sur le chemin complet du dossier dans lequel vous souhaitez enregistrer les fichiers journaux.

Pour plus d’informations, consultez Configuration de la journalisation dans le Guide du pilote JDBC Databricks.