Partager via


Exécuter des requêtes fédérées sur Snowflake (ID Microsoft Entra)

Cette page explique comment configurer Lakehouse Federation pour exécuter des requêtes fédérées sur des données Snowflake qui ne sont pas gérées par Azure Databricks. Pour en savoir plus sur lakehouse Federation, consultez Qu’est-ce que la Fédération Lakehouse ?

Pour vous connecter à votre base de données Snowflake avec Lakehouse Federation, vous devez créer les éléments suivants dans votre metastore Azure Databricks Unity Catalog :

  • Une connexion à votre base de données Snowflake.
  • Un catalogue étranger qui met en miroir votre base de données Snowflake dans Unity Catalog pour vous puissiez utiliser la syntaxe de requête et les outils de gouvernance des données Unity Catalog, afin de gérer l’accès utilisateur Azure Databricks à la base de données.

Cette page explique comment exécuter des requêtes fédérées sur des données Snowflake à l’aide de l’ID Microsoft Entra en tant que fournisseur OAuth externe. Il couvre les flux U2M (code d’autorisation) et M2M (informations d’identification du client).

Pour obtenir d’autres méthodes d’authentification, consultez les pages suivantes :

Vous pouvez exécuter des requêtes fédérées sur Snowflake à l’aide de la fédération de requêtes ou de la fédération de catalogue.

Dans la fédération de requête, JDBC envoie (push) la requête catalogue Unity vers le bas vers la base de données externe. Cela est idéal pour les rapports à la demande ou les travaux de preuve de concept sur vos pipelines ETL.

Dans la fédération de catalogue, la requête Catalogue Unity s’exécute directement sur le stockage de fichiers. Cette approche est utile pour la migration incrémentielle sans adaptation du code ou en tant que modèle hybride à long terme pour les organisations qui doivent conserver certaines données dans Snowflake en même temps que leurs données inscrites dans le catalogue Unity. Voir Activer la fédération du catalogue Snowflake.

Avant de commencer

Conditions requises pour l’espace de travail :

  • Espace de travail activé pour Unity Catalog.

Voici les exigences de calcul à respecter :

  • Connectivité réseau de votre ressource de calcul aux systèmes de base de données cibles. Consultez l’article Recommandations de mise en réseau pour Lakehouse Federation.
  • Le calcul Azure Databricks doit utiliser Databricks Runtime 13.3 LTS ou ultérieur et le mode d’accès Standard ou Dédié .
  • Les entrepôts SQL doivent être pro ou serverless et doivent utiliser la version 2023.40 ou ultérieure.

Autorisations requises :

  • Pour créer une connexion, vous devez être un administrateur de metastore ou un utilisateur disposant du privilège CREATE CONNECTION sur le metastore Unity Catalog attaché à l’espace de travail.
  • Pour créer un catalogue étranger, vous devez disposer de l’autorisation CREATE CATALOG sur le metastore et être le propriétaire de la connexion ou disposer du privilège CREATE FOREIGN CATALOG sur la connexion.

Des exigences d’autorisation supplémentaires sont spécifiées dans chaque section basée sur les tâches qui suit.

Qu’est-ce que OAuth externe dans Snowflake ?

OAuth externe est une méthode d’authentification qui vous permet d’utiliser des serveurs externes qui utilisent OAuth 2.0 pour accéder à Snowflake. Au lieu d’un utilisateur ou d’une application qui se connecte directement à Snowflake, il s’authentifie auprès du fournisseur OAuth (par exemple, Okta, Microsoft Entra ID ou PingFederate).

Le fournisseur OAuth émet ensuite un jeton d’accès, que Databricks présente à Snowflake. Snowflake vérifie ensuite la signature et les revendications du jeton avec l’intégration de sécurité configurée, en accordant l'accès.

Déterminer un flux OAuth

Pour choisir le flux OAuth approprié pour votre connecteur Snowflake, vous devez comprendre les deux types principaux : U2M (utilisateur à machine) et M2M (machine à ordinateur).

U2M est un flux d’autorisation dans lequel l’application (Azure Databricks) reçoit l’autorisation d’agir pour le compte de l’utilisateur. Ce flux est interactif, ce qui signifie que l’utilisateur est invité à se connecter lors de la création d’une connexion étrangère et que l’application reçoit un jeton d’accès limité aux autorisations de l’utilisateur.

M2M est un flux non interactif utilisé lorsqu’une application doit accéder directement aux ressources sans intervention de l’utilisateur. Dans ce flux, l’application doit être inscrite dans le fournisseur OAuth avec un ensemble d’autorisations, indépendamment de tout utilisateur spécifique.

Dans un espace de travail Azure Databricks, OAuth fait référence à l’authentification U2M et OAuth Machine à machine fait référence à l’authentification M2M.

Configurer Microsoft Entra ID

La configuration d’Entra exacte dépend des besoins et des stratégies de votre entreprise. Les étapes décrites dans ces sections et les sections suivantes servent de guide pour vous permettre d’effectuer une configuration OAuth fonctionnelle et de représenter un exemple simple et fonctionnel, et non une ressource Entra exhaustive. Reportez-vous à la documentation Azure pour obtenir une couverture approfondie de leur plateforme et de leurs fonctionnalités.

Configurer l’application de ressource OAuth

L’application de ressource représente Snowflake dans l’ID Microsoft Entra et définit les autorisations (étendues) que les clients peuvent demander.

  1. Connectez-vous au portail Microsoft Azure.
  2. Accédez à Microsoft Entra ID et notez l’ID de locataire dans la section Vue d’ensemble. Nous allons faire référence à cette valeur comme <TENANT_ID> dans le futur.
  3. Développez la liste déroulante Gérer , accédez aux inscriptions d’applications, puis cliquez sur Nouvelle inscription.
    1. Entrez un nom descriptif, par exemple « Snowflake OAuth Resource ».
    2. Sélectionnez Comptes dans cet annuaire organisationnel uniquement (Répertoire par défaut uniquement - Locataire unique) pour les types de comptes pris en charge.
    3. Cliquez sur S'inscrire.
  4. Dans la section Vue d’ensemble de l’inscription de l’application nouvellement créée, notez la valeur de l’ID d’application (ID client) , celle-ci sera référencée à l’avenir en tant que .
  5. Accédez à Exposer une API dans le tiroir à gauche, puis cliquez sur Ajouter près de l’URI d’ID d’application en haut. La valeur par défaut doit être du format api://<RESOURCE_APP_ID> et elle fonctionnera comme revendication d’audience OAuth. Vous pouvez à la place définir une valeur contenant le domaine de votre organisation, comme https://yourorg.onmicrosoft.com/<RESOURCE_APP_ID> (voir Restrictions sur les URI d’identificateur des applications Microsoft Entra). Enregistrez la valeur finale, nous allons la désigner comme <SNOWFLAKE_APPLICATION_ID_URI> lors de la configuration de l’intégration de la sécurité.
  6. (U2M uniquement) Dans la section Exposer une API , cliquez sur Ajouter une étendue.
    1. Entrez le nom de votre rôle Snowflake avec le session:role: préfixe comme nom d’étendue. Par exemple : session:role:analyst.
    2. Sélectionnez qui peut donner son consentement.
    3. Entrez le nom d’affichage du consentement de l’administrateur, par exemple Account Admin.
    4. Entrez la description du consentement de l’administrateur, par exemple, peut administrer le compte Snowflake.
    5. Enfin, cliquez sur Ajouter une étendue.
  7. (M2M uniquement) Accédez aux rôles d’application, puis cliquez sur Créer un rôle d’application.
    1. Nom d'affichage : entrez un nom, il peut correspondre à la valeur du rôle, dans notre cas, PUBLIC.
    2. Types de membres autorisés : choisissez Applications.
    3. Valeur : sélectionnez l’étendue, nous allons utiliser session:role:PUBLIC.
    4. Description : entrez une description. Dans l’idéal, vous devez décrire le niveau d’accès fourni par le rôle.
    5. Voulez-vous activer le rôle de cette application ? Vérifiez que votre rôle est activé en sélectionnant la coche.
    6. Cliquez sur Appliquer.

Créer une application cliente OAuth

L’application cliente représente le client (Azure Databricks) qui se connecte à Snowflake pour obtenir des jetons.

  1. Accédez à nouveau aux inscriptions d’applications , puis cliquez sur Nouvelle inscription.
    1. Entrez un nom descriptif, par exemple « Snowflake OAuth Client ».
    2. Pour les types de comptes pris en charge, sélectionnez Comptes dans cet annuaire organisationnel uniquement (Répertoire par défaut uniquement - Locataire unique).
    3. Cliquez sur S'inscrire.
  2. Dans la section Vue d’ensemble, copiez et enregistrez le champ ID d’application (client). Cette valeur sera appelée <CLIENT_ID> ultérieurement lors de la configuration de la connexion dans Azure Databricks.
  3. (M2M uniquement) Cliquez sur le lien en regard de l’application gérée dans le répertoire local. Copiez et enregistrez la valeur dans le champ ID d’objet . Dans les prochaines étapes, nous allons nous référer à ceci : <CLIENT_OBJECT_ID> il sera nécessaire de créer un mappage entre le client et l’intégration de la sécurité dans Snowflake.
  4. Revenez en arrière et développez la liste déroulante Gérer . Accédez à Certificats et secrets, puis cliquez sur Nouveau secret client.
    1. Choisissez une description, par exemple Azure Databricks Client Secret
    2. Choisissez l’expiration du secret en fonction de vos besoins. Une fois le secret expiré, vous devez en créer un dans Entra et mettre à jour la connexion dans Azure Databricks.
    3. Cliquez sur Ajouter ci-dessous.
    4. Une fois ajouté, copiez et stockez en toute sécurité la valeur dans la colonne Valeur . Vous ne pourrez plus le voir après avoir quitté la page. Nous allons faire référence à cette valeur comme <CLIENT_SECRET> lors de la création d’une connexion dans Azure Databricks.
  5. Accédez aux autorisations d’API, puis cliquez sur Ajouter une autorisation.
    1. Accédez à l’onglet APIs utilisées par mon organisation.
    2. Recherchez l’application de ressource que vous avez créée dans la section précédente, puis cliquez dessus.
    3. (U2M uniquement) Cliquez sur le bouton Autorisations déléguées volumineuses , puis sélectionnez le rôle que vous avez créé à l’étape précédente sous Autorisations.
    4. (M2M uniquement) Cliquez sur le bouton Autorisations d’application volumineuse, puis sélectionnez le rôle que vous avez créé à l’étape précédente sous Autorisations.
    5. Cliquez sur Ajouter des autorisations.
  6. Enfin, cliquez sur Accorder le consentement administrateur pour l’annuaire par défaut.
  7. (U2M uniquement) La dernière étape consiste à configurer un URI de redirection. Lorsque vous lancez le processus de connexion Entra à partir d’Azure Databricks, l’URL de redirection indique à Entra quelle page Azure Databricks doit revenir si la connexion a réussi.
    1. Dans la liste déroulante Gérer , accédez à la section Authentification .
    2. Cliquez sur Ajouter une plateforme et choisissez application web.
    3. Entrez un URI de redirection au https://<YOUR_DATABRICKS_WORKSPACE>/login/oauth/snowflake.html format.
    4. Cliquez sur Configurer.

Créer une intégration de sécurité dans Snowflake

Cette étape configure une intégration de sécurité dans Snowflake afin qu’elle puisse communiquer en toute sécurité avec l’ID Entra, valider les jetons d’ID Entra et fournir l’accès aux données approprié en fonction du rôle associé au jeton d’accès OAuth.

Flux utilisateur à machine

  1. Connectez-vous à votre compte Snowflake en tant qu’utilisateur avec le rôle ACCOUNTADMIN.

  2. Exécutez la commande CREATE SECURITY INTEGRATION. Par exemple:

    CREATE SECURITY INTEGRATION <ENTRA_U2M_SECURITY_INTEGRATION_NAME>
    TYPE = EXTERNAL_OAUTH
    ENABLED = TRUE
    EXTERNAL_OAUTH_TYPE = AZURE
    EXTERNAL_OAUTH_ISSUER = 'https://sts.windows.net/<TENANT_ID>/'
    EXTERNAL_OAUTH_JWS_KEYS_URL = 'https://login.microsoftonline.com/<TENANT_ID>/discovery/v2.0/keys'
    EXTERNAL_OAUTH_AUDIENCE_LIST = ('<SNOWFLAKE_APPLICATION_ID_URI>')
    EXTERNAL_OAUTH_TOKEN_USER_MAPPING_CLAIM = 'email'
    EXTERNAL_OAUTH_SNOWFLAKE_USER_MAPPING_ATTRIBUTE = 'EMAIL_ADDRESS';
    

    L’exemple utilise la revendication de mappage et l’attribut e-mail. Cela nécessite que votre e-mail de l’utilisateur Snowflake corresponde à l’e-mail dans le locataire Azure.

    ALTER USER <SNOWFLAKE_USER> SET EMAIL = '<YOUR_EMAIL>';
    

    Il est possible d’utiliser différentes revendications, en fonction de vos besoins.

Flux machine à machine

  1. Connectez-vous à votre compte Snowflake en tant qu’utilisateur avec le rôle ACCOUNTADMIN.

  2. Exécutez la commande CREATE SECURITY INTEGRATION. Par exemple:

    CREATE OR REPLACE SECURITY INTEGRATION <ENTRA_M2M_SECURITY_INTEGRATION_NAME>
    TYPE = EXTERNAL_OAUTH
    ENABLED = TRUE
    EXTERNAL_OAUTH_TYPE = AZURE
    EXTERNAL_OAUTH_ISSUER = 'https://sts.windows.net/<TENANT_ID>/'
    EXTERNAL_OAUTH_JWS_KEYS_URL = 'https://login.microsoftonline.com/<TENANT_ID>/discovery/v2.0/keys'
    EXTERNAL_OAUTH_AUDIENCE_LIST = ('<SNOWFLAKE_APPLICATION_ID_URI>')
    EXTERNAL_OAUTH_TOKEN_USER_MAPPING_CLAIM = 'sub'
    EXTERNAL_OAUTH_SNOWFLAKE_USER_MAPPING_ATTRIBUTE = 'login_name';
    

    Vous devez créer un utilisateur non humain dans Snowflake pour représenter le client qui se connecte à la base de données. Cette étape est requise pour que Snowflake puisse vérifier et mapper un utilisateur à l’application cliente représentant Azure Databricks dans l’ID Azure Entra.

    CREATE OR REPLACE USER <ENTRA_M2M_CLIENT_USER>
    LOGIN_NAME = '<CLIENT_OBJECT_ID>'
    DEFAULT_ROLE = 'PUBLIC';
    

Créer une connexion

Une connexion spécifie un chemin d’accès et des informations d’identification pour accéder à un système de base de données externe. Pour créer une connexion, vous pouvez utiliser l’Explorateur de catalogues ou la commande SQL CREATE CONNECTION dans un notebook Azure Databricks ou l’éditeur de requête SQL Databricks.

Remarque

Vous pouvez également utiliser l’API REST Databricks ou l’interface CLI Databricks pour créer une connexion. Consultez POST /api/2.1/unity-catalog/connections et Commandes Unity Catalog.

Autorisations requises : administrateur de metastore ou utilisateur disposant du privilège CREATE CONNECTION.

Flux utilisateur à machine

  1. Dans votre espace de travail Azure Databricks, cliquez sur l’icône Données.Catalogue.

  2. En haut du volet Catalogue, cliquez sur l’icône Ajouter ou icône PlusAjouter, puis sélectionnez Ajouter une connexion dans le menu.

    Sinon, dans la page Accès rapide, cliquez sur le bouton Données externes >, accédez à l’onglet Connexions, puis cliquez sur Créer une connexion.

  3. Dans la page de Informations de base de connexion de l’assistant Configurer la connexion, entrez un Nom de connexion convivial.

  4. Sélectionnez le type de connexion de Snowflake.

  5. Pour le type d’authentification, sélectionnez-le OAuth dans le menu déroulant.

  6. (Facultatif) Ajoutez un commentaire.

  7. Cliquez sur Suivant.

  8. Entrez les informations d’authentification et de connexion suivantes pour votre entrepôt Snowflake.

    • hôte : par exemple, snowflake-demo.east-us-2.azure.snowflakecomputing.com

    • Port: par exemple, 443

    • Utilisateur : par exemple, snowflake-user

    • Point de terminaison d’autorisation : https://login.microsoftonline.com/<TENANT_ID>/oauth2/v2.0/authorize

    • Clé secrète client : clé secrète client que vous avez enregistrée lors de la création de l’intégration de la sécurité.

    • ID client : ID client que vous avez enregistré lors de la création de l’intégration de la sécurité.

    • Étendue OAuth : api://<RESOURCE_APP_ID>/.default offline_access

    • Fournisseur OAuth : Azure Entra ID

    • Connectez-vous avec l’ID Microsoft Entra : cliquez et connectez-vous à Snowflake à l’aide de vos informations d’identification Microsoft.

      Une fois la connexion validée, vous êtes redirigé vers l’assistant Configuration de la connexion.

  9. Cliquez sur Create connection (Créer la connexion).

  10. Sur la pageConcepts de base du catalogue, saisissez un nom pour le catalogue étranger. Un catalogue étranger reflète une base de données dans un système de données externe afin que vous puissiez interroger et gérer l’accès aux données de cette base de données à l’aide d’Azure Databricks et Unity Catalog.

  11. (Facultatif) Cliquez sur Tester la connexion pour vérifier qu’elle fonctionne.

  12. Cliquez sur Créer un catalogue.

  13. Dans la page Access, sélectionnez les espaces de travail dans lesquels les utilisateurs peuvent accéder au catalogue que vous avez créé. Vous pouvez sélectionner Tous les espaces de travail ont accès, ou cliquer sur Affecter aux espaces de travail, sélectionner les espaces de travail, puis cliquer sur Attribuer.

  14. Changez le propriétaire qui pourra gérer l'accès à tous les objets du catalogue. Commencez à taper un responsable dans la zone de texte, puis cliquez sur le responsable dans les résultats affichés.

  15. Accordez des privilèges sur le catalogue. Cliquez sur Octroyer :

    1. Spécifiez les Principaux qui auront accès aux objets du catalogue. Commencez à taper un responsable dans la zone de texte, puis cliquez sur le responsable dans les résultats affichés.
    2. Sélectionnez les Préréglages de privilège à accorder pour chaque principal. Tous les utilisateurs d'un compte reçoivent BROWSE par défaut.
      • Sélectionnez Lecteur de données dans le menu déroulant pour accorder des privilèges read aux les objets du catalogue.
      • Sélectionnez Éditeur de données dans le menu déroulant pour accorder read et modify privilèges sur les objets du catalogue.
      • Sélectionnez manuellement les privilèges à accorder.
    3. Cliquez sur Accorder.
  16. Cliquez sur Suivant.

  17. Sur la page Métadonnées, indiquez des paires clé-valeur pour les balises. Pour plus d’informations, consultez Appliquer des étiquettes aux objets sécurisables du catalogue Unity.

  18. (Facultatif) Ajoutez un commentaire.

  19. Cliquez sur Enregistrer.

Flux machine à machine - Explorateur de catalogues

  1. Dans votre espace de travail Azure Databricks, cliquez sur l’icône Données.Catalogue.

  2. En haut du volet Catalogue, cliquez sur l’icône Ajouter ou icône PlusAjouter, puis sélectionnez Ajouter une connexion dans le menu.

    Sinon, dans la page Accès rapide, cliquez sur le bouton Données externes >, accédez à l’onglet Connexions, puis cliquez sur Créer une connexion.

  3. Dans la page de Informations de base de connexion de l’assistant Configurer la connexion, entrez un Nom de connexion convivial.

  4. Sélectionnez le type de connexion de Snowflake.

  5. Pour le type d’authentification, sélectionnez-le OAuth Machine to Machine dans le menu déroulant.

  6. (Facultatif) Ajoutez un commentaire.

  7. Cliquez sur Suivant.

  8. Entrez les détails d’authentification suivants pour votre connexion.

    • hôte : par exemple, snowflake-demo.east-us-2.azure.snowflakecomputing.com
    • Port: par exemple, 443
    • Point de terminaison de métadonnées Openid : https://login.microsoftonline.com/<TENANT_ID>/v2.0/.well-known/openid-configuration
    • Clé secrète client : clé secrète client que vous avez enregistrée lors de la création de l’intégration de la sécurité.
    • ID client : ID client que vous avez enregistré lors de la création de l’intégration de la sécurité.
    • Étendue OAuth : api://<RESOURCE_APP_ID>/.default
  9. Cliquez sur Suivant.

  10. Entrez les détails de connexion suivants pour votre connexion :

    • Entrepôt Snowflake : nom de l’entrepôt que vous souhaitez utiliser.
    • (Facultatif) Hôte du proxy : l'hôte du proxy utilisé pour se connecter à Snowflake. Vous devez également sélectionner Utiliser le proxy et spécifier le port proxy.
    • (Facultatif) Utiliser le proxy : indique s’il faut se connecter à Snowflake à l’aide d’un serveur proxy.
    • (Facultatif) Port proxy : port du proxy utilisé pour se connecter à Snowflake. Vous devez également sélectionner Utiliser le proxy et spécifier l’hôte proxy.
    • (Facultatif) Rôle Snowflake : rôle de sécurité par défaut à utiliser pour la session après la connexion.
  11. Cliquez sur Create connection (Créer la connexion).

  12. Sur la pageConcepts de base du catalogue, saisissez un nom pour le catalogue étranger. Un catalogue étranger reflète une base de données dans un système de données externe afin que vous puissiez interroger et gérer l’accès aux données de cette base de données à l’aide d’Azure Databricks et Unity Catalog.

  13. (Facultatif) Cliquez sur Tester la connexion pour vérifier qu’elle fonctionne.

  14. Cliquez sur Créer un catalogue.

  15. Dans la page Access, sélectionnez les espaces de travail dans lesquels les utilisateurs peuvent accéder au catalogue que vous avez créé. Vous pouvez sélectionner Tous les espaces de travail ont accès, ou cliquer sur Affecter aux espaces de travail, sélectionner les espaces de travail, puis cliquer sur Attribuer.

  16. Changez le propriétaire qui pourra gérer l'accès à tous les objets du catalogue. Commencez à taper un responsable dans la zone de texte, puis cliquez sur le responsable dans les résultats affichés.

  17. Accordez des privilèges sur le catalogue. Cliquez sur Octroyer :

    1. Spécifiez les Principaux qui auront accès aux objets du catalogue. Commencez à taper un responsable dans la zone de texte, puis cliquez sur le responsable dans les résultats affichés.
    2. Sélectionnez les Préréglages de privilège à accorder pour chaque principal. Tous les utilisateurs d'un compte reçoivent BROWSE par défaut.
      • Sélectionnez Lecteur de données dans le menu déroulant pour accorder des privilèges read aux les objets du catalogue.
      • Sélectionnez Éditeur de données dans le menu déroulant pour accorder read et modify privilèges sur les objets du catalogue.
      • Sélectionnez manuellement les privilèges à accorder.
    3. Cliquez sur Accorder.
  18. Cliquez sur Suivant.

  19. Sur la page Métadonnées, indiquez des paires clé-valeur pour les balises. Pour plus d’informations, consultez Appliquer des étiquettes aux objets sécurisables du catalogue Unity.

  20. (Facultatif) Ajoutez un commentaire.

  21. Cliquez sur Enregistrer.

Flux machine à machine - SQL

Exécutez la commande suivante dans un notebook ou dans l’éditeur de requête SQL Databricks.

CREATE CONNECTION <connection-name>
TYPE SNOWFLAKE
OPTIONS (
  host '<hostname>',
  port '443',
  sfWarehouse '<warehouse-name>',
  client_id '<client-id>',
  client_secret '<client-secret>',
  openid_metadata_endpoint '<oidc-metadata-endpoint>',
  oauth_scope 'session:role:PUBLIC'
);

Vous pouvez ensuite créer un catalogue étranger à l’aide de la nouvelle connexion en exécutant la commande suivante :

CREATE FOREIGN CATALOG <catalog-name>
USING CONNECTION <connection-name>
OPTIONS (database = '<database>');

Identificateurs sensibles à la casse de la base de données

Le champ database du catalogue étranger est mappé à un identificateur de la base de données Snowflake. Si l’identificateur de la base de données Snowflake n’est pas sensible à la casse, celle utilisée dans le catalogue étranger <database-name> est conservée. Toutefois, si l’identificateur de la base de données Snowflake est sensible à la casse, vous devez encapsuler le catalogue étranger <database-name> entre guillemets doubles pour conserver la casse.

Par exemple:

  • database est converti en DATABASE

  • "database" est converti en database

  • "database""" est converti en database"

    Pour échapper à un guillemet double, utilisez-en un autre.

  • "database"" entraîne une erreur, car le guillemet double n’est pas correctement échappé.

Pour plus d’informations, consultez Spécifications de l’identificateur dans la documentation Snowflake.

Pushdowns pris en charge

Les pushdowns suivants sont pris en charge :

  • Filtres
  • Prévisions
  • Limite
  • Jointures
  • Agrégats (Average, Corr, CovPopulation, CovSample, Count, Max, Min, StddevPop, StddevSamp, Sum, VariancePop, VarianceSamp)
  • Fonctions (fonctions de chaîne, fonctions mathématiques, données, fonctions Time et Timestamp, et autres fonctions diverses, telles qu'Alias, Cast, SortOrder)
  • Fonctions Windows (DenseRank, Rank, RowNumber)
  • Tri

Mappages de types de données

Lorsque vous lisez de Snowflake vers Spark, les types de données sont mappés comme suit :

Type Snowflake Type Spark
décimal, nombre, numérique DecimalType
bigint, byteint, int, integer, smallint, tinyint IntegerType
float, float4, float8 FloatType
double, double précision, réelle DoubleType
char, caractère, chaîne, texte, heure, varchar StringType
binaire TypeBinaire
boolean Type Booléen
date DateType
datetime, timestamp, timestamp_ltz, timestamp_ntz, timestamp_tz TimestampType

Limites

  • Le point de terminaison OAuth Snowflake doit être accessible à partir des adresses IP du plan de contrôle Azure Databricks. Consultez les adresses IP sortantes à partir du plan de contrôle Azure Databricks. Snowflake prend en charge la configuration des stratégies réseau au niveau de l’intégration de la sécurité, ce qui permet une stratégie réseau distincte qui permet une connectivité directe du plan de contrôle Azure Databricks au point de terminaison OAuth pour l’autorisation.