Veelvoorkomende problemen oplossen met delen in Delta Sharing

In de volgende secties worden veelvoorkomende fouten beschreven die kunnen optreden wanneer u toegang probeert te krijgen tot gegevens in een share.

Resourcelimiet overschreden fouten

Probleem: De query in een gedeelde tabel retourneert de fout RESOURCE_LIMIT_EXCEEDED.

• "RESOURCE_LIMIT_EXCEEDED","message":"The table metadata size exceeded limits"
• "RESOURCE_LIMIT_EXCEEDED","message":"The number of files in the table to return exceeded limits, consider contact your provider to optimize the table"

Mogelijke oorzaken: er gelden limieten voor het aantal bestanden in metagegevens dat is toegestaan voor een gedeelde tabel.

Aanbevolen oplossing: Zie RESOURCE_LIMIT_EXCEEDED fout bij het uitvoeren van query's op een Delta Sharing-tabel in de Databricks Knowledge Base voor meer informatie over het oplossen van een van deze problemen.

Probleem met gevacuümd gegevensbestand

Probleem: er wordt een foutbericht weergegeven met de uitzondering '404 De opgegeven [pad|sleutel] bestaat niet'.

Of, voorbeeld van Spark-fout:

java.lang.Throwable: HTTP request failed with status: HTTP/1.1 404 The specified path does not exist.

of

HTTP request failed with status: HTTP/1.1 404 Not Found <?xml version="1.0" encoding="UTF-8"?>
<Error><Code>NoSuchKey</Code><Message>The specified key does not exist.</Message>

Mogelijke oorzaak: normaal gesproken ziet u deze fout omdat het gegevensbestand dat overeenkomt met de vooraf ondertekende URL in de gedeelde tabel wordt leeggezogen en het gegevensbestand behoort tot een historische tabelversie.

Tijdelijke oplossing: Voer een query uit op de meest recente momentopname.

Fout bij niet-overeenkomende schema's met Open Source Spark

Probleem: Wanneer u OSS (Open Source Spark) gebruikt, ziet u een fout met niet-overeenkomende schema's bij het lezen van Delta Sharing-tabellen.

Foutvoorbeeld:

py4j.protocol.Py4JJavaError: An error occurred while calling o85.count.: org.apache.spark.SparkException: The schema or partition columns of your Delta table has changed since your DataFrame was created. Please redefine your DataFrame

Mogelijke oorzaak: het schema of de partitiekolommen van de Delta-tabel zijn gewijzigd nadat het DataFrame is gemaakt.

Aanbevolen oplossing: Stel de Spark-configuratievlag spark.delta.sharing.client.useStructuralSchemaMatch in op true:

spark.conf.set("spark.delta.sharing.client.useStructuralSchemaMatch", "true")

Probleem met de configuratie van het opslagnetwerk

Probleem: u ziet een foutbericht dat een SSLCertVerificationError.

Voorbeeld van Spark-fout:

ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1006)

Mogelijke oorzaak: deze fout wordt meestal weergegeven omdat er een netwerkbeperking is op de opslaglocatie van de gedeelde tabel of het gedeelde volume.

Aanbevolen oplossing: Sta in de interface van de opslagprovider toegang tot de opslaglocatie toe door het IP-adres van de client toe te staan in de firewallinstellingen van het opslagaccount.

Probleem met toegang tot gedeelde materialisatie-assets

Probleem: De query in een gedeelde weergave, gematerialiseerde weergave of streamingtabel retourneert de fout DS_MATERIALIZATION_QUERY_FAILED.

"DS_MATERIALIZATION_QUERY_FAILED": "The shared asset could not be materialized due to the asset not being accessible in the materialization workspace. Please ask data provider to contact :re[DB] support to override the materialization workspace."

Mogelijke oorzaken: de provider heeft geen lees-/schrijftoegang tot de asset die ze proberen te delen.

Aanbevolen oplossing: neem contact op met uw gegevensprovider om ervoor te zorgen dat ze lees-/schrijftoegang hebben tot de gedeelde gegevensasset.

Fout bij netwerktoegang tijdens gegevens materialisatie

Probleem: Uw query op een gedeelde data asset retourneert een fout bij toegang tot de cloudopslag van de gegevensprovider.

There was an issue accessing the data provider's cloud storage. Shared view materialization uses the Serverless compute of data provider's region to perform the materialization. Please contact the data provider to allowlist Serverless compute IPs of their corresponding region to access the view's dependent tables storage location.

Mogelijke oorzaken: de opslaglocatie voor de gerealiseerde gegevens heeft netwerkbeperkingen (zoals een firewall of private link) die verhinderen dat serverloze compute van Azure Databricks toegang heeft tot deze gegevens. Wanneer u weergaven, gematerialiseerde weergaven of streamingtabellen deelt, worden de gegevens tijdelijk bij de provider gematerialiseerd. De opslaglocatie voor materialisatie is het bovenliggende schema of de catalogusopslaglocatie van het bestand.

Aanbevolen oplossing: de gegevensprovider moet serverloze reken-IP-adressen van hun bijbehorende regio toestaan voor toegang tot de opslaglocatie van de afhankelijke tabellen van de weergave. Zie Een firewall configureren voor serverloze rekentoegang om uw firewall te configureren.