Naslaginformatie voor systeemtabel Zerobus Ingest

Dit artikel is een referentie voor de zerobus-systeemtabellen, die Zerobus Ingest-activiteit in uw werkruimte bijhouden. Deze tabellen bevatten uw accountrecords uit alle werkruimten in dezelfde regio. Als u records uit een andere regio wilt zien, moet u de tabellen bekijken uit een werkruimte die in die regio is geïmplementeerd.

Requirements

• Voor toegang tot deze systeemtabellen moeten gebruikers het volgende doen:
  • Zowel een metastore-beheerder als een werkruimtebeheerder zijn, of
  • Beschikken over USE- en SELECT machtigingen voor de systeemschema's. Zie Verleen toegang tot systeemtabellen.

Beschikbare Ingest-tabellen van Zerobus

Alle Zerobus Ingest-gerelateerde systeemtabellen leven in het system.lakeflow schema. Dit omvat de volgende tabellen:

Schemareferentie voor zerobus-streamtabel

In de zerobus_stream tabel worden alle gegevens opgeslagen die betrekking hebben op streamgebeurtenissen die zijn gemaakt door het gebruik van Zerobus Ingest. Dit omvat gebeurtenissen die optreden wanneer een stream wordt gemaakt, wanneer er een fout optreedt tijdens de levensduur van de stream en wanneer een stream wordt gesloten.

Tabelpad: system.lakeflow.zerobus_stream

Voorbeeldquery's voor de streamtabel

De volgende query retourneert het aantal momenteel geopende streams voor een opgegeven tabel:

SELECT COUNT(stream.stream_id)
FROM system.lakeflow.zerobus_stream AS stream
WHERE stream.table_id=:table_id AND stream.closed_time IS NULL AND stream.opened_time > CURRENT_TIMESTAMP - INTERVAL '15 minutes'

De volgende query retourneert de id's van alle streams die een fout hebben veroorzaakt:

SELECT DISTINCT(stream.stream_id)
FROM system.lakeflow.zerobus_stream AS stream
WHERE size(stream.errors) > 0

Naslaginformatie over tabelschema's van Zerobus opnemen

In de zerobus_ingest tabel worden alle gegevens opgeslagen die zijn opgenomen met behulp van Zerobus Ingest. Deze gegevens zijn niet gedetailleerd op recordniveau. De gegevens worden geaggregeerd door batches die naar de Delta-tabel zijn geschreven, geïdentificeerd met behulp van de commit_version.

Tabelpad: system.lakeflow.zerobus_ingest

Voorbeeldquery's voor de opnametabel

Met de volgende query wordt de gemiddelde invoegsnelheid voor elke tabel tijdens een opgegeven tijdsbereik opgehaald:

SELECT ingest.table_id AS table_id, SUM(ingest.committed_bytes) / (SECONDS(:end_timestamp - :start_timestamp)) AS average_insertion_rate
FROM system.lakeflow.zerobus_ingest AS ingest
WHERE ingest.commit_time >= :start_timestamp AND ingest.commit_time <= :end_timestamp
GROUP BY ingest.table_id

Met de volgende query wordt de totale hoeveelheid gegevens en records opgehaald die tijdens een opgegeven tijdsbereik in een tabel zijn opgenomen:

SELECT SUM(ingest.committed_bytes) as 'Total data', SUM(ingest.committed_records) as 'Total records'
FROM system.lakeflow.zerobus_ingest AS ingest
WHERE ingest.commit_time >= :start_timestamp AND ingest.commit_time <= :end_timestamp AND ingest.table_name = :table_name

Foutenreferentie

Zowel de stream- als opnametabellen bevatten een errors kolom, die een matrix met fouten bevat die zijn opgetreden tijdens de stream of opname, waarbij elk element een afzonderlijke fout vertegenwoordigt. Deze matrixelementen worden vastgelegd als objecten met de volgende velden:

Algemene koppelingspatronen

De volgende query laat zien hoe u de stream kunt samenvoegen en tabellen kunt opnemen om alle tabellen te retourneren die vanuit één werkruimte zijn geschreven.

SELECT DISTINCT(stream.table_id)
FROM system.lakeflow.zerobus_stream AS stream INNER JOIN system.lakeflow.zerobus_ingest AS ingest ON (stream_id)
WHERE stream.workspace_id=:workspace_id