read_kinesis functie met tabelwaarde streamen

Van toepassing op: Databricks SQL Databricks Runtime 13.3 LTS en hoger

Retourneert een tabel met records die zijn gelezen uit Kinesis uit een of meer streams.

Syntaxis

read_kinesis ( { parameter => value } [, ...] )

Argumenten

read_kinesis vereist de aanroep met benoemde parameters.

Het enige vereiste argument is streamName. Alle andere argumenten zijn optioneel.

De beschrijvingen van de argumenten zijn hier kort. Zie de Amazon Kinesis-documentatie voor meer informatie.

Er zijn meerdere manieren om verbinding te maken en te verifiëren met AWS. De aanbevolen methode is om een Databricks-servicereferentie te maken en op te geven met behulp van de serviceCredential optie. U kunt ook verifiëren met awsAccessKey en awsSecretKey. Deze opties kunnen worden opgegeven in de functieargumenten met behulp van de secret functie, handmatig in de argumenten worden ingesteld of geconfigureerd als omgevingsvariabelen zoals hieronder wordt aangegeven. roleArn roleExternalID, roleSessionNamekan ook worden gebruikt voor verificatie met AWS met behulp van exemplaarprofielen. Als geen van deze is opgegeven, wordt de standaardketen van de AWS-provider gebruikt.

De volgende argumenten worden gebruikt voor het beheren van de leesdoorvoer en latentie voor Kinesis:

Retouren

Een tabel met Kinesis-records met het volgende schema:

De kolommen (stream, shardId, sequenceNumber) vormen een primaire sleutel.

Voorbeelden

-- Streaming Ingestion from Kinesis
> CREATE STREAMING TABLE testing.streaming_table AS
    SELECT * FROM STREAM read_kinesis (
        streamName => 'test_databricks',
        awsAccessKey => secret('test-databricks', 'awsAccessKey'),
        awsSecretKey => secret('test-databricks', 'awsSecretKey'),
        initialPosition => 'earliest');

-- The data would now need to be queried from the testing.streaming_table

-- A streaming query when the environment variables already contain AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY configured
> CREATE STREAMING TABLE testing.streaming_table AS
    SELECT * FROM STREAM read_kinesis (
        streamName => 'test_databricks',
        initialPosition => 'earliest');

-- A streaming query when the roleArn, roleSessionName, and roleExternalID are configured
> CREATE STREAMING TABLE testing.streaming_table AS
    SELECT * FROM STREAM read_kinesis (
        streamName => 'test_databricks',
        initialPosition => 'earliest',
        roleArn => 'arn:aws:iam::123456789012:role/MyRole',
        roleSessionName => 'testing@databricks.com');

Gerelateerde functies

• sequence Functie
• read_kafka tabelgewaardeerde functie
• read_pubsub streaming tabel-waarde functie