read_kafka functie met tabelwaarde

Van toepassing op: Databricks SQL Databricks Runtime 13.3 LTS en hoger

Leest gegevens uit een Apache Kafka-cluster en retourneert de gegevens in tabelvorm.

Kan gegevens lezen uit een of meer Kafka-onderwerpen. Het ondersteunt zowel batchquery's als streaming-opname.

Syntaxis

read_kafka([option_key => option_value ] [, ...])

Argumenten

Voor deze functie is aanroepen van benoemde parameters vereist.

• option_key: De naam van de optie die u wilt configureren. U moet backticks () for options that contain dots (.') gebruiken.
• option_value: Een constante expressie om de optie in te stellen. Accepteert letterlijke en scalaire functies.

Retouren

Records die zijn gelezen uit een Apache Kafka-cluster met het volgende schema:

• key BINARY: De sleutel van het Kafka-record.
• value BINARY NOT NULL: De waarde van de Kafka-record.
• topic STRING NOT NULL: De naam van het Kafka-onderwerp waaruit de record is gelezen.
• partition INT NOT NULL: De ID van de Kafka-partitie waaruit het record is gelezen.
• offset BIGINT NOT NULL: Het offsetnummer van het record in het Kafka-systeem TopicPartition.
• timestamp TIMESTAMP NOT NULL: Een tijdstempelwaarde voor de record. In de timestampType kolom wordt gedefinieerd waar deze tijdstempel op betrekking heeft.
• timestampType INTEGER NOT NULL: Het type tijdstempel dat is opgegeven in de timestamp kolom.
• headers ARRAY<STRUCT<key: STRING, VALUE: BINARY>>: Koptekstwaarden die zijn opgegeven als onderdeel van de record (indien ingeschakeld).

Voorbeelden

-- A batch query to read from a topic.
> SELECT value::string as value
  FROM read_kafka(
    bootstrapServers => 'kafka_server:9092',
    subscribe => 'events'
  ) LIMIT 10;

-- Streaming ingestion from Kafka with JSON parsing.
> CREATE OR REFRESH STREAMING TABLE catalog.schema.raw_events AS
  SELECT
    value::string:events,                 -- extract the field `events`
    to_timestamp(value::string:ts) as ts  -- extract the field `ts` and cast to timestamp
  FROM STREAM read_kafka(
    bootstrapServers => 'kafka_server:9092',
    subscribe => 'events'
  );

Opties

U vindt een gedetailleerde lijst met opties in de Apache Spark-documentatie.

Vereiste opties

Geef de onderstaande optie op om verbinding te maken met uw Kafka-cluster.

Geef slechts een van de onderstaande opties op om te configureren uit welke Kafka-onderwerpen gegevens moeten worden opgehaald.

Diverse opties

read_kafka kan worden gebruikt in batch- en streamingquery's. Met de onderstaande opties kunt u opgeven op welk type query ze van toepassing zijn.

Verwante artikelen:

• CREATE STREAMING TABLE
• read_files tabelgewaardeerde functie
• read_pubsub streaming tabel-waarde functie